IBM揭秘：Granite 4.0 Tiny模型，12GB顯存實現128K上下文，引領AI新潮流
隨著科技的飛速發(fā)展，人工智能（AI）已成為當今世界最具挑戰(zhàn)性和最具潛力的領域之一。作為全球領先的科技公司，IBM在AI領域的研究與創(chuàng)新一直備受矚目。最近，IBM發(fā)布了Granite 4.0系列模型中的最小版本之一：Granite 4.0 Tiny的預覽版本，憑借其高計算效率和低內存需求，引發(fā)了業(yè)內的廣泛關注。本文將圍繞Granite 4.0 Tiny模型展開，探討其顯存需求、性能表現、架構特點以及未來計劃，以期揭示IBM在AI領域的又一創(chuàng)新力作。
首先，讓我們關注Granite 4.0 Tiny預覽版本所采用的顯存需求。據介紹，在FP8精度下，運行5個128KB上下文窗口的并發(fā)對話僅需12GB顯存。這一需求在目前的市場上，一張建議零售價為329美元的英偉達GeForce RTX 3060 12GB消費級顯卡即可滿足。這一顯存需求降低了AI模型的運行成本，使得更多企業(yè)和機構能夠享受到AI帶來的便利。
接下來，讓我們深入了解Granite 4.0 Tiny預覽版本的性能表現。據報道，Granite 4.0 Tiny預覽版本的訓練Token數至少為15T，目前僅訓練了2.5T，但已能提供與12T訓練Token的Granite 3.3 2B Instruct相當的性能。這表明，Granite 4.0 Tiny在128KB上下文窗口16并發(fā)會話下內存需求降低了約72%，預計最終性能可與Granite 3.3 8B Instruct相媲美。這一性能的提升對于企業(yè)而言，意味著更高效的對話系統、更準確的預測模型以及更強大的決策支持。
在探討完Granite 4.0 Tiny預覽版本的技術特點后，我們再來關注其架構。Granite 4.0 Tiny基于被Granite 4.0系列全線采用的混合Mamba-2/Transformer架構，結合了兩者的速度與精度，降低了內存消耗而不明顯損失性能。這種架構的選擇充分體現了IBM在AI模型架構上的專業(yè)素養(yǎng)，為AI模型的訓練和部署提供了強有力的支持。
最后，讓我們關注一下Granite 4.0 Tiny預覽版本的發(fā)布計劃。根據IBM的公告，Granite 4.0 Tiny預覽版本現已在Hugging Face上以標準Apache 2.0許可證提供，并將在今年夏天正式推出Granite 4.0系列模型的Tiny、Small、Medium版本。這意味著廣大科研人員和企業(yè)將有機會進一步探索和驗證Granite 4.0 Tiny的潛力，推動AI領域的創(chuàng)新發(fā)展。
綜上所述，IBM發(fā)布的Granite 4.0 Tiny預覽版本憑借其高計算效率和低內存需求，以及出色的性能表現和架構特點，無疑在AI領域掀起了一股新潮流。隨著IBM不斷推進AI技術的發(fā)展和創(chuàng)新，我們有理由相信，未來AI將在更多領域發(fā)揮出更大的潛力，為人類帶來更多的便利和價值。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
