散戶組團挑戰(zhàn)算力霸權：40B模型+20萬億token刷新世界紀錄，掀起科技革命浪潮
隨著互聯(lián)網技術的飛速發(fā)展，人工智能（AI）的訓練也日益受到關注。近日，Nous Research 宣布正式推出 Psyche 網絡，通過去中心化方式革新人工智能（AI）訓練，這一舉措引發(fā)了廣泛關注。Psyche 網絡利用區(qū)塊鏈技術，匯聚全球計算資源，成功啟動了 40B 參數大語言模型 Consilience 的預訓練任務，創(chuàng)下了迄今為止互聯(lián)網上最大規(guī)模的預訓練紀錄。這一突破性的進展，無疑將掀起科技革命浪潮。
首先，我們需要理解 Psyche 網絡的技術原理。Psyche 網絡的核心在于 DisTrO 優(yōu)化器與 Solana 區(qū)塊鏈。通過利用全球閑置的計算資源（如 4090、A100 和 H100 等消費級 GPU），大幅降低訓練成本。并行實驗鼓勵開源社區(qū)提出新的模型架構和訓練方法，這可能催生更多創(chuàng)新。值得注意的是，區(qū)塊鏈技術的引入，為 Psyche 網絡提供了無需許可、彈性與高可用性、激勵機制的開放平臺，協(xié)調并獎勵為網絡作出貢獻的參與者。
在這個去中心化的訓練過程中，網絡帶寬一直是最令人擔憂的問題。傳統(tǒng)的數據中心具有極高帶寬的連接，而互聯(lián)網上的志愿者節(jié)點往往只有幾十甚至幾百兆每秒的帶寬。傳統(tǒng)的訓練方式需要 GPU 之間持續(xù)地交換更新信息，而普通家用網絡來完成這些通信，很可能會陷入“災難級”的訓練體驗。然而，Nous 推出的 DisTrO 技術能夠讓所有訓練節(jié)點保持高度同步，并將所需帶寬降低 1000 到 10000 倍。這一技術的成功驗證標志著分布式、去中心化訓練邁出了從理論走向現(xiàn)實的關鍵一步。
此次 Psyche 網絡的成功實現(xiàn)去中心化的 AI 訓練，開創(chuàng)了一個全新的模式。不僅降低了 AI 開發(fā)的門檻，還推動了全球協(xié)作和創(chuàng)新。Consilience 模型的預訓練只是起點，未來 Psyche 網絡有望成為 AI 民主化的重要基石，為開源社區(qū)和小型團隊提供與科技巨頭抗衡的機會。這一轉變不僅在 AI 領域具有重要意義，也在科技界引發(fā)了廣泛討論。
在去中心化訓練中，我們面臨的挑戰(zhàn)是如何協(xié)調不同硬件之間的計算資源，以及如何確保訓練過程中的安全性與可靠性。區(qū)塊鏈技術的出現(xiàn)，為我們提供了解決這些問題的可能。區(qū)塊鏈的去中心化特性，使得每個參與者都有平等的權利和義務，避免了中心化系統(tǒng)的弊端。同時，區(qū)塊鏈的不可篡改性也保證了訓練數據的真實性和安全性。
強化學習框架下的分布式訓練在硬件能力和網絡延遲差異大的情況下表現(xiàn)出色。每個節(jié)點可以獨立行動，收集經驗，并定期與其他節(jié)點分享進展。這極大緩解了傳統(tǒng)訓練中常見的同步難題。每個節(jié)點在訓練過程中的表現(xiàn)都將影響它的獎勵：計算能力更強或使用了更先進訓練方法的節(jié)點可能會獲得更多代幣激勵。這種激勵機制將進一步激發(fā)參與者的積極性，推動訓練任務的成功完成。
此外，我們也應該看到區(qū)塊鏈技術在推動科技發(fā)展中的重要作用。在常常被斥為“過度炒作又頻頻令人失望”的區(qū)塊鏈生態(tài)中，能看到真正的創(chuàng)新成果，確實令人欣慰——這簡直讓人“冷漠的靈魂也重新燃起了熱情”。Nous 并不是一開始就擁抱區(qū)塊鏈技術的，但經過深思熟慮和實際需求后，他們選擇了將技術棧遷移到 Solana 區(qū)塊鏈。他們需要一種方式，不論對方來自哪里，都能吸引計算資源與人才并進行公平支付；區(qū)塊鏈在這一點上表現(xiàn)得無比出色。他們需要一種手段，能夠協(xié)調并擴展大規(guī)模訓練任務；而協(xié)調與擴展正是區(qū)塊鏈技術的第二天性。
總的來說，Psyche 網絡的成功預訓練是科技創(chuàng)新的重大突破，也是對集中化計算模式的強有力挑戰(zhàn)。這一創(chuàng)新性的項目將為開源社區(qū)和小型團隊提供與科技巨頭抗衡的機會，推動 AI 發(fā)展的民主化。我們期待著 Psyche 網絡在未來能夠帶來更多的驚喜和突破，引領科技革命浪潮。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
