英偉達(dá)發(fā)布Cosmos-Reason1系列：AI物理通識新突破，引領(lǐng)智能科技新篇章
隨著科技的飛速發(fā)展，人工智能（AI）在各個(gè)領(lǐng)域的應(yīng)用越來越廣泛。然而，AI在處理物理環(huán)境方面的能力仍然有限，面臨著諸多挑戰(zhàn)。為了應(yīng)對這一難題，英偉達(dá)推出了全新的Cosmos-Reason1系列模型，這一創(chuàng)新舉措無疑將為智能科技領(lǐng)域開啟新的篇章。
首先，我們需要理解AI在物理環(huán)境中的挑戰(zhàn)。AI在語言處理、數(shù)學(xué)和代碼生成等領(lǐng)域取得了顯著進(jìn)步，但將其能力擴(kuò)展到物理環(huán)境仍面臨諸多困難。在物理環(huán)境中，AI需要依賴視頻等感官輸入，結(jié)合現(xiàn)實(shí)物理法則生成反應(yīng)，涉及導(dǎo)航、操作和交互等任務(wù)，這需要AI具備常識推理和對空間、時(shí)間及物理規(guī)律的具身理解。然而，目前AI在連接物理世界方面仍然薄弱，無法直觀理解重力或空間關(guān)系，導(dǎo)致在具身任務(wù)中表現(xiàn)不佳。
為了解決這一難題，英偉達(dá)推出了全新的Cosmos-Reason1系列模型。該系列模型分為Cosmos-Reason1-7B和Cosmos-Reason1-56B兩個(gè)版本，通過兩個(gè)階段的訓(xùn)練，即Physical AI Supervised Fine-Tuning（SFT）和Physical AI Reinforcement Learning（RL）。這一創(chuàng)新的訓(xùn)練方式，使得模型能夠更好地理解和適應(yīng)物理環(huán)境。
為了訓(xùn)練這些模型，研究團(tuán)隊(duì)引入了雙本體系統(tǒng)。一個(gè)分層本體將物理常識分為空間、時(shí)間和基礎(chǔ)物理三大類，細(xì)化為16個(gè)子類；另一個(gè)二維本體則映射人類、機(jī)械臂、人形機(jī)器人等五種具身代理的推理能力。這樣的設(shè)計(jì)使得模型能夠更好地理解和處理物理環(huán)境中的各種情況。
模型架構(gòu)采用了大型語言模型（LLM），結(jié)合視覺編碼器處理視頻數(shù)據(jù)，實(shí)現(xiàn)文本和視覺數(shù)據(jù)的同步推理。訓(xùn)練數(shù)據(jù)包含約400萬條標(biāo)注視頻-文本對，涵蓋動作描述和復(fù)雜推理任務(wù)。這些數(shù)據(jù)經(jīng)過精心挑選和標(biāo)注，以確保模型能夠獲得足夠的物理常識和具身推理能力。
為了構(gòu)建針對物理常識的基準(zhǔn)測試，研究團(tuán)隊(duì)創(chuàng)建了604個(gè)問題，包含426個(gè)視頻。這些問題涵蓋了各種物理常識，如力學(xué)、電學(xué)、光學(xué)等，為評估模型的物理推理能力提供了良好的標(biāo)準(zhǔn)。同樣，針對具身推理的基準(zhǔn)測試也包含610個(gè)問題，600個(gè)視頻。這些問題涉及到各種具身任務(wù)，如預(yù)測行動、驗(yàn)證任務(wù)完成和評估物理可行性等。
在基準(zhǔn)測試中，Cosmos-Reason1系列模型表現(xiàn)出色。特別是在經(jīng)過RL訓(xùn)練后，模型在預(yù)測下一步行動、驗(yàn)證任務(wù)完成和評估物理可行性等方面取得了顯著進(jìn)步。這些成果充分證明了Cosmos-Reason1系列模型在AI物理通識方面的新突破。
總的來說，英偉達(dá)發(fā)布的Cosmos-Reason1系列模型是一次AI在物理通識方面的重大突破。該系列模型通過創(chuàng)新的訓(xùn)練方法和強(qiáng)大的數(shù)據(jù)處理能力，為機(jī)器人、自動駕駛車輛等領(lǐng)域帶來了實(shí)際應(yīng)用潛力。這一創(chuàng)新成果無疑將推動智能科技領(lǐng)域的發(fā)展，引領(lǐng)我們進(jìn)入一個(gè)全新的智能時(shí)代。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
