標(biāo)題：Meta突破技術(shù)界限：自回歸模型翻新圖像生成，AI能生成2048×2048分辨率驚人圖像
隨著科技的進(jìn)步，人工智能（AI）正在逐步改變我們的生活。近日，Meta AI創(chuàng)新推出Token-Shuffle，這一技術(shù)突破旨在解決自回歸模型在生成高分辨率圖像方面的擴(kuò)展難題。Token-Shuffle通過(guò)識(shí)別多模態(tài)大語(yǔ)言模型中的視覺(jué)詞匯冗余，提出了一種創(chuàng)新策略，直擊計(jì)算成本問(wèn)題，讓自回歸模型能夠高效處理最高2048×2048分辨率的圖像。
自回歸模型是一種用于時(shí)間序列分析的統(tǒng)計(jì)方法，主要用于預(yù)測(cè)數(shù)據(jù)序列中的未來(lái)值。該模型的核心思想是當(dāng)前的值與過(guò)去的值之間存在線(xiàn)性關(guān)系，因此可以用變量自身的歷史數(shù)據(jù)來(lái)預(yù)測(cè)當(dāng)前或未來(lái)的值。近年來(lái)，自回歸模型在圖像合成方面大放異彩，然而在面對(duì)高分辨率圖像時(shí)，AR 模型遭遇瓶頸。
Token-Shuffle的推出，為這一瓶頸問(wèn)題提供了有效的解決方案。該方法通過(guò)將空間上相鄰的視覺(jué)token沿通道維度合并，并在推理后再恢復(fù)原始空間結(jié)構(gòu)，大幅降低了計(jì)算成本。這種token融合機(jī)制不僅讓自回歸模型能夠高效處理高分辨率圖像，還無(wú)需改動(dòng)Transformer架構(gòu)，也無(wú)需額外預(yù)訓(xùn)練編碼器，操作簡(jiǎn)單且兼容性強(qiáng)。
具體而言，Token-Shuffle包含token-shuffle和token-unshuffle兩個(gè)步驟。輸入準(zhǔn)備階段，空間相鄰的token通過(guò)MLP（多層感知機(jī)）壓縮為單個(gè)token，減少token數(shù)量。以窗口大小s為例，token數(shù)量可減少s2分之一，顯著降低Transformer的計(jì)算量（FLOPs）。此外，該方法還引入了針對(duì)自回歸生成的classifier-free guidance（CFG）調(diào)度器，動(dòng)態(tài)調(diào)整引導(dǎo)強(qiáng)度，優(yōu)化文本-圖像對(duì)齊效果。
實(shí)驗(yàn)結(jié)果表明，Token-Shuffle在GenAI-Bench和GenEval兩大基準(zhǔn)測(cè)試中展現(xiàn)了強(qiáng)大實(shí)力?；?.7B參數(shù)的LLAMA模型，Token-Shuffle在“困難”提示下取得VQAScore 0.77，超越了其他AR模型如LlamaGen和擴(kuò)散模型LDM。而在GenEval中，其綜合得分也達(dá)到了0.62，為AR模型樹(shù)立了新標(biāo)桿。用戶(hù)評(píng)估也顯示，盡管在邏輯一致性上略遜于擴(kuò)散模型，但Token-Shuffle在文本對(duì)齊、圖像質(zhì)量上優(yōu)于LlamaGen和Lumina-mGPT。
值得注意的是，Token-Shuffle不僅在技術(shù)上有所突破，而且為未來(lái)的發(fā)展提供了廣闊的空間。首先，隨著算力資源的不斷提升，高分辨率圖像生成將成為可能。這意味著我們可以獲得更加精細(xì)、更加真實(shí)的圖像，這對(duì)于醫(yī)療、科研、藝術(shù)等領(lǐng)域具有重要意義。其次，Token-Shuffle方法的兼容性強(qiáng)，易于與其他AI技術(shù)結(jié)合使用，進(jìn)一步拓展其在各個(gè)領(lǐng)域的應(yīng)用范圍。最后，Token-Shuffle的提出也反映了Meta AI對(duì)于人工智能研究的重視和投入，這無(wú)疑將推動(dòng)AI技術(shù)的發(fā)展，為人類(lèi)生活帶來(lái)更多便利。
總的來(lái)說(shuō)，Meta AI的Token-Shuffle為自回歸模型在圖像生成領(lǐng)域打開(kāi)了新的可能。這一突破性的技術(shù)不僅提高了生成圖像的質(zhì)量和效率，也為未來(lái)的研究提供了新的方向。我們期待看到更多像Token-Shuffle這樣的技術(shù)出現(xiàn)，推動(dòng)人工智能的發(fā)展，為人類(lèi)社會(huì)帶來(lái)更多福音。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
