在全球人工智能技術(shù)激烈競爭、大模型加速賦能產(chǎn)業(yè)的關(guān)鍵階段，高效微調(diào)技術(shù)成為推動落地的核心突破口。近日，奇富科技在大模型高效參數(shù)微調(diào)領(lǐng)域的最新研究成果PrAd: Prompt Adaptive Tuning for Decoder-only Language Models被國際頂級NLP學(xué)術(shù)會議EMNLP 2025 Findings收錄。這意味著中國科技企業(yè)在人工智能基礎(chǔ)研究方面再次獲得國際學(xué)術(shù)界的認(rèn)可。

EMNLP（Conference on Empirical Methods in Natural Language Processing）是自然語言處理（NLP）領(lǐng)域最頂級、最具影響力的國際學(xué)術(shù)會議之一，與ACL和NAACL共同構(gòu)成NLP領(lǐng)域的“三大頂會”。其以極嚴(yán)的評審流程、極低的錄取比例著稱，是全球NLP研究者發(fā)布成果、交流思想的首選平臺。此次奇富科技的研究成果被 EMNLP 2025 收錄，標(biāo)志著公司在人工智能基礎(chǔ)研究與技術(shù)創(chuàng)新方面持續(xù)取得重要進(jìn)展。

隨著大語言模型在各實際業(yè)務(wù)場景中廣泛落地，如何高效、低成本地實現(xiàn)多任務(wù)適配成為行業(yè)共性難題。傳統(tǒng)的全參數(shù)微調(diào)方法雖效果顯著，但計算和存儲成本極高；而現(xiàn)有的參數(shù)高效微調(diào)方法如Prompt Tuning和Adapter Tuning等，仍存在訓(xùn)練不穩(wěn)定、推理延遲高、序列膨脹等局限。

為解決這些痛點，奇富科技研究團(tuán)隊提出了一種面向Decoder-only架構(gòu)大模型的全新微調(diào)框架PrAd。該方法創(chuàng)新性地將結(jié)構(gòu)優(yōu)化與推理流程深度融合，僅在預(yù)填充（Prefill）階段引入輕量Adapter模塊對提示進(jìn)行特征變換，而在解碼（Decoding）階段則完全保持原始結(jié)構(gòu)，不引入任何額外計算。

PrAd框架在三個方面實現(xiàn)顯著突破：

訓(xùn)練效率高：不增加輸入長度，初始化簡單，訓(xùn)練穩(wěn)定性強(qiáng)，效果可比甚至超越主流基線；

推理高效：僅在第一個token生成時增加微小延遲，后續(xù)解碼不引入額外開銷，支持多任務(wù)共享批推理，實測速度在多任務(wù)場景下較LoRA提升最高超10倍；

運維成本大幅降低：Adapter管理規(guī)模和顯存占用降幅可達(dá)50%，簡化多任務(wù)模型的部署與批量推理流程。

實驗結(jié)果表明，PrAd在六項多樣化NLP任務(wù)上均取得了與最優(yōu)方法相當(dāng)或更優(yōu)的表現(xiàn)，同時在推理效率和資源利用率方面展現(xiàn)出顯著優(yōu)勢，尤其適用于金融領(lǐng)域常見的多任務(wù)、高并發(fā)、低延遲應(yīng)用場景。

奇富科技首席算法科學(xué)家費浩峻表示：“PrAd不僅是一項技術(shù)突破，更是奇富‘科技賦能金融’理念的具體實踐。我們致力于推動大模型在金融場景中的高效、可靠、規(guī)模化應(yīng)用。”未來，奇富科技將繼續(xù)加大在 AI 基礎(chǔ)模型、高效微調(diào)、可信計算等方向的研發(fā)投入，推動更多科研成果轉(zhuǎn)化為實際生產(chǎn)力，助力金融行業(yè)智能化升級。

生成海報

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。