華為近日發(fā)布了開源模型openPangu-Embedded-7B-v1.1，其最大突破在于實(shí)現(xiàn)了快思考與慢思考兩種推理模式的無縫切換，同時顯著提升了響應(yīng)效率與任務(wù)精度。這一進(jìn)展解決了長期以來大模型在處理不同復(fù)雜度任務(wù)時必須在速度與準(zhǔn)確性之間取舍的難題。
該模型采用漸進(jìn)式微調(diào)策略（Iterative Distillation），通過三個階段逐步提升模型能力。首先，模型根據(jù)當(dāng)前能力對訓(xùn)練樣本進(jìn)行難度評估，優(yōu)先選擇適中難度的題目進(jìn)行訓(xùn)練，確保學(xué)習(xí)過程始終處于“適度挑戰(zhàn)”區(qū)間。其次，通過參數(shù)增量融合技術(shù)，將不同訓(xùn)練階段的模型知識進(jìn)行整合，避免遺忘已掌握的能力。最后，隨著模型能力提升，逐步擴(kuò)展至更高難度的訓(xùn)練數(shù)據(jù)，形成持續(xù)進(jìn)化的良性循環(huán)。
在快慢思考自適應(yīng)機(jī)制方面，模型經(jīng)歷了兩個階段的訓(xùn)練。第一階段通過帶有明確模式標(biāo)識的數(shù)據(jù)，教會模型區(qū)分快思考與慢思考的響應(yīng)方式。第二階段則取消外部提示，讓模型根據(jù)問題自主判斷應(yīng)采用的推理模式，通過數(shù)據(jù)質(zhì)量驅(qū)動的自優(yōu)化策略，篩選高質(zhì)量解答作為訓(xùn)練樣本，逐步實(shí)現(xiàn)智能切換。
實(shí)際性能表現(xiàn)顯示，該模型在多個權(quán)威評測中均取得顯著提升。在通用、數(shù)學(xué)及代碼類任務(wù)中，其精度明顯優(yōu)于前代版本，尤其在數(shù)學(xué)難題數(shù)據(jù)集AIME上進(jìn)步顯著。同時，在中文綜合知識測試集CMMLU中，模型在保持精度的前提下，將平均思維鏈長度縮短近50%，大幅提升了響應(yīng)效率。對于高復(fù)雜度任務(wù)，模型仍能采用慢思考模式進(jìn)行詳盡推理，確保結(jié)果準(zhǔn)確性。
此外，華為還同步推出了輕量級模型openPangu-Embedded-1B，針對邊緣AI部署場景優(yōu)化。該模型通過軟硬件協(xié)同設(shè)計與多階段訓(xùn)練策略，在1B參數(shù)規(guī)模下實(shí)現(xiàn)了與更大模型相當(dāng)?shù)男阅?，展現(xiàn)出優(yōu)秀的參數(shù)效率。
openPangu-Embedded-7B-v1.1的成功開發(fā)，不僅體現(xiàn)了華為在模型架構(gòu)與訓(xùn)練策略上的創(chuàng)新，也為開源社區(qū)提供了首個支持快慢思考自適應(yīng)切換的模型選項(xiàng)。其在效率與精度之間的平衡能力，有望在多種實(shí)際應(yīng)用場景中發(fā)揮重要作用，推動輕量化大模型在邊緣計算與實(shí)時系統(tǒng)中的部署。
該項(xiàng)目已在GitCode平臺開源，為研究人員和開發(fā)者提供了進(jìn)一步探索與應(yīng)用的基礎(chǔ)。
（注：本文在資料搜集、框架搭建及部分段落初稿撰寫階段使用了 AI 工具，最終內(nèi)容經(jīng)人類編輯核實(shí)事實(shí)、調(diào)整邏輯、優(yōu)化表達(dá)后完成。）
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
