騰訊混元團隊于9月10日發(fā)布了一項名為SRPO（Semantic Relative Preference Optimization，語義相對偏好優(yōu)化）的研究成果，旨在解決當前開源文生圖模型Flux生成人像時皮膚質(zhì)感“過油”的問題。該技術(shù)通過強化學習優(yōu)化圖像生成的語義控制能力，在提升生成圖像真實感的同時，顯著降低了訓練成本與過擬合風險。
SRPO的核心創(chuàng)新在于其提出了語義相對偏好優(yōu)化策略。傳統(tǒng)方法如ReFL或DRaFT通常僅優(yōu)化生成軌跡的后半段，容易導致獎勵模型在高頻信息上過擬合，表現(xiàn)為對特定顏色（如紅、紫色調(diào)）或過曝區(qū)域的偏好。SRPO通過引入“正向-負向”語義提示詞對（例如“真實感”與“過度光滑”）作為引導信號，動態(tài)調(diào)整獎勵模型的優(yōu)化目標。這一方法有效中和了模型的一般性偏差，同時保留了語義差異中的有效偏好，從而降低了獎勵破解（reward hacking）的風險。
此外，研究團隊提出Direct-Align策略，通過對輸入圖像進行可控噪聲注入，并借助單步推理實現(xiàn)圖像重建。該方法顯著減少了重建誤差，使獎勵信號能夠更精準地傳導至生成過程的前期階段，從而實現(xiàn)對完整生成軌跡的優(yōu)化，而非僅聚焦于后期細化。
在效率方面，SRPO表現(xiàn)出顯著優(yōu)勢。據(jù)官方數(shù)據(jù)，其訓練時間僅需10分鐘，較同類方法DanceGRPO降低75倍，同時在人類評估中真實度與美學優(yōu)秀率提升超過3倍。該模型在Hugging Face社區(qū)發(fā)布后迅速登上熱度榜首，量化版本下載量達25K，GitHub獲星超過700，反映出學界與開發(fā)者對其技術(shù)價值的認可。
盡管成果顯著，也需客觀看待其適用范圍。SRPO目前主要針對Flux.dev.1模型的“過油”問題進行優(yōu)化，尚未廣泛驗證于其他開源或商用模型。其依賴的語義提示詞設(shè)計仍需人工參與，自動化程度仍有提升空間。此外，盡管論文中提及“無偏色、過飽和等問題”，但其實際泛化能力需更多跨數(shù)據(jù)集和跨場景測試驗證。
總體而言，騰訊混元團隊的SRPO研究為文生圖模型的偏好優(yōu)化提供了新的技術(shù)路徑，尤其在語義控制、訓練效率和過擬合抑制方面表現(xiàn)突出。該技術(shù)是否能夠持續(xù)推動開源生態(tài)的發(fā)展，仍需關(guān)注其后續(xù)迭代與應用反饋。
論文與項目資源：
論文題目：Directly Aligning the Full Diffusion Trajectory with Fine-Grained Human Preference
論文鏈接：https://arxiv.org/abs/2509.06942
項目主頁：https://tencent.github.io/srpo-project-page/
GitHub：https://github.com/Tencent-Hunyuan/SRPO
（注：本文在資料搜集、框架搭建及部分段落初稿撰寫階段使用了 AI 工具，最終內(nèi)容經(jīng)人類編輯核實事實、調(diào)整邏輯、優(yōu)化表達后完成。）
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
