GPT-5編程測試被曝作弊：刪題自測自夸，成績可信度存疑
近期，OpenAI最新發(fā)布的GPT-5在編程能力測試中涉嫌"作弊"的行為引發(fā)業(yè)界廣泛討論。據(jù)多方技術(shù)分析顯示，OpenAI在評估GPT-5編程能力時(shí)存在選擇性使用測試數(shù)據(jù)、降低評估標(biāo)準(zhǔn)等爭議性操作，這使得其宣稱的性能優(yōu)勢受到嚴(yán)重質(zhì)疑。
測試基準(zhǔn)的"雙重標(biāo)準(zhǔn)"問題尤為突出。OpenAI自行提出的SWE-bench Verified基準(zhǔn)本包含500個(gè)編程問題，但在實(shí)際測試中僅采用477個(gè)問題。官方解釋稱，其余23個(gè)問題因其基礎(chǔ)設(shè)施無法運(yùn)行而被排除。值得注意的是，這已經(jīng)是OpenAI第二次在模型測試中采用這種"刪題"操作。早在GPT-4.1發(fā)布時(shí)，就以相同理由排除了相同數(shù)量的測試題。
這種操作直接影響了測試結(jié)果的公正性。數(shù)據(jù)顯示，在完整500題測試中，Claude Opus 4.1的表現(xiàn)優(yōu)于GPT-5。而OpenAI通過刪除部分題目，使得GPT-5在縮減后的測試集上僅以0.4%的微弱優(yōu)勢領(lǐng)先。更關(guān)鍵的是，若將被刪除的23題按零分計(jì)算，GPT-5的實(shí)際得分將低于Claude Opus 4.1。
測試方法的不對等性也引發(fā)質(zhì)疑。OpenAI將GPT-5的最大思維努力輸出與Claude Opus 4.1的基礎(chǔ)輸出進(jìn)行對比，這種不對稱比較嚴(yán)重削弱了結(jié)果的參考價(jià)值。Anthropic公司明確指出，其Claude 4系列所有模型的測試成績均基于完整的500題測試集，與OpenAI的做法形成鮮明對比。
具有諷刺意味的是，SWE-bench Verified基準(zhǔn)本身就是OpenAI為解決原SWE-bench測試集的不足而特別設(shè)計(jì)的。該基準(zhǔn)經(jīng)過93位資深程序員的人工標(biāo)注，從1699個(gè)樣本中嚴(yán)格篩選出500個(gè)優(yōu)質(zhì)測試題，并按照修復(fù)難度進(jìn)行分級。如今OpenAI卻對自己參與制定的標(biāo)準(zhǔn)進(jìn)行二次"裁剪"，這種做法難免讓人質(zhì)疑其動機(jī)。
在更權(quán)威的原始SWE-bench測試榜單中，Claude 4 Opus仍保持領(lǐng)先地位。這一結(jié)果與OpenAI的宣傳形成反差，進(jìn)一步加深了業(yè)界對GPT-5真實(shí)編程能力的懷疑。
此次事件反映出AI行業(yè)在模型評估標(biāo)準(zhǔn)化方面仍面臨挑戰(zhàn)。當(dāng)企業(yè)既當(dāng)"運(yùn)動員"又當(dāng)"裁判員"時(shí)，如何確保評估的客觀性成為亟待解決的問題。行業(yè)需要建立更中立、透明的評估機(jī)制，避免因商業(yè)競爭損害技術(shù)發(fā)展的公信力。目前來看，GPT-5在編程領(lǐng)域的實(shí)際能力可能需要更全面、公正的評估才能得到準(zhǔn)確判斷。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
