美東時(shí)間3月20日，OpenAI舉行了一場重磅的技術(shù)直播，發(fā)布了三款全新語音模型：語音轉(zhuǎn)文本模型GPT-4o Transcribe和GPT-4o MiniTranscribe，以及文本轉(zhuǎn)語音模型GPT-4o MiniTTS。OpenAI聲稱，這些模型符合其更廣泛的“AI智能體(AI Agent)”的愿景：構(gòu)建能夠代表用戶獨(dú)立完成任務(wù)的自動(dòng)化系統(tǒng)。
在這次OpenAI掀起的語音智能體浪潮中，其最新發(fā)布的gpt-4o-transcribe模型作為當(dāng)前性能最好的語音識(shí)別理解模型，將極大推進(jìn)包括客服，個(gè)人助理，具身等多個(gè)智能體的市場規(guī)模。GPT-4o Transcribe再次刷新了行業(yè)標(biāo)桿，同時(shí)行業(yè)的目光再次聚焦于一個(gè)核心指標(biāo)：“識(shí)別錯(cuò)誤率(WER)”。通過強(qiáng)化學(xué)習(xí)與海量高質(zhì)量語音數(shù)據(jù)的深度融合，這款全新模型在LibriSpeech、FLEURS等多項(xiàng)權(quán)威基準(zhǔn)測試中WER有效降低，并刷新了多語言WER記錄，尤其在嘈雜環(huán)境、多語速場景和非標(biāo)準(zhǔn)口音下的表現(xiàn)顯著優(yōu)于現(xiàn)有方案。
圖. OpenAI幾種大模型單詞錯(cuò)誤率(引用來源OpenAI)
據(jù)OpenAI披露，GPT-4o Transcribe的突破性表現(xiàn)源于兩大關(guān)鍵技術(shù)：一方面，通過自博弈強(qiáng)化學(xué)習(xí)框架，模型在模擬真實(shí)交互中不斷優(yōu)化對語音細(xì)微特征的捕捉能力;另一方面，，基于超大規(guī)模、多語言、高保真的音頻數(shù)據(jù)集進(jìn)行“中期訓(xùn)練”。覆蓋超過50種語言、數(shù)千小時(shí)的真實(shí)對話與復(fù)雜聲學(xué)場景(如背景噪音、語速突變、口音混合等)，使模型可以更好地捕捉語音的細(xì)微差別，減少誤認(rèn)，并提高轉(zhuǎn)錄可靠性。這種“算法+數(shù)據(jù)”的雙輪驅(qū)動(dòng)，將語音轉(zhuǎn)寫的可靠性提升至新高度。這一技術(shù)提升，預(yù)示著大模型的訓(xùn)練階段，從基礎(chǔ)的預(yù)訓(xùn)練階段，走向了更為復(fù)雜多樣化的中訓(xùn)練階段。
這一突破不僅印證了語音技術(shù)向多模態(tài)、強(qiáng)魯棒性演進(jìn)的趨勢，更揭示了底層數(shù)據(jù)的核心價(jià)值：高質(zhì)量、多樣化、多語言的語音數(shù)據(jù)，是構(gòu)建下一代語音智能體的基石。
無限趨近于零錯(cuò)誤率，是未來人類在大模型性能優(yōu)化方面的不懈追求，永不止步。OpenAI不斷更新的模型性能，印證了：語音智能的進(jìn)化，本質(zhì)是數(shù)據(jù)質(zhì)量的進(jìn)化。無論是強(qiáng)化學(xué)習(xí)所需的動(dòng)態(tài)交互樣本，還是覆蓋全球語言與口音的多樣性語料，亦或是嚴(yán)格對齊的語音-文本標(biāo)注，都要求數(shù)據(jù)集具備多維度、高精度、強(qiáng)泛化的特性。
值此技術(shù)躍遷之際，晴數(shù)智慧正式推出了非常適合用于語音大模型/端到端模型“中訓(xùn)練階段”的「多語種高質(zhì)量口語式語音數(shù)據(jù)集」(Multilingual high-quality Spoken Language Speech dataset)。該旨在為全球開發(fā)者與企業(yè)提供語音模型創(chuàng)新的“新燃料”。
多語種高質(zhì)量口語式語音數(shù)據(jù)集核心價(jià)值：
1、覆蓋中文、英語、西班牙語、葡萄牙語、法語、日語、韓語等30+語種，每個(gè)語種上萬小時(shí);
2、場景類型豐富，人數(shù)眾多，內(nèi)容表達(dá)多樣，使模學(xué)習(xí)到優(yōu)秀的泛化能力;
3、主要為口語式自然風(fēng)格訓(xùn)練數(shù)據(jù)，讓模型學(xué)會(huì)最自然的交流方式;
4、音字匹配的高質(zhì)量數(shù)據(jù)，字準(zhǔn)率達(dá)98%+以上;
5、句子完整度高，利于準(zhǔn)確分析句意;
6、標(biāo)點(diǎn)合理，有助于模型學(xué)習(xí)人類的自然停頓和韻律特點(diǎn)。
該數(shù)據(jù)集可以極大程度幫助擴(kuò)展語音大模型/端到端模型的多樣性、口語式、泛化性，幫助模型提升如下性能：
1、語言理解能力
(1)口音與風(fēng)格適應(yīng)：涵蓋多語言、多口音以及不同說話風(fēng)格的數(shù)據(jù)，可讓模型適應(yīng)各種語音特征，準(zhǔn)確理解不同地域、不同文化背景下用戶的語言表達(dá)，提升模型的泛化能力。
(2)上下文理解：通過對每位說話者語音的獨(dú)立分析以及分類標(biāo)注，更好地把握語義。
(3)實(shí)時(shí)交互理解：數(shù)據(jù)完整保留了口語過程中自然的停頓、重音等動(dòng)態(tài)過程，使模型能夠理解和適應(yīng)真實(shí)場景下的實(shí)時(shí)交互模式，不再局限于僵化的一問一答模式。
2、語音生成能力
(1)自然度提升：基于真實(shí)場景下自然流暢的口語數(shù)據(jù)訓(xùn)練，模型生成的語音在語調(diào)、語速、停頓等方面會(huì)更接近真人，讓用戶在與模型交互時(shí)感覺更加自然舒適。
(2)個(gè)性化生成：通過學(xué)習(xí)不同說話人的語音特點(diǎn)，模型可以根據(jù)用戶的身份、偏好等因素生成更加個(gè)性化的語音回應(yīng)，滿足不同用戶的需求。
3、跨語言交互能力：多語言的數(shù)據(jù)集為模型提供了豐富的跨語言信息，有助于模型學(xué)習(xí)不同語言之間的轉(zhuǎn)換和映射關(guān)系，從而實(shí)現(xiàn)語音翻譯等跨語言交互功能，促進(jìn)不同語言用戶之間的交流。
該數(shù)據(jù)集所具備的“多樣化、高質(zhì)量、口語式”數(shù)據(jù)特質(zhì)，將助力開發(fā)者訓(xùn)練更具自然性與準(zhǔn)確性的模型，推動(dòng)語音智能在全球化場景中落地——無論是打破語言壁壘，還是賦予AI更自然的表達(dá)，高質(zhì)量數(shù)據(jù)的支撐，終將成為智能語音時(shí)代的關(guān)鍵引擎。
數(shù)據(jù)定義邊界，語音連接世界——讓我們以開放、精準(zhǔn)、多維的語音數(shù)據(jù)，共同開啟智能交互的新篇章。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
