1776 年,瓦特改良蒸汽機(jī),將傳統(tǒng)手工作坊轉(zhuǎn)化為規(guī)模化生產(chǎn)的工廠,蒸汽機(jī)由此成為工業(yè)革命的動(dòng)力心臟。今天,AIGC技術(shù)在視頻內(nèi)容產(chǎn)業(yè)引發(fā)深刻變革,行業(yè)都在尋找那一部讓視頻制作從手工作坊到工業(yè)化生產(chǎn)的“蒸汽機(jī)”。
從機(jī)器原型到產(chǎn)業(yè)動(dòng)力心臟,瓦特蒸汽機(jī)完成了兩大轉(zhuǎn)變:一是工業(yè)化,通過(guò)氣缸恒溫技術(shù),顯著提升了蒸汽機(jī)運(yùn)行效率,能支持規(guī)?;墓I(yè)生產(chǎn);二是商業(yè)化,與大量工廠主建立合作,推動(dòng)蒸汽機(jī)深度融入經(jīng)濟(jì)生產(chǎn)活動(dòng)。
這正是百度商業(yè)體系在做的,視頻生成模型的產(chǎn)業(yè)級(jí)探索。8月21日,百度蒸汽機(jī)(MuseSteamer)迎來(lái)重要產(chǎn)品迭代,突破性實(shí)現(xiàn)多人有聲視頻的一體化生成功能。
在工業(yè)化維度,該模型實(shí)現(xiàn)了環(huán)境音效與人物自然語(yǔ)音的同步生成技術(shù)落地,有望大幅提升視頻制作效率;商業(yè)化進(jìn)程中,百度蒸汽機(jī)實(shí)施價(jià)格優(yōu)化策略,通過(guò) Turbo版、Lite版、Pro版及有聲版的梯度化產(chǎn)品矩陣,全系列服務(wù)定價(jià)降至行業(yè)平均水平的70%,并完成與千帆大模型平臺(tái)的深度集成。企業(yè)用戶可通過(guò)千帆平臺(tái)獲取高性能視頻生成服務(wù),C端用戶則可通過(guò)百度搜索入口或“繪想”平臺(tái)體驗(yàn)產(chǎn)品功能。
這一系列舉措背后,標(biāo)志著AI模型作為視頻內(nèi)容產(chǎn)業(yè)的動(dòng)力心臟,正牽引整個(gè)行業(yè)踏入規(guī)?;a(chǎn)的全新階段。而支撐這場(chǎng)視頻內(nèi)容產(chǎn)業(yè)智能化的核心——百度蒸汽機(jī),我們有必要對(duì)其抽絲剝繭,一探究竟。
自O(shè)penAI于2024年推出Sora后,市場(chǎng)涌現(xiàn)的眾多視頻生成模型,但深入行業(yè)實(shí)踐不難發(fā)現(xiàn),AIGC技術(shù)革新的表象之下,視頻內(nèi)容產(chǎn)業(yè)的核心痛點(diǎn)依然存在。
首先,通用視頻生成模型在設(shè)計(jì)理念上追求大而全,與具體生產(chǎn)需求難以適配。以AI短劇為例,觀眾更喜歡看多人角色互動(dòng),但現(xiàn)有通用視頻生成模型在多個(gè)角色對(duì)話場(chǎng)景時(shí),普遍存在眼神交互失準(zhǔn)、肢體動(dòng)作協(xié)調(diào)性不足等缺陷。同時(shí),音視頻同步生成技術(shù)尚未完全成熟,創(chuàng)作者仍需在圖像生成、音頻制作、口型匹配等多個(gè)環(huán)節(jié)進(jìn)行跨平臺(tái)協(xié)同作業(yè)。谷歌Veo3升級(jí)后雖實(shí)現(xiàn)了音畫(huà)同步輸出功能,但因缺乏中文支持,無(wú)法有效進(jìn)入華語(yǔ)市場(chǎng)。
不僅模型與場(chǎng)景的矛盾現(xiàn)實(shí)存在,成本與效率的矛盾也尤為突出。Sora演示的20秒視頻片段雖然技術(shù)表現(xiàn)驚艷,但背后巨大的算力消耗使得中小規(guī)模制作機(jī)構(gòu)難以承受,加之單次生成的成功率有限,反復(fù)操作的結(jié)果,就是進(jìn)一步推高了生產(chǎn)成本。
此外,制作與分發(fā)之間也存在脫節(jié)。當(dāng)前多數(shù)視頻生成模型仍局限于內(nèi)容生產(chǎn)環(huán)節(jié),與平臺(tái)分發(fā)系統(tǒng)之間缺乏有效的銜接,難以實(shí)現(xiàn)與廣告投放系統(tǒng)的協(xié)同優(yōu)化,導(dǎo)致創(chuàng)意內(nèi)容在商業(yè)轉(zhuǎn)化過(guò)程中,價(jià)值大打折扣。
回溯歷代工業(yè)革命會(huì)發(fā)現(xiàn),從蒸汽動(dòng)力到電能、互聯(lián)網(wǎng),那些真正具備影響力的技術(shù),是能夠滿足業(yè)務(wù)場(chǎng)景實(shí)際需求、完成產(chǎn)業(yè)化落地的完整技術(shù)體系。
以產(chǎn)業(yè)需求為標(biāo)尺,是百度蒸汽機(jī)誕生的原點(diǎn),也指引著模型的進(jìn)化方向。
此前,百度商業(yè)團(tuán)隊(duì)在攻克短劇投放的難題時(shí),敏銳洞察到傳統(tǒng)廣告素材制作存在策劃、拍攝、剪輯等冗長(zhǎng)環(huán)節(jié),啟動(dòng)專(zhuān)項(xiàng)研發(fā),歷經(jīng)多輪迭代將模型打磨成一站式智能創(chuàng)作平臺(tái)。今年7月,百度蒸汽機(jī)(MuseSteamer)發(fā)布,用戶僅需上傳一張參考圖片與一句創(chuàng)作提示詞,系統(tǒng)便能輸出高清視頻,實(shí)現(xiàn)從創(chuàng)意構(gòu)思到成片產(chǎn)出的全流程一體化生成。
百度蒸汽機(jī)(MuseSteamer)發(fā)布之后,迅速獲得百度內(nèi)部業(yè)務(wù)線及影視創(chuàng)作者、廣告主群體的廣泛關(guān)注與試用。據(jù)百度副總裁、移動(dòng)生態(tài)商業(yè)體系負(fù)責(zé)人陳一凡透露,上線50天以來(lái),百度也收到了用戶的諸多訴求,比如:
運(yùn)鏡能不能不再是簡(jiǎn)單的推拉,也能提供環(huán)繞、搖鏡等復(fù)雜鏡頭?
畫(huà)質(zhì)能否進(jìn)一步提升,從720P畫(huà)質(zhì)升級(jí)到1080P?
人物口型與臺(tái)詞的吻合,能否進(jìn)一步對(duì)齊,讓視頻更有感染力?
畫(huà)面和音頻能否一次生成,減少后期配音、生成音頻的繁瑣操作?
雖然邀測(cè)期間免費(fèi),但后續(xù)還想接著用,成本還能不能再降一降?
用戶有需求,百度就有回應(yīng)。最新升級(jí)的蒸汽機(jī)2.0 版本,就一口氣解決了上述痛點(diǎn)。具體是怎么改變的呢?
升級(jí)后的百度蒸汽機(jī)2.0,創(chuàng)作者只需提供一張概念圖與自然語(yǔ)言指令,即可輸出包含多角色對(duì)話、環(huán)境音效與高清畫(huà)面的完整視頻,而且支持中文。
可以說(shuō),借助百度蒸汽機(jī)2.0有聲版模型,AIGC視頻創(chuàng)作真正迎來(lái)無(wú)配音時(shí)代。AI視頻制作也從跨平臺(tái)的手工作坊階段,進(jìn)入可一站式規(guī)?;慨a(chǎn)的工業(yè)時(shí)代。具體來(lái)說(shuō),要解決幾大難題:
一是多模態(tài)同步生成的精度難題。傳統(tǒng)分步式生成方案,口型和聲音容易錯(cuò)位,而多人有聲音視頻一體化生成,不僅要一次搞定多模態(tài),還要保持語(yǔ)音與唇形、表情、動(dòng)作的毫秒級(jí)精準(zhǔn)對(duì)齊,復(fù)雜場(chǎng)景下依然穩(wěn)定,技術(shù)挑戰(zhàn)更高。
據(jù)百度商業(yè)研發(fā)首席架構(gòu)師李雙龍介紹,百度蒸汽機(jī)采用端到端訓(xùn)練模式,摒棄傳統(tǒng)模塊化訓(xùn)練思路,采用統(tǒng)一神經(jīng)網(wǎng)絡(luò)架構(gòu)同步學(xué)習(xí)畫(huà)面渲染、語(yǔ)音合成、音效匹配等核心技術(shù)的內(nèi)在規(guī)律,極大提升了訓(xùn)練效率與生成質(zhì)量。
比如這個(gè)長(zhǎng)達(dá)一分多鐘的AI視頻,涉及多個(gè)場(chǎng)景的切換,以及復(fù)雜的多人對(duì)話,百度蒸汽機(jī)2.0可以實(shí)現(xiàn)語(yǔ)音信號(hào)與唇形動(dòng)畫(huà)的毫秒級(jí)時(shí)序?qū)R、語(yǔ)調(diào)情感與面部表情的一致性映射、人物肢體動(dòng)作與場(chǎng)景設(shè)定的邏輯自洽。
高精度的多模態(tài)同步生成,可以直接減少后期剪輯的復(fù)雜度與工作量。以伊利倍暢宣傳片制作項(xiàng)目為例,應(yīng)用該技術(shù)后,項(xiàng)目周期從原先的4周縮短至3天,展現(xiàn)出強(qiáng)大的應(yīng)用價(jià)值與技術(shù)優(yōu)勢(shì)。
二是電影級(jí)敘事所要求的連貫性和感染力。傳統(tǒng)視頻生成過(guò)程中,畫(huà)面渲染、語(yǔ)音合成、音效處理等獨(dú)立模塊進(jìn)行訓(xùn)練,不可避免地產(chǎn)生信息丟失,比如畫(huà)面生成模型難以捕捉語(yǔ)音中的情感強(qiáng)度變化,音效處理算法無(wú)法準(zhǔn)確模擬場(chǎng)景的空間聲學(xué)特性,導(dǎo)致視頻創(chuàng)作流程需頻繁切換多個(gè)平臺(tái)。
百度蒸汽機(jī)采用首創(chuàng)的多模態(tài)潛在空間規(guī)劃技術(shù)(Latent Multi-Modal Planner),具備強(qiáng)大的多角色交互自主規(guī)劃能力,能夠自主協(xié)調(diào)構(gòu)建角色身份、情感表達(dá)及互動(dòng)關(guān)系,打造真實(shí)細(xì)膩的人物表現(xiàn)力。
比如,我們上傳了一張網(wǎng)圖,兩位身穿古代盔甲的武士打麻將,讓兩個(gè)角色展開(kāi)交互,并且文生音頻與表情的一致性很高,人物表現(xiàn)也跟圖片背景比較匹配?!耙粡垐D講故事”,就是點(diǎn)一下鼠標(biāo)的事兒。
大家應(yīng)該發(fā)現(xiàn)了,一體化生成與中文場(chǎng)景深度適配的本土化視頻,百度蒸汽機(jī)的中文能力,成了華語(yǔ)創(chuàng)作者的福音。為啥之前沒(méi)有這類(lèi)中文音視頻同步生成的工具呢?
挑戰(zhàn)在于,中文語(yǔ)音存在四種聲調(diào),聲調(diào)系統(tǒng)更為復(fù)雜,而且高度依賴(lài)語(yǔ)境的語(yǔ)義表達(dá),同一個(gè)詞在不同語(yǔ)境下的解釋不同,所需要搭配的表情、音色、聲調(diào)自然也不一樣。這要求AI視頻模型不僅具備文本識(shí)別能力,更需構(gòu)建深層次的文化語(yǔ)義理解體系。
百度蒸汽機(jī)2.0展現(xiàn)出的中文場(chǎng)景適配性,來(lái)自數(shù)據(jù)與算法的雙重創(chuàng)新。數(shù)據(jù)層面,系統(tǒng)采集并標(biāo)注了覆蓋七大漢語(yǔ)方言區(qū)、總時(shí)長(zhǎng)達(dá)10萬(wàn)小時(shí)的語(yǔ)音語(yǔ)料庫(kù),并構(gòu)建了包含語(yǔ)境信息與情感維度的標(biāo)注體系,解決了歧義句的語(yǔ)義解析難題;算法層面,超98%的還原度精準(zhǔn),能夠細(xì)膩地展現(xiàn)中文語(yǔ)音細(xì)節(jié)與情感表達(dá)。
此外,在畫(huà)質(zhì)與運(yùn)鏡方面,此次百度蒸汽機(jī)2.0支持1080P高清分辨率,配合環(huán)繞、搖鏡、推軌等數(shù)十種專(zhuān)業(yè)鏡頭語(yǔ)言,實(shí)現(xiàn)了超越行業(yè)標(biāo)準(zhǔn)的專(zhuān)業(yè)級(jí)影像表達(dá),為創(chuàng)作者提供更多的創(chuàng)作可能性。
百度蒸汽機(jī)2.0,就像給視頻內(nèi)容產(chǎn)業(yè)裝上了一臺(tái)超給力的發(fā)動(dòng)機(jī)。不管是專(zhuān)業(yè)的影視工作室,還是剛?cè)腴T(mén)的內(nèi)容小白,只要有想法,都能把創(chuàng)意變成一個(gè)個(gè)爆款視頻,輕松打造屬于自己的內(nèi)容工廠。
但僅僅是生產(chǎn)制作,不足以撼動(dòng)內(nèi)容產(chǎn)業(yè)。百度蒸汽機(jī)的另一重隱藏價(jià)值,在于制作與分發(fā)體系的全面打通,這是視頻生成模型領(lǐng)域所少有的。
AI視頻模型如果沒(méi)有商業(yè)體系的支撐,技術(shù)突破的價(jià)值終將消散在成本黑洞與分發(fā)壁壘中。構(gòu)建一套讓創(chuàng)意轉(zhuǎn)化為收益的商業(yè)體系,是產(chǎn)業(yè)所需要的,也是百度所擅長(zhǎng)的。
通過(guò)促增長(zhǎng)、降成本的雙重賦能,百度商業(yè)體系正在讓AI視頻生成技術(shù)被高效傳導(dǎo)至產(chǎn)業(yè)末梢。
具體來(lái)說(shuō),百度商業(yè)體系為企業(yè)構(gòu)建了以視頻為核心的增長(zhǎng)引擎,打通生產(chǎn)-分發(fā)-變現(xiàn)的全鏈路。
企業(yè)生成的視頻可直接接入百度搜索廣告系統(tǒng),根據(jù)用戶畫(huà)像動(dòng)態(tài)調(diào)整畫(huà)面節(jié)奏與話術(shù)。對(duì)于C端創(chuàng)作者,百度也構(gòu)建了多元的收益通道,百家號(hào)對(duì)蒸汽機(jī)生成的優(yōu)質(zhì)內(nèi)容給予流量加權(quán),創(chuàng)作者可以獲得廣告分成收益。
視頻內(nèi)容想要規(guī)模化量產(chǎn),另一個(gè)條件是成本足夠低。百度蒸汽機(jī)的工程化能力,進(jìn)一步降低了AI視頻制作的成本。
好萊塢視效指導(dǎo)姚騏用百度蒸汽機(jī)生成的科幻短片《歸途》,共有40多個(gè)鏡頭,傳統(tǒng)制作方式需要百萬(wàn)美元的預(yù)算,如今成本僅需百元。C端用戶也可以通過(guò)繪想平臺(tái)每月贈(zèng)送15個(gè)5秒視頻的“想象力值”,免費(fèi)體驗(yàn)全流程AI視頻創(chuàng)作。
百度商業(yè)體系商業(yè)研發(fā)總經(jīng)理劉林介紹道,依托多年積累的GPU架構(gòu)和工程化實(shí)踐,通過(guò)算子優(yōu)化、訓(xùn)練集調(diào)整等技術(shù)手段,百度蒸汽機(jī)將視頻生成推理成本降至行業(yè)均價(jià)的70%,未來(lái)還有望進(jìn)一步降低。
總結(jié)一下,百度蒸汽機(jī)是通過(guò)技術(shù)創(chuàng)新+商業(yè)體系的雙重賦能,讓每個(gè)參與者分享AI紅利。對(duì)企業(yè)而言,意味著從購(gòu)買(mǎi)工具轉(zhuǎn)向接入生態(tài),以更低成本獲得更高商業(yè)回報(bào);對(duì)創(chuàng)作者來(lái)說(shuō),是從技術(shù)追隨者變?yōu)閯?chuàng)意主導(dǎo)者,釋放個(gè)體內(nèi)容生產(chǎn)力。
這顆由百度技術(shù)與商業(yè)體系共同鍛造的動(dòng)力心臟,正驅(qū)動(dòng)視頻內(nèi)容產(chǎn)業(yè)的創(chuàng)新齒輪加速轉(zhuǎn)動(dòng)。
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 中國(guó)企業(yè)不買(mǎi)H20的賬,黃仁勛趕赴臺(tái)積電,或定制新款A(yù)I芯片
- 釘釘十周年推出AI 1.0版本,無(wú)招:迎接AI時(shí)代的工作方式
- 國(guó)產(chǎn)AI芯片已成功突圍,但僅限于國(guó)內(nèi)市場(chǎng),NVIDIA壟斷全球市場(chǎng)
- 印度也嘗到被美國(guó)卡脖子的滋味了,厲害的光輝戰(zhàn)機(jī)沒(méi)有發(fā)動(dòng)機(jī)!
- vivo Vision探索版:押注未來(lái)的非典型突圍?
- 即夢(mèng)推出“智能多幀”功能 突破AI視頻長(zhǎng)鏡頭創(chuàng)作瓶頸
- 抖音電商升級(jí)服務(wù)體驗(yàn)生態(tài),攜手商家持續(xù)保障消費(fèi)者權(quán)益
- 視頻產(chǎn)業(yè)的創(chuàng)意活力,被百度蒸汽機(jī)這顆“動(dòng)力心臟”激活了
- 下一個(gè)十年,vivo的航路與船票
- 寒武紀(jì)不是最猛的,這些風(fēng)口上的股票一般人不敢拿
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。