文|智能相對論

作者| 葉一城

野火燎原，openAI搞出的chatGPT大有當年alphaGo的架勢，攪動整個AI業(yè)界春心蕩漾。

從openAI的大金主微軟，到昔日明星alphaGo的爸爸Google，都火急火燎地要出來表態(tài)——前者要彰顯主權并在內部全面應用，后者作為全球AI領頭羊怎么能失了對稱的地位，要發(fā)布對應的產(chǎn)品。

國內科技圈自然也發(fā)揚了聞風而動的優(yōu)良品格，在元宇宙概念疲軟后，有關的沒關的都紛紛貼上來。股市上各種妖魔鬼怪橫行，對于上漲，某些董秘的回復中，否定或許還帶著撿漏的竊喜。

而“AI大戶”百度在宣布發(fā)布類似的產(chǎn)品“文心一言”后，股價也立刻上漲。

股民們冤不冤？這次可能不太冤，因為就“中國版ChatGPT”而言，不管騰訊、阿里怎么站位的，某種程度上百度確實最有技術資格，也最能從ChatGPT的落地應用中獲得現(xiàn)實的商業(yè)價值。

判斷誰能在技術的風口上占便宜，第一步永遠是先看技術的本質。

ChatGPT從產(chǎn)品形態(tài)上，是“一個使用自然語言處理技術實現(xiàn)和人類互動對話的產(chǎn)品”，而其內在本質，就是一個預訓練大模型。所謂“大”，就是在巨量到一般人無法想象的數(shù)據(jù)訓練下?lián)碛旋嫶蟮膮?shù)規(guī)模，因為“大”而見識多，博學多才，任何領域都懂，只要稍微調教一下就能出產(chǎn)特定場景的應用。

ChatGPT并不是一次性發(fā)展而來的，其屬于openAI的一系列預訓練模型，所謂GPT，即Generative Pre-Trained Transformer，就是通過Transformer為基礎模型，使用預訓練技術得到通用的文本模型。從已經(jīng)公布的論文看，從2018年起，GPT家族已經(jīng)先后擁有GPT-1，GPT-2，GPT-3，以及圖像預訓練iGPT等模型，而目前火得一塌糊涂的ChatGPT，更像是一個GPT-4之前的過渡版本GPT-3.5，因為強大的對話能力突然爆火起來。

不同的是，ChatGPT采用了新的指示學習（Instruction Learning）和人工反饋的強化學習（Reinforcement Learning from Human Feedback，RLHF）來指導模型的訓練，前者為ChatGPT帶來理解能力，后者通過人工標注反饋的方式來增強模型的效果，實現(xiàn)GPT的進化。

在一系列進化下，ChatGPT的參數(shù)總量與GPT-3一致，達到了1750億，實現(xiàn)了從GPT-2的15億的跳躍。

說到底，ChatGPT就是一個積累已久、有著特殊訓練方式的大模型，它的發(fā)展是有技術進化路線的。

而“巧合”的是，百度大力投入的產(chǎn)業(yè)級知識增強文心大模型ERNIE，具備跨模態(tài)、跨語言的深度語義理解與生成能力，其技術演進幾乎走出了同樣的進程。

早在2019年3月，百度就做出了文心 ERNIE 1.0，這一技術創(chuàng)新與“同類”GPT-1、BERT的差距都只有幾個月，而且百度積累的大規(guī)模知識和海量多元數(shù)據(jù)，讓文心得以快速發(fā)展——搜索業(yè)務給大模型所需要的龐大數(shù)據(jù)訓練量帶來了天然的便利。

例如，在文心的發(fā)展過程中，2021年，ERNIE 3.0大模型即擁有千億參數(shù)；與超強算力方聯(lián)合的鵬城-百度·文心作為一款融合了自然語言理解和自然語言生成的大模型，其參數(shù)量達到了2600億，相對GPT-3和ChatGPT提升了50%。

去年9月，百度CEO李彥宏判斷人工智能發(fā)展在“技術層面和商業(yè)應用層面，都有方向性改變”。據(jù)推測，百度那時候就開始做文心一言。

除了參數(shù)規(guī)模擴大、能力增強，文心與ChatGPT一樣，也在適應不同需要進行技術進化。目前文心大模型總量已經(jīng)有36個，以其中的知識增強輕量級大模型ERNIE 3.0 Tiny為例，該模型能夠通過多任務知識蒸餾手段將千億多任務大模型的所學遷移至輕量級模型中，訓練了10億級、億級、千萬級不同體量大小的輕量級大模型，實現(xiàn)了優(yōu)秀的泛化能力。

回過頭來看，百度在技術上一直在做與GPT相同的事，但是晦澀的技術決定了它始終缺乏足夠的曝光度，直到大洋彼岸的ChatGPT突然搞出了“大新聞”，舉起了旗幟，于是，這就成了百度彰顯自身技術能力的契機。

從GPT-3到ChatGPT，與從“文心”到“文心一言”（英文名ERNIE Bot）的命名方式，也“驚人巧合”——原本就是一樣的技術迭代過程罷了，百度之所以3月就能馬上做出來，甚至按目前的節(jié)奏內測還可能提前，原因就在于ChatGPT要的那些技術百度都有，產(chǎn)品上再加入對話算法等，很快就能對齊。

至少在NLP領域，目前國內還沒用企業(yè)能夠看齊百度。

而在現(xiàn)實價值方面，實際上ChatGPT做的各種對話、各種輔助功能，都與百度的業(yè)務線較為契合，無論是內部的搜索+信息流，還是對外提供的諸如智慧城市等B端解決方案中，都能得到很好的利用。

尤其是，AI與搜索的契合一直是百度近些年的努力方向，以傳統(tǒng)精確搜索為主、“文心一言”的工具型搜索為輔的方式，也更符合未來搜索的形態(tài)。

當然，其他輔助的，比如芯片（算力相關）、開發(fā)框架（飛槳），百度也都有成熟的“基建配套”了，

不過，百度面臨的問題還是那個老生常談的話題：能不能持續(xù)投入下去，等待真正的商業(yè)價值回報？畢竟，ChatGPT吹得再響，現(xiàn)實的問題肯定少不了，得有一個成熟的過程。

說白了，在沒有進入強人工智能時代，ChatGPT再厲害其本質也只是“小孩學舌”，學得更多當然就更像，但也只是“知其然不知其所以然”。

這不是說小孩學舌就沒有用，能夠學起來很像、能解決一些問題，價值也很大。只不過，帶過孩子的都知道，小孩學舌在面臨認知問題時，會出現(xiàn)很多邏輯尷尬。

目前ChatGPT在一些對話上就出現(xiàn)了這個問題，例如解一道簡單的數(shù)學題，能給你扯一大堆，但結果就是不對。又例如很多專業(yè)領域的會話，和官樣文章一樣看似內容很多、邏輯嚴密，但就是言之無物。

一些程序界大佬驚呼ChatGPT的健壯性遠超人類，要開除外包程序員，實際危言聳聽。所謂健壯性無非就是設定規(guī)則的執(zhí)行，就像數(shù)數(shù)，人從0數(shù)到300，肯定容易出錯，機器數(shù)，當然就不會出錯，沒啥好驚奇的。

無論如何，ChatGPT還有一些路要走，最有資格也最能得益的百度，在風潮面前仍然要咬牙繼續(xù)堅持才好，這其中的投入或許會更大。

*本文圖片均來源于網(wǎng)絡

生成海報

免責聲明：此文內容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。