中國電信消息，近日中國電信人工智能研究院開源12B參數(shù)規(guī)模星辰語義大模型TeleChat-12B，相較1月開源7B版本，內容、性能和應用等方面整體效果提升30%，其中，多輪推理、安全問題等領域提升超40%。在C-eval、MMLU、AGIEVAL等國際權威榜單上，排名處于國內同級別參數(shù)開源模型的前列，進一步促進大模型開源生態(tài)繁榮，助力AI產業(yè)加速高質量發(fā)展。另據(jù)悉，中國電信將于年內開源千億級參數(shù)大模型。
中國電信人工智能研究院（TeleAI）堅持完全自研自主可控，在中國電信首席技術官、首席科學家、TeleAI院長李學龍帶領下，加快研發(fā)創(chuàng)新，不斷優(yōu)化底層模型結構，解除Word Embedding與lmhead共享參數(shù)，有效提升模型穩(wěn)定性和訓練效果，并基于精細化的CheckPoint效果驗證，進行動態(tài)的數(shù)據(jù)配比優(yōu)化調整，大幅提升模型訓練效果。
海量高質量數(shù)據(jù)是保證大模型效果的基礎，TeleChat-12B將7B版本1.5T訓練數(shù)據(jù)提升至3T，優(yōu)化數(shù)據(jù)清洗、標注策略，持續(xù)構建專項任務SFT（監(jiān)督微調）數(shù)據(jù)，優(yōu)化數(shù)據(jù)構建規(guī)范，大大提升數(shù)據(jù)質量；同時，基于電信星辰大模型用戶真實回流數(shù)據(jù)，優(yōu)化獎勵模型和強化學習模型，有效提升模型問答效果。
TeleAI通過更徹底地開源推動大模型技術進步，同時攜手華為昇騰，推動大模型全棧國產化進程。此次開源提供基礎模型以及基于相應版本的對話模型、不僅支持傳統(tǒng)的全量參數(shù)更新還支持 LoRA 等只更新部分參數(shù)的高效微調方法、支持Deepspeed微調、支持int8、int4量化。
在推動大模型全棧國產化進程上，TeleChat-12B已支持昇騰AI基礎軟硬件：推理方面，支持Atlas 300I DUO推理卡，精度與性能表現(xiàn)均與業(yè)界第一梯隊持平。已規(guī)劃支持Atlas 800I A2推理服務器；訓練方面，支持昇騰訓練服務器，用戶可使用昇思MindSpore和PyTorch框架進行多機多卡模型訓練和微調，兩個框架下模型精度與性能均有不俗表現(xiàn)。當前在多個項目中，已基于昇騰技術完成模型商用落地。下一步規(guī)劃基于天翼云昇騰智算集群，訓練多種尺寸的TeleChat模型，以AI賦能千行百業(yè)。隨著電信與華為昇騰合作的不斷深入，電信已經培養(yǎng)出一支成熟的昇騰開發(fā)者團隊，為人工智能技術自主可控貢獻專家力量。
加速探索創(chuàng)新的同時，星辰大模型也在深入推動人工智能與各行各業(yè)的融合，積極探索新興的應用場景。星辰語義大模型已應用于行文寫作、代碼編程、網(wǎng)絡故障分析以及經營分析等場景，以行文寫作為例，其平均生成字數(shù)超過1500字，有效采納率達到85.7%；在對外企事業(yè)單位客戶的業(yè)務中，星辰語義大模型支持企業(yè)經營分析、政務公開咨詢、民生訴求接待等場景，可覆蓋95%的實際業(yè)務場景，多輪理解準確率達到90%。除傳統(tǒng)行業(yè)應用場景，星辰大模型積極探索前沿領域應用，賦能具身智能，解決無人機編排投入多、開發(fā)量大的問題，實現(xiàn)無人機智能編排輕量化建設。
據(jù)悉，星辰大模型已廣泛應用落地，賦能千行百業(yè)轉型升級?？头竽Ｐ驮谌珖圏c上線18個服務場景，充分賦能智慧客服和數(shù)字人，在激活十億級的日志、百億級的網(wǎng)絡參數(shù)等海量數(shù)據(jù)資產的基礎上，進一步深化智能化運營；星辰政務大模型已落地某市民生訴求場景，為市民提供在線文本問答服務，提升政務服務能力，提高市民滿意度；星辰經分大模型已落地某市經信局行業(yè)大模型，利用大模型生成能力快速草擬相關產業(yè)研究報告，簡化知識檢索流程，快速、精準查詢所需知識內容，以便迅速、準確地掌握發(fā)展動態(tài)，支持決策過程，并追蹤全球經濟形勢和科技創(chuàng)新，滿足迫切的產業(yè)洞察和分析需求。
免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。
