“火山方舟”啟動(dòng)邀測：集成七款大模型，抖音等業(yè)務(wù)團隊已試用|最資訊

6月28日，在火山引擎主辦、英偉達合作舉辦的“V-Tech體驗創(chuàng )新科技峰會(huì )”上，火山引擎發(fā)布大模型服務(wù)平臺“火山方舟”，面向企業(yè)提供模型精調、評測、推理等全方位的平臺服務(wù)（MaaS，即Model-as-a-Service）。目前，“火山方舟”集成了百川智能、出門(mén)問(wèn)問(wèn)、復旦大學(xué)MOSS、IDEA研究院、瀾舟科技、MiniMax、智譜AI（以拼音首字母排序）等多家AI科技公司及科研院所的大模型，并已啟動(dòng)邀測。

“企業(yè)使用大模型，首先要解決安全與信任問(wèn)題”，火山引擎總裁譚待表示，“火山方舟”實(shí)現了大模型安全互信計算，為企業(yè)客戶(hù)確保數據資產(chǎn)安全?；凇盎鹕椒街邸豹毺氐亩嗄Ｐ图軜?，企業(yè)可同步試用多個(gè)大模型，選用更適合自身業(yè)務(wù)需要的模型組合。

(資料圖片)

圖：火山引擎總裁譚待公布“火山方舟”首批大模型合作伙伴

首創(chuàng )安全互信計算

與小模型“自產(chǎn)自用”不同的是，大模型的生產(chǎn)門(mén)檻很高，數據安全成為大模型時(shí)代的新命題。據網(wǎng)絡(luò )安全公司Cyberhaven的調查，至少有 4%的員工將企業(yè)敏感數據輸入 ChatGPT，敏感數據占輸入內容的比例高達 11%。2023 年初，三星公司在使用 ChatGPT不到20天時(shí)，就發(fā)現其半導體設備相關(guān)機密數據被泄露，并連續發(fā)生3起類(lèi)似事故。

譚待認為，企業(yè)使用大模型，最擔心的是數據泄露；如果將大模型私有化部署，企業(yè)將承擔更高的成本，模型生產(chǎn)方也會(huì )擔心知識資產(chǎn)安全。“火山方舟”的首要任務(wù)，就是做好大模型使用者、提供者和云平臺可以互相信任的安全保障。

據火山引擎智能算法負責人吳迪介紹，“火山方舟”已上線(xiàn)了基于安全沙箱的大模型安全互信計算方案，利用計算隔離、存儲隔離、網(wǎng)絡(luò )隔離、流量審計等方式，實(shí)現了模型的機密性、完整性和可用性保證，適用于對訓練和推理延時(shí)要求較低的客戶(hù)。

圖：火山引擎智能算法負責人吳迪介紹“安全互信計算”

吳迪表示，“火山方舟”還在探索基于NVIDIA新一代硬件支持的可信計算環(huán)境、基于聯(lián)邦學(xué)習的數據資產(chǎn)分離等多種方式的安全互信計算方案，更全面地滿(mǎn)足大模型在不同業(yè)務(wù)場(chǎng)景的數據安全要求。

會(huì )上，NVIDIA 開(kāi)發(fā)與技術(shù)部亞太區總經(jīng)理李曦鵬表示，NVIDIA 與火山引擎過(guò)往合作成果豐碩，包括共同合作的 GPU 推理庫 ByteTransformer 在 IEEE 國際并行和分布式處理大會(huì )（IPDPS 2023）上獲得最佳論文獎，雙方還聯(lián)合開(kāi)源了高性能圖像處理加速庫 CV-CUDA，并在大規模穩定訓練、多模型混合部署等方面的技術(shù)合作上取得成效。

未來(lái)NVIDIA 和火山引擎團隊將繼續深化合作，包含在 NVIDIA Hopper 架構進(jìn)行適配與優(yōu)化、機密計算、重點(diǎn)模型合作優(yōu)化、共同為重點(diǎn)客戶(hù)提供支持，以及 NeMo Framework 適配等，攜手助力大模型產(chǎn)業(yè)繁榮。

降低大模型使用成本

中國科學(xué)技術(shù)信息研究所等機構發(fā)布的《中國人工智能大模型地圖研究報告》顯示，截至今年5月，國內已公開(kāi)披露的大模型數量達到79個(gè)。

大模型密集涌現，企業(yè)面臨“選擇困難”。在吳迪看來(lái)，技術(shù)發(fā)展日新月異，國內大模型正在快速迭代，不同大模型在特定任務(wù)上各有千秋，企業(yè)不必急于綁定一家大模型，而是應該結合自身業(yè)務(wù)場(chǎng)景，綜合評估使用效果和成本，在不同場(chǎng)景選用更具性?xún)r(jià)比的模型。

吳迪稱(chēng)，訓練大模型很昂貴，但是從長(cháng)期來(lái)看，模型的推理開(kāi)銷(xiāo)會(huì )超過(guò)訓練開(kāi)銷(xiāo)。效果和成本的矛盾永遠存在，降低推理成本會(huì )是大模型應用落地的重要因素，“一個(gè)經(jīng)過(guò)良好精調的中小規格模型，在特定工作上的表現可能不亞于通用的、巨大的基座模型，而推理成本可以降低到原來(lái)的十分之一?！?/font>

資料顯示，微軟以醫學(xué)文章數據精調了生物領(lǐng)域的BioGPT-Large模型，僅有15億參數，其在 PubMedQA 基準測試中的準確率卻優(yōu)于有著(zhù)上千億乃至數千億參數的大型通用語(yǔ)言模型。

“火山方舟”提供了豐富的模型精調和評測支持。吳迪介紹，企業(yè)可以用統一的工作流對接多家大模型，對于復雜需求可設置高級參數、驗證集、測試集等功能，再通過(guò)自動(dòng)化和人工評估直觀(guān)對比模型精調效果，在不同業(yè)務(wù)場(chǎng)景里還可靈活切換不同的模型，實(shí)現最具性?xún)r(jià)比的模型組合。這些自定義指標和評估數據的積累，將成為企業(yè)在大模型時(shí)代寶貴的數據資產(chǎn)。

據吳迪透露，抖音集團內部已有十多個(gè)業(yè)務(wù)團隊試用“火山方舟”，在代碼糾錯等研發(fā)提效場(chǎng)景，文本分類(lèi)、總結摘要等知識管理場(chǎng)景，以及數據標注、歸因分析等方面探索，利用大模型能力促進(jìn)降本增效。這些內部實(shí)踐在快速打磨“火山方舟”，推動(dòng)平臺能力的進(jìn)一步完善。

“火山方舟”的首批邀測企業(yè)，還包括金融、汽車(chē)、消費等眾多行業(yè)的客戶(hù)。北京銀行CIO龔偉華表示，大模型與客戶(hù)營(yíng)銷(xiāo)、辦公協(xié)同、數據智能的結合，在金融應用場(chǎng)景有巨大潛力。北京銀行將與“火山方舟”合作，在算力優(yōu)化、模型精調等方面展開(kāi)研究，共同推動(dòng)金融風(fēng)控、營(yíng)銷(xiāo)等模型應用落地。

助力大模型“跑完最后一公里”

集成多個(gè)大模型，供客戶(hù)直接對比，“火山方舟”的多模型架構不僅為企業(yè)提供了豐富選擇，也得到眾多大模型生產(chǎn)方的積極響應。

ChatGLM是智譜AI推出的千億基座認知模型，其開(kāi)源版本在大模型開(kāi)源領(lǐng)域極具影響力，近期智譜AI還對ChatGLM做了新升級，大幅提升了模型能力。在“火山方舟”上，智譜AI提供具有競爭力的大模型，火山引擎提供高性?xún)r(jià)比資源、針對不同行業(yè)的精調能力及綜合解決方案，共建安全可靠的第三方MaaS服務(wù)，合力推動(dòng)各行業(yè)的智能化發(fā)展。據智譜AI CEO張鵬介紹，智譜AI在火山引擎平臺上解決了千億模型訓練的穩定性、性能優(yōu)化等挑戰。

baichuan-7B發(fā)布后在MMLU、C-Eval等中英文權威榜單中均表現優(yōu)異。百川智能聯(lián)合創(chuàng )始人焦可表示，作為一款授權后可免費商用的開(kāi)源大模型，開(kāi)發(fā)者們可以通過(guò)baichuan-7B低成本部署模型，并根據自身需求靈活拓展模型能力，而本次與“火山方舟”的合作也將有效降低企業(yè)用戶(hù)的大模型接入門(mén)檻和使用成本，幫助更多企業(yè)輕松獲取專(zhuān)業(yè)服務(wù)。

MiniMax等大模型企業(yè)代表也亮相參加“火山方舟”的發(fā)布儀式。此前，MiniMax聯(lián)合創(chuàng )始人楊斌公開(kāi)分享了與火山引擎的合作成果：MiniMax在火山引擎上實(shí)現了從月至周級別的大模型迭代速度，和指數級的用戶(hù)交互增長(cháng)，“或許是國內第一家在公有云上實(shí)現數千卡并行訓練的公司”。MiniMax還自研了超大規模的推理平臺，穩定支撐著(zhù)每天上億次的大模型推理調用。MiniMax的文本、語(yǔ)音、視覺(jué)三個(gè)模態(tài)大模型登陸“火山方舟”，是雙方合作的進(jìn)一步深化。

科研機構同樣是推動(dòng)大模型技術(shù)發(fā)展的重要力量，復旦大學(xué)自然語(yǔ)言處理實(shí)驗室開(kāi)發(fā)的MOSS大模型、IDEA研究院開(kāi)發(fā)的姜子牙系列大模型，均是該領(lǐng)域的代表作。IDEA研究院認知計算與自然語(yǔ)言研究中心講席科學(xué)家張家興表示，大模型生產(chǎn)方會(huì )不斷提升基礎模型能力，為大模型應用完成90%-99%的工作，“火山方舟”為代表的云平臺要幫助客戶(hù)為不同場(chǎng)景精調模型，“跑完最后一公里”。張家興認為，“在技術(shù)驅動(dòng)和需求拉動(dòng)的作用下，大模型的世界必然百花齊放”。

譚待判斷，企業(yè)使用大模型，未來(lái)可能會(huì )呈現“1+N”的模式：“1”是通過(guò)自研或深度合作，形成1個(gè)主力模型；由于成本和場(chǎng)景復雜多元等原因，在這個(gè)主力模型之外，還會(huì )有N個(gè)模型同時(shí)應用。

“每一次技術(shù)的大變革，都會(huì )帶來(lái)體驗創(chuàng )新的新機會(huì )”，譚待坦言，“火山方舟”還在起步階段，工具鏈和下游應用插件需要持續完善。平臺還將接入更多大模型，并逐步擴大邀測范圍，與企業(yè)客戶(hù)共建開(kāi)放合作的多模型生態(tài)，加速大模型在各行各業(yè)的應用落地。