通信行業(yè)專題報告：開源競速，AI大模型的“Linux時刻”降臨.pdf

通信行業(yè)專題報告：開源競速，AI大模型的“Linux時刻”降臨。ChatGPT 發(fā)布后不久，Meta 就開源了類 GPT 大語言模型 LLaMA，此后， Alpaca、Vicuna、Koala 等多個大模型誕生，它們以遠低于 ChatGPT 的模 型規(guī)模和成本，實現(xiàn)了令人矚目的性能，引發(fā)業(yè)內人士擔憂“谷歌和 OpenAI 都沒有護城河，大模型門檻正被開源踏破，不合作就會被取代”。 資本市場也在關注大模型未來競爭格局如何，模型小了是否不再需要大量 算力，數據在其中又扮演了什么角色？……本報告試圖分析這波開源大語 言模型風潮的共同點，回顧開源標桿 Linux 的發(fā)展史，回答這些問題。

共同點一：始于開源。開源≠免費，開源的商業(yè)模式至少包括：1、靠服 務變現(xiàn)。曾上市、后被 IBM 收購的 Linux 企業(yè)服務公司紅帽即是一例。企 業(yè)為了更穩(wěn)定和及時的技術支持，愿意付費。2、靠授權費變現(xiàn)。安卓開 源，但谷歌向歐盟使用安卓谷歌套件的廠商收取許可費即是一例。3、許 可證、標準和能力評價體系的發(fā)展，是開源大模型商用程度深化的催化劑。 這波開源大模型采用的許可證協(xié)議主要是 Apache 2.0 和 MIT，它們不禁 止商用，并且不禁止用戶修改模型后閉源，這有助于公司應用此類大模型。

共同點二：參數少、小型化。相較于 GPT3+千億參數超大模型，這波開源 大模型的參數量普遍在十億至百億級別。目前尚沒有一套系統(tǒng)的大模型性 能評價體系，其中僅部分任務有公信力較強的評分標準。開源大模型中， Vicuna 的能力也較強，在部分任務能達到 92% GPT4 的效果。總體來說， OpenAI GPT 系仍一騎絕塵，但訓練成本高，難復現(xiàn)。而開源大模型借助 更大標識符訓練數據集、DeepSpeed、RLHF 等方式，實現(xiàn)低訓練成本和 高性能，超大模型以下大模型的壁壘正在消失。

共同點三：數據集重視人類指令，并走向商用。ChatGPT 相較于 GPT3 效 果大幅提升的重要因素是使用了 RLHF（基于人類反饋的強化學習），即 在訓練中，使用人類生成的答案和對 AI 生成內容的排序，來讓 AI“對齊” 人類偏好。LLaMA 沒有使用指令微調，但 LLaMA 之后的大量大模型使用 并開源了指令數據集，并且逐步探索自建指令數據集，而非使用有商用限 制的 OpenAI 的，進一步降低了復現(xiàn) GPT 的門檻，擴展了商用可用性。

接下來怎么看開源大模型？站在開源大模型浪潮中，我們注意到兩個趨 勢：1）與多模態(tài)融合，清華大學的 VisualGLM-6B 即是著名開源語言模型 ChatGLM 的多模態(tài)升級版，我們認為，其可基于消費級顯卡在本地部署的 特性是大勢所趨。2）開源模型+邊緣計算推動 AI 商用落地，哈爾濱大學 的中文醫(yī)療問診模型“華駝”以及在跨境電商的使用就是案例。