長江證券：GROK-1專家模型開源 建議關(guān)注AI模型相關(guān)廠商與核心行業(yè)應(yīng)用廠商

智通財經(jīng)APP獲悉，長江證券發(fā)布研報稱，3月18日，馬斯克旗下大模型公司xAI宣布開源3140億參數(shù)的混合專家(MoE)模型Grok-1，以及模型的權(quán)重和網(wǎng)絡(luò)架構(gòu)，開發(fā)者可直接在Github下載獲得?，F(xiàn)階段，開源模型在行業(yè)場景落地前需要通過行業(yè)數(shù)據(jù)調(diào)參，在此過程中需要較強的AI工程化能力，因此建議關(guān)注AI模型相關(guān)廠商與核心行業(yè)應(yīng)用廠商；而隨著開源模型的應(yīng)用，對AI算力的需求也隨之提升，建議關(guān)注AI算力相關(guān)廠商。

長江證券認為，Grok-1是當前參數(shù)量最大的開源大語言模型，由8個混合專家模型組成，有25%的權(quán)重在給定token上處于激活狀態(tài)，因此在每次推理時會有2個活躍的專家模型(860億參數(shù))。Grok-1基礎(chǔ)模型在大量文本數(shù)據(jù)上訓(xùn)練，未針對任何特定任務(wù)進行微調(diào)。

Grok-1通過專家模型組合實現(xiàn)高性能與低算力消耗。在訓(xùn)練階段，Grok-1會對8個小模型各自做不同任務(wù)的針對性訓(xùn)練，因此在數(shù)據(jù)喂入之后，模型不用一次性迭代所有參數(shù)，而僅僅迭代部分小模型的參數(shù)。在推理階段，雖然Grok-1整體參數(shù)超過3140億，但每次推理時只會調(diào)動860億的參數(shù)參與計算，算力消耗接近LLaMA2模型的700億參數(shù)，但性能得到了大幅度躍升。根據(jù)xAI公布的數(shù)據(jù)，在GSM8K、HumanEval和MMLU等一系列基準測試中，Grok-1模型的表現(xiàn)超過了LLaMA-2-70B模型和GPT-3.5模型。

Grok-1模型開源彌補了我國模型側(cè)的技術(shù)短板，有望賦能行業(yè)應(yīng)用發(fā)展。我國在專家模型層面與國外存在一定的技術(shù)差距，本次Grok-1的開源有望彌補我國模型側(cè)的技術(shù)短板。

Grok-1開源模型在相關(guān)廠商以行業(yè)數(shù)據(jù)微調(diào)后，未來或加速法律、金融、教育等行業(yè)垂類應(yīng)用的智能化進程。

xAI公司的AI能力有望在未來賦能馬斯克的產(chǎn)業(yè)鏈生態(tài)。長江證券認為，截至目前，經(jīng)過微調(diào)的Grok大模型已經(jīng)搭載于馬斯克的X社交平臺上，X訂閱用戶可與模型進行多任務(wù)的對話，可以實時訪問X平臺上的海量數(shù)據(jù)，從中學(xué)習和理解最新的熱門話題和事件。而馬斯克的智能駕駛、人形機器人公司特斯拉，腦機接口公司Neuralink同樣與AI具備較強關(guān)聯(lián)性，需要AI模型賦能。xAI公司有望在未來成為馬斯克產(chǎn)業(yè)鏈的技術(shù)中臺，賦能全產(chǎn)業(yè)鏈生態(tài)。

風險提示：開源模型商業(yè)模式發(fā)展不及預(yù)期。AI模型下游需求不及預(yù)期。