國信證券：新一輪人工智能創(chuàng)新周期 ChatGPT對算力需求如何？

智通財經(jīng)APP獲悉，國信證券發(fā)布研究報告稱，當(dāng)前處在以ChatGPT為主線的新一輪人工智能創(chuàng)新周期，ChatGPT為人工智能產(chǎn)業(yè)注入新活力，有望帶動AIGC類應(yīng)用快速爆發(fā)，人工智能技術(shù)作為驅(qū)動數(shù)據(jù)經(jīng)濟(jì)的技術(shù)底層，有望迎來新的發(fā)展機(jī)遇。數(shù)據(jù)、算力與算法是人工智能時代的三大基石，三者相互促進(jìn)帶動AI+應(yīng)用快速落地，ChatGPT為首的自然語言處理類技術(shù)及應(yīng)用，有望迎來全面爆發(fā)，建議重點關(guān)注人工智能相關(guān)賽道。

事件：2022年11月30日人工智能實驗室OpenAI發(fā)布全新聊天機(jī)器人模型ChatGPT，其是一款人工智能技術(shù)驅(qū)動的自然語言處理工具。自從ChatGPT推出以來，受到市場廣泛關(guān)注，當(dāng)前每日用戶超過1000萬人。

國信證券主要觀點如下：

Chatgpt成本主要可以拆分成訓(xùn)練和推理兩個階段。

人工智能主要分為計算機(jī)視覺和自然語言處理兩大基礎(chǔ)方向，當(dāng)前自然語言處理類任務(wù)基于大型語言模型(LLM，LargeLanguageModel)演進(jìn)出了最主流的兩個主要方向，BERT(基于Transformer的雙向編碼器表示技術(shù))和GPT(基于Transformer生成預(yù)訓(xùn)練技術(shù))，Google屬于BERT技術(shù)方向，微軟投資的OpenAI屬于GPT技術(shù)方向。從計算過程上，人工智能計算主要可以分為模型訓(xùn)練與推理兩個階段，針對大語言模型LLM更是如此，隨著參數(shù)與數(shù)據(jù)規(guī)模的不斷增大，將帶動拉動算力需求的快速增長。

“token”是當(dāng)前語言類模型的數(shù)據(jù)單位。

當(dāng)前的自回歸語言模型是根據(jù)token來作為單位進(jìn)行數(shù)據(jù)處理和計算，分詞(tokenization)就是將句子、段落、文章這類型的長文本分解為以token為單位的數(shù)據(jù)結(jié)構(gòu)，把文本分詞后每個詞表示成向量進(jìn)行模型計算。例如在英文語境下，“happy”可能被分解為“hap”、“-py”兩個token，中文語境下，“我很開心”可以分成“我”，“很”，“開心”三個token。

以英偉達(dá)DGXA1OO服務(wù)器作為計算資源：

(1)單臺服務(wù)器售價20萬美元;(2)采用云服務(wù)單天成本約為460美元。根據(jù)英偉達(dá)官網(wǎng)數(shù)據(jù)，英偉達(dá)超算GPU系列從舊到新包括P100、V100、A100、H100等，其中，DGXA100系列服務(wù)器為2020年發(fā)布，是當(dāng)前主流使用的超算服務(wù)器，單機(jī)有8個A100系列GPU，AI算力性能為5PetaFLOP/s，單機(jī)最大功率6.5kw，售價19.9萬美元;如果租用云服務(wù)，根據(jù)亞馬遜數(shù)據(jù)顯示，在亞馬遜AWS預(yù)定一年的A100系列GPU，有8個A100的AWSP4實例的平均成本約19.22美元，一天的平均成本約為461.28美元。

ChatGPT上一個30字的問題需要消耗計算資源0.12PetaFLOP/S。

最常見的Transformer類語言模型在推理過程中每個token的計算成本(以FLOPs為指標(biāo))約為2N，其中N為模型參數(shù)數(shù)量(20年發(fā)布的GPT-3擁有1750億參數(shù)，22年谷歌發(fā)布的PaLM擁有5400億參數(shù)，由于并未公布當(dāng)前GPT3.5的參數(shù)數(shù)量，當(dāng)前假定參數(shù)數(shù)量為3000億)，假設(shè)模型的FLOPS利用率約為20%，粗略估計ChatGPT一個30字(假設(shè)約40個token，注：在英文語境下，一般1000個token=750個單詞)問題需要的算力資源為2*40*3000億/20%=0.12PetaFLOP/S。

推理成本：為滿足當(dāng)前用戶訪問產(chǎn)生的推理成本，自建IDC初始投入約在4億美元，租用云服務(wù)每日成本約28萬美元。

根據(jù)Similarweb的數(shù)據(jù)，23年1月份當(dāng)前ChatGPT日活約1300萬人，每人平均1000字左右的問題，因此合計產(chǎn)生約130億字(173.3億個token)，假設(shè)24小時平均分配任務(wù)，需要的A100GPU數(shù)量為173.3億*2*3000億/(20%*24小時*3600秒)=601.75PetaFLOP/S，由于訪問流量存在峰值，假定訪問峰值是一天均值的5倍，因此共需要602臺DGXA100服務(wù)器能夠滿足當(dāng)前的訪問量。

1)自建IDC：服務(wù)器成本約占數(shù)據(jù)中心成本30%左右，為滿足當(dāng)前日常訪問需求，前期一次性成本投入約為602*19.9/30%=3.99億美元;

2)云服務(wù)：假設(shè)每天租用亞馬遜AWS云服務(wù)，每天成本為461.28*602=27.77萬美元。

訓(xùn)練成本：訓(xùn)練階段每個Token的訓(xùn)練成本約為6N(推理成本為2N)，由于每年訓(xùn)練成本都在快速下降，此處引用OneFlow的測算結(jié)果，在公有云中訓(xùn)練OPENAI的GPT-3模型需花費訓(xùn)練成本約140萬美元，Google的PaLM模型需花費訓(xùn)練成本約1120萬美元。

預(yù)計在ChatGPT結(jié)合Bing搜索功能后，其對算力資源的消耗將成數(shù)倍增長。

當(dāng)前ChatGPT模型可以理解為在一個在龐大訓(xùn)練數(shù)據(jù)集上訓(xùn)練的LLM，它會將訓(xùn)練期間的知識存儲到模型參數(shù)中。在推理過程中(使用模型生成輸出)，LLM無法訪問外部知識，僅依靠模型參數(shù)進(jìn)行計算;如果將ChatGPT與搜索功能結(jié)合，如Bing等搜索引擎，其計算過程將通過搜索引擎返回多個查詢結(jié)果，并通過GPT計算生成多個響應(yīng)，在返回最高分的響應(yīng)給用戶，其對算力資源的消耗將成數(shù)倍增長，增長倍數(shù)取決于搜索和響應(yīng)的個數(shù)。

風(fēng)險提示：模型假設(shè)不合理對測算結(jié)果造成偏差，ChatGPT商業(yè)化落地不及預(yù)期。