國信證券:新一輪人工智能創(chuàng)新周期 ChatGPT對算力需求如何?

數(shù)據(jù)、算力與算法是人工智能時代的三大基石,三者相互促進(jìn)帶動AI+應(yīng)用快速落地。

智通財經(jīng)APP獲悉,國信證券發(fā)布研究報告稱,當(dāng)前處在以ChatGPT為主線的新一輪人工智能創(chuàng)新周期,ChatGPT為人工智能產(chǎn)業(yè)注入新活力,有望帶動AIGC類應(yīng)用快速爆發(fā),人工智能技術(shù)作為驅(qū)動數(shù)據(jù)經(jīng)濟(jì)的技術(shù)底層,有望迎來新的發(fā)展機(jī)遇。數(shù)據(jù)、算力與算法是人工智能時代的三大基石,三者相互促進(jìn)帶動AI+應(yīng)用快速落地,ChatGPT為首的自然語言處理類技術(shù)及應(yīng)用,有望迎來全面爆發(fā),建議重點關(guān)注人工智能相關(guān)賽道。

事件:2022年11月30日人工智能實驗室OpenAI發(fā)布全新聊天機(jī)器人模型ChatGPT,其是一款人工智能技術(shù)驅(qū)動的自然語言處理工具。自從ChatGPT推出以來,受到市場廣泛關(guān)注,當(dāng)前每日用戶超過1000萬人。

國信證券主要觀點如下:

Chatgpt成本主要可以拆分成訓(xùn)練和推理兩個階段。

人工智能主要分為計算機(jī)視覺和自然語言處理兩大基礎(chǔ)方向,當(dāng)前自然語言處理類任務(wù)基于大型語言模型(LLM,LargeLanguageModel)演進(jìn)出了最主流的兩個主要方向,BERT(基于Transformer的雙向編碼器表示技術(shù))和GPT(基于Transformer生成預(yù)訓(xùn)練技術(shù)),Google屬于BERT技術(shù)方向,微軟投資的OpenAI屬于GPT技術(shù)方向。從計算過程上,人工智能計算主要可以分為模型訓(xùn)練與推理兩個階段,針對大語言模型LLM更是如此,隨著參數(shù)與數(shù)據(jù)規(guī)模的不斷增大,將帶動拉動算力需求的快速增長。

“token”是當(dāng)前語言類模型的數(shù)據(jù)單位。

當(dāng)前的自回歸語言模型是根據(jù)token來作為單位進(jìn)行數(shù)據(jù)處理和計算,分詞(tokenization)就是將句子、段落、文章這類型的長文本分解為以token為單位的數(shù)據(jù)結(jié)構(gòu),把文本分詞后每個詞表示成向量進(jìn)行模型計算。例如在英文語境下,“happy”可能被分解為“hap”、“-py”兩個token,中文語境下,“我很開心”可以分成“我”,“很”,“開心”三個token。

以英偉達(dá)DGXA1OO服務(wù)器作為計算資源:

(1)單臺服務(wù)器售價20萬美元;(2)采用云服務(wù)單天成本約為460美元。根據(jù)英偉達(dá)官網(wǎng)數(shù)據(jù),英偉達(dá)超算GPU系列從舊到新包括P100、V100、A100、H100等,其中,DGXA100系列服務(wù)器為2020年發(fā)布,是當(dāng)前主流使用的超算服務(wù)器,單機(jī)有8個A100系列GPU,AI算力性能為5PetaFLOP/s,單機(jī)最大功率6.5kw,售價19.9萬美元;如果租用云服務(wù),根據(jù)亞馬遜數(shù)據(jù)顯示,在亞馬遜AWS預(yù)定一年的A100系列GPU,有8個A100的AWSP4實例的平均成本約19.22美元,一天的平均成本約為461.28美元。

ChatGPT上一個30字的問題需要消耗計算資源0.12PetaFLOP/S。

最常見的Transformer類語言模型在推理過程中每個token的計算成本(以FLOPs為指標(biāo))約為2N,其中N為模型參數(shù)數(shù)量(20年發(fā)布的GPT-3擁有1750億參數(shù),22年谷歌發(fā)布的PaLM擁有5400億參數(shù),由于并未公布當(dāng)前GPT3.5的參數(shù)數(shù)量,當(dāng)前假定參數(shù)數(shù)量為3000億),假設(shè)模型的FLOPS利用率約為20%,粗略估計ChatGPT一個30字(假設(shè)約40個token,注:在英文語境下,一般1000個token=750個單詞)問題需要的算力資源為2*40*3000億/20%=0.12PetaFLOP/S。

推理成本:為滿足當(dāng)前用戶訪問產(chǎn)生的推理成本,自建IDC初始投入約在4億美元,租用云服務(wù)每日成本約28萬美元。

根據(jù)Similarweb的數(shù)據(jù),23年1月份當(dāng)前ChatGPT日活約1300萬人,每人平均1000字左右的問題,因此合計產(chǎn)生約130億字(173.3億個token),假設(shè)24小時平均分配任務(wù),需要的A100GPU數(shù)量為173.3億*2*3000億/(20%*24小時*3600秒)=601.75PetaFLOP/S,由于訪問流量存在峰值,假定訪問峰值是一天均值的5倍,因此共需要602臺DGXA100服務(wù)器能夠滿足當(dāng)前的訪問量。

1)自建IDC:服務(wù)器成本約占數(shù)據(jù)中心成本30%左右,為滿足當(dāng)前日常訪問需求,前期一次性成本投入約為602*19.9/30%=3.99億美元;

2)云服務(wù):假設(shè)每天租用亞馬遜AWS云服務(wù),每天成本為461.28*602=27.77萬美元。

訓(xùn)練成本:訓(xùn)練階段每個Token的訓(xùn)練成本約為6N(推理成本為2N),由于每年訓(xùn)練成本都在快速下降,此處引用OneFlow的測算結(jié)果,在公有云中訓(xùn)練OPENAI的GPT-3模型需花費訓(xùn)練成本約140萬美元,Google的PaLM模型需花費訓(xùn)練成本約1120萬美元。

預(yù)計在ChatGPT結(jié)合Bing搜索功能后,其對算力資源的消耗將成數(shù)倍增長。

當(dāng)前ChatGPT模型可以理解為在一個在龐大訓(xùn)練數(shù)據(jù)集上訓(xùn)練的LLM,它會將訓(xùn)練期間的知識存儲到模型參數(shù)中。在推理過程中(使用模型生成輸出),LLM無法訪問外部知識,僅依靠模型參數(shù)進(jìn)行計算;如果將ChatGPT與搜索功能結(jié)合,如Bing等搜索引擎,其計算過程將通過搜索引擎返回多個查詢結(jié)果,并通過GPT計算生成多個響應(yīng),在返回最高分的響應(yīng)給用戶,其對算力資源的消耗將成數(shù)倍增長,增長倍數(shù)取決于搜索和響應(yīng)的個數(shù)。

風(fēng)險提示:模型假設(shè)不合理對測算結(jié)果造成偏差,ChatGPT商業(yè)化落地不及預(yù)期。

智通聲明:本內(nèi)容為作者獨立觀點,不代表智通財經(jīng)立場。未經(jīng)允許不得轉(zhuǎn)載,文中內(nèi)容僅供參考,不作為實際操作建議,交易風(fēng)險自擔(dān)。更多最新最全港美股資訊,請點擊下載智通財經(jīng)App
分享
微信
分享
QQ
分享
微博
收藏