從BloombergGPT看金融GPT機(jī)遇 華泰證券：關(guān)注后續(xù)GPT在銀行領(lǐng)域的業(yè)務(wù)機(jī)會

智通財(cái)經(jīng)APP獲悉，華泰證券發(fā)布研究報(bào)告稱，3月30日，Bloomberg發(fā)布專為金融領(lǐng)域打造的大語言模型(Large Language Model，LLM)BloombergGPT，實(shí)現(xiàn)了LLM在金融垂直場景的加速落地。從測試結(jié)果來看，BloombergGPT在保證LLM通用性能的基礎(chǔ)上，更加聚焦金融場景,有效實(shí)現(xiàn)了LLM與金融垂直領(lǐng)域知識的深度融合。BloombergGPT的成功，佐證了“開源模型+高質(zhì)量垂直數(shù)據(jù)”LLM搭建思路的有效性，金融GPT率先在證券場景落地，同時(shí)建議關(guān)注后續(xù)GPT在銀行領(lǐng)域的業(yè)務(wù)機(jī)會。

華泰證券主要觀點(diǎn)如下：

模型拆解：核心突破在于構(gòu)建金融訓(xùn)練數(shù)據(jù)集

根據(jù)論文《BloombergGPT: A Large Language Model for Finance》介紹，BloombergGPT同樣基于典型的Transformer架構(gòu)，與OpenAI GPT模型相同，采用了僅有解碼器(decoder-only)的技術(shù)路徑。對比來看，BloombergGPT的模型參數(shù)為500億，介于GPT-2(1.5億)與GPT-3(1,750億)之間。不同的是， Bloomberg為強(qiáng)化LLM對金融垂直領(lǐng)域的專業(yè)理解，構(gòu)建了目前最大規(guī)模的金融數(shù)據(jù)集FINPILE，通過通用文本+金融知識的混合訓(xùn)練，讓 BloombergGPT在執(zhí)行金融任務(wù)上的表現(xiàn)超過現(xiàn)有的通用LLM模型，在通用場景上的表現(xiàn)與現(xiàn)有通用LLM模型能力基本持平。

模型啟示：“開源模型+垂直數(shù)據(jù)”大有可為

以GPT-3、GPT-4為代表的大語言模型均由大型的專業(yè)人工智能團(tuán)隊(duì)開發(fā)，并且模型訓(xùn)練需要大量算力。BloombergGPT的成功證明了“開源模型+高質(zhì)量垂直數(shù)據(jù)”的方案，可以基于垂直領(lǐng)域數(shù)據(jù)打造同樣具有競爭力的大語言模型。大量的高質(zhì)量垂直領(lǐng)域知識有望彌補(bǔ)模型在規(guī)模上的不足，對比BloombergGPT與GPT-3可以看到，盡管BloombergGPT的模型參數(shù)相較于GPT-3較小，但得益于BloombergGPT的預(yù)訓(xùn)練數(shù)據(jù)增加了大量的高質(zhì)量金融數(shù)據(jù)，并對預(yù)訓(xùn)練數(shù)據(jù)進(jìn)行了一系列的清洗、標(biāo)注，BloombergGPT在通用能力與GPT-3基本持平的情況下，實(shí)現(xiàn)了金融垂直能力的大幅增強(qiáng)。

金融GPT展望：掌握金融數(shù)據(jù)的廠商有望復(fù)制BloombergGPT路徑

基于BloombergGPT的成功案例，該行認(rèn)為，訓(xùn)練數(shù)據(jù)是大語言模型能力塑造的關(guān)鍵因素，同時(shí)，Bloomberg在論文中明確出于對數(shù)據(jù)泄露的擔(dān)憂，BloombergGPT將采取與OpenAI相同的閉源方案，側(cè)面佐證了原始的預(yù)訓(xùn)練數(shù)據(jù)是各家大模型競爭的重要因素。從國內(nèi)的金融GPT的預(yù)期來看，金融IT廠商掌握著豐富的金融垂直知識與現(xiàn)有AI產(chǎn)品布局，基于高質(zhì)量的金融數(shù)據(jù)與開源的大語言模型，同樣有機(jī)會打造專屬金融場景的大語言模型，實(shí)現(xiàn)大語言模型在金融場景的有效賦能，讓大語言模型成為底層的AI操作系統(tǒng)。

風(fēng)險(xiǎn)提示：宏觀經(jīng)濟(jì)波動影響;應(yīng)用落地不及預(yù)期;本報(bào)告基于公開客觀信息整理，不構(gòu)成投資建議。