GPT-3 掀起AI 大模型浪潮,大模型下參數(shù)量即是準(zhǔn)確度。大模型成為AI 開發(fā)新范式。根據(jù)MIT Technology Review 和IEEE Computer,2020 年,Open AI推出其新的預(yù)訓(xùn)練模型GPT-3,GPT-3 相比其上一代模型在數(shù)據(jù)量上實(shí)現(xiàn)了量級的飛躍。模型的參數(shù)量由15 億個提升至1750 億個,訓(xùn)練使用的數(shù)據(jù)量由40GB提升至45TB。在算法幾乎沒有變化的情況下,GPT-3 僅依靠參數(shù)量的提升就實(shí)現(xiàn)了表現(xiàn)上的飛躍:GPT-3 可以在高精確度地自動生成文章、與人交流、甚至完成代碼編寫,至今仍是最好的AI 語言模型之一。在GPT-3 大獲成功的推動下,AI 開發(fā)商們開啟了大模型的競賽。目前,Google 的Switch-Transformer 和GLaM分別有1 萬億和1.2 萬億個參數(shù)。在我國,北京智源人工智能院推出的悟道2.0則有1.75 萬億的參數(shù)規(guī)模。對于AI 模型而言,參數(shù)量決定了模型所接受的訓(xùn)練量。模型擁有越多的參數(shù),就能從訓(xùn)練數(shù)據(jù)中摘取更多的相關(guān)信息,也因此能夠做出更準(zhǔn)確的預(yù)測。 

 

    大模型對算法與硬件提出更高要求,進(jìn)一步提升技術(shù)門檻。相比于傳統(tǒng)AI 模型,大模型對相關(guān)算法和硬件設(shè)施有著更高的要求。想要處理千億量級以上的參數(shù),大模型需要上百個獨(dú)立的GPU 來訓(xùn)練模型的神經(jīng)網(wǎng)絡(luò),同時需要算法來將所有的訓(xùn)練數(shù)據(jù)在各GPU 之間進(jìn)行合理分配,確保這些數(shù)據(jù)以合適的順序、在合適的時間被使用。在開發(fā)AI 大模型時,各AI 廠商都在對相應(yīng)的算法和硬件設(shè)施進(jìn)行升級,確保超大體量的參數(shù)能被模型所吸納。根據(jù)量子位百家號,Google 則開發(fā)出了LIMoE 稀疏化大模型,在實(shí)現(xiàn)零樣本學(xué)習(xí)的同時極大程度降低了訓(xùn)練成本。為確保大模型的順利開發(fā),各廠商也在不斷提升相關(guān)硬件設(shè)施。我們認(rèn)為,在未來AI 大模型的開發(fā)中,支持開發(fā)的算法、硬件設(shè)施等方面的綜合實(shí)力將成為重要的技術(shù)門檻,將決定AI 大模型規(guī)模的上限和實(shí)際的模型效果,并成為AI 廠商模型開發(fā)成功與否的關(guān)鍵因素。 

 

    大模型作為基石概念股,賦力AI 模型的優(yōu)化及多場景運(yùn)用。在大模型的早期階段,受模型類型限制,模型的使用場景有限。如今,越來越多的AI 廠商開始轉(zhuǎn)向多模態(tài)大模型(large-scale multimodal model),這些模型能夠同時處理圖像、文本、視頻、音頻等數(shù)據(jù)類型,并支持無監(jiān)督式學(xué)習(xí)。在大模型的支持下,AI 多模態(tài)模型能夠在更多、更復(fù)雜的場景提供支持。根據(jù)百度文心官網(wǎng)和IDC 官微,百度的文心·跨模態(tài)大模型將場景圖知識融入到視覺-語言模型的預(yù)訓(xùn)練過程;阿里達(dá)摩院的M6 大模型既在阿里內(nèi)部核心業(yè)務(wù)場景落地,在外部醫(yī)療、能源、金融行業(yè)積累了多個實(shí)踐案例。對于各行業(yè)而言,大模型的應(yīng)用價值也開始逐漸清晰:大模型不要求企業(yè)具備海量的數(shù)據(jù)基礎(chǔ)、相比傳統(tǒng)AI 模型龍頭股上應(yīng)用的效果更優(yōu)、并能降低AI 開發(fā)門檻。我們認(rèn)為,隨著以大模型為基礎(chǔ)的多模態(tài)模型的持續(xù)優(yōu)化,未來AI 模型將能在更多場景、更復(fù)雜的功能中體現(xiàn)自己的優(yōu)勢,大模型的運(yùn)用范圍將會持續(xù)提升,并將正向反饋進(jìn)一步推動大模型的相關(guān)研發(fā)。我們認(rèn)為,GPT-3 的成功證明了參數(shù)體量對AI 模型的重要性,自此開啟了大模型時代。想要確保AI 模型規(guī)模的不斷提升,各廠商龍頭股上必須持續(xù)優(yōu)化算法模塊及相關(guān)硬件設(shè)備;而在大模型的支持下,AI 模型將不斷優(yōu)化并最終實(shí)現(xiàn)在更廣泛、更復(fù)雜的場景的落地。 

 

    風(fēng)險提示:行業(yè)相關(guān)政策推進(jìn)不及預(yù)期,前沿技術(shù)龍頭股發(fā)展不及預(yù)期或應(yīng)用效果不佳的風(fēng)險。

 

數(shù)據(jù)推薦

最新投資評級目標(biāo)漲幅排名上調(diào)投資評級 下調(diào)投資評級機(jī)構(gòu)龍頭股上關(guān)注度行業(yè)關(guān)注度股票綜合評級首次評級股票