ChatGPT有多燒錢?大模型訓(xùn)練一次200-1200萬美元
導(dǎo)讀: IT之家 2 月 19 日消息,ChatGPT 風(fēng)靡全球后,科技巨頭們紛紛入局,生成式 AI 其背后以大模型為基礎(chǔ)的人工智能成為業(yè)界投入的方向! T之家了解到,所謂大模型,通常是在無標注的大數(shù)據(jù)集上,采用
IT之家 2 月 19 日消息,ChatGPT 風(fēng)靡全球后,科技巨頭們紛紛入局,生成式 AI 其背后以大模型為基礎(chǔ)的人工智能成為業(yè)界投入的方向。
IT之家了解到,所謂“大模型”,通常是在無標注的大數(shù)據(jù)集上,采用自監(jiān)督學(xué)習(xí)的方法進行訓(xùn)練。之后在其他場景的應(yīng)用中,開發(fā)者只需要對模型進行微調(diào),或采用少量數(shù)據(jù)進行二次訓(xùn)練,就可以滿足新應(yīng)用場景的需要。
然而,訓(xùn)練通用大模型非常“燒錢”。據(jù)國盛證券報告《ChatGPT 需要多少算力》估算,GPT-3 訓(xùn)練一次的成本約為 140 萬美元,對于一些更大的 LLM(大型語言模型),訓(xùn)練成本介于 200 萬美元至 1200 萬美元之間。以 ChatGPT 在 1 月的獨立訪客平均數(shù) 1300 萬計算,其對應(yīng)芯片需求為 3 萬多片英偉達 A100 GPU,初始投入成本約為 8 億美元,每日電費在 5 萬美元左右。
如果將當前的 ChatGPT 部署到谷歌進行的每次搜索中,需要 512820.51 臺 A100 HGX 服務(wù)器和總共 4102568 個 A100 GPU,這些服務(wù)器和網(wǎng)絡(luò)的總成本僅資本支出就超過 1000 億美元。
國盛證券認為,在公有云上,對于以谷歌等全球科技大企業(yè)而言,百萬至千萬美元級別的訓(xùn)練成本并不便宜,但尚在可接受范圍內(nèi)、并非昂貴。
責(zé)任編輯:zsz