大語言模型API市場的演變之路...
2023/12/15
這個(gè)市場的源頭,可以追溯到OpenAI發(fā)布ChatGPT,并迅速實(shí)現(xiàn)了13億美元的收入。但是,去年的這個(gè)時(shí)候,大語言模型API市場基本沒有競爭。Bard還沒有面世,更不用說Claude了,而Gemini在谷歌CEO桑達(dá)爾·皮查伊(Sundar Pichai)眼里也只是一個(gè)小小愿景而已。OpenAI在市場上具有壟斷地位,基本上攫取了所有的價(jià)值。
但在過去的這一年里,我們看到,除了最牛的產(chǎn)品之外,大語言模型似乎沒有形成任何護(hù)城河。GPT-4是唯一沒有競爭對(duì)手的模型,但競爭對(duì)手已在虎視眈眈——Gemini Ultra、Llama 3以及那個(gè)尚未發(fā)布的、規(guī)模超過中等的神秘Mistral模型。但在GPT 3.5級(jí)別,你已經(jīng)有了多種托管選項(xiàng),甚至可以自己托管。這種情況必然限制了任何公司可以收取的價(jià)格。
一般來說,當(dāng)公司認(rèn)為自己能夠獲得高于所需最低利潤門檻時(shí),它們就會(huì)進(jìn)入一個(gè)新市場。公司規(guī)模越大,要求的利潤門檻越小。比如作為個(gè)人,我如果要開始提供大語言模型的微調(diào)服務(wù),首先需要設(shè)定相當(dāng)高的利潤,因?yàn)槲铱梢苑謹(jǐn)偝杀镜目蛻羧汉苄 kS著業(yè)務(wù)不斷發(fā)展,我將擁有更大的客戶群來分?jǐn)偝杀荆⑶視?huì)有更多的資金用于優(yōu)化,我就能夠以更低的成本提供大語言模型服務(wù),包括:
-
進(jìn)行量化 -
購買自己的芯片而不是租用
-
精簡模型 -
自主制造芯片
通過每一次優(yōu)化并提高流程效率,你都可以增加利潤。聽起來很棒!這意味著每個(gè)Token可以帶來更多的利潤。但實(shí)際情況不完全如此。在一個(gè)擁有球星奶牛的理想環(huán)境中,這的確成立。但正如你通過投資來提升Token服務(wù)效率,你的競爭對(duì)手也在做同樣的事情,從而侵蝕你的利潤。用知名投資人本·霍洛維茨(Ben Horowitz)的話來說:你必須拼命奔跑,才能保持不后退。
這表明,在同質(zhì)化的大語言模型市場中,將展開一場關(guān)于效率的無情競爭,各公司都在看誰能要求最低的投資資本回報(bào)率。
在經(jīng)典的商業(yè)戰(zhàn)略書籍《創(chuàng)新者的困境》中,有一個(gè)關(guān)于技術(shù)顛覆如何發(fā)生的典型案例,這個(gè)案例摘自《紐約客》對(duì)作者克萊頓·克里斯滕森的簡介:
“對(duì)于那些沒有太多制造鋼鐵經(jīng)驗(yàn)的人來說,歷史上有兩種主要的煉鋼方法,”他說。“第一種是大型綜合鋼鐵企業(yè),世界上大部分鋼鐵都是由這些企業(yè)生產(chǎn)的;另一種小型鋼廠。在小型鋼廠里,通過電爐熔化廢料,這樣的爐子可以很容易配置四個(gè)。小型鋼廠最重要的優(yōu)勢在于,其煉鋼成本比大型綜合鋼廠低20%。設(shè)想一下,如果你是某家大型綜合鋼廠的CEO,在最好的年份,企業(yè)的凈利潤只有2%-4%。那么面對(duì)一項(xiàng)能降低20%煉鋼成本的技術(shù),你難道不會(huì)采納嗎?但奇怪的是,世界上沒有一家大型綜合鋼鐵企業(yè)投資建立過小型鋼廠。如今,除了一家之外,所有的綜合鋼廠都破產(chǎn)了。所以,一些具備完美意義的事情,即便是聰明人也可能無法做到。”
在鋼鐵制造領(lǐng)域,歷史上鋼鐵主要是在大型綜合鋼廠里生產(chǎn),它們以合理的利潤生產(chǎn)高質(zhì)量的鋼材。然后,出現(xiàn)了電動(dòng)小型鋼廠。這些鋼廠能夠以更低的成本生產(chǎn)質(zhì)量最低的鋼材。大型鋼鐵制造商對(duì)此不屑一顧,繼續(xù)專注于以(相對(duì))高的利潤生產(chǎn)高質(zhì)量的鋼材。隨著時(shí)間的推移,這些電動(dòng)小鋼廠運(yùn)營商逐漸掌握了生產(chǎn)更高品質(zhì)鋼材的技術(shù),轉(zhuǎn)向高端市場,并最終消滅了大型綜合鋼廠(如美國鋼鐵公司——曾經(jīng)是美國市值第16大的公司——2014年被移出標(biāo)準(zhǔn)普爾500指數(shù))。
與大語言模型的類比很直觀。大型實(shí)驗(yàn)室專注于開發(fā)最高性能的模型,雖然價(jià)格昂貴但性能卓越,并且優(yōu)于其他所有模型。為了支付這些工程師90萬美元的年薪,必須要有足夠的利潤。在市場的另一端,由Meta和r/LocalLlama領(lǐng)導(dǎo)的開源社區(qū)正在開發(fā)高質(zhì)量的模型,并探索如何在超低功率的機(jī)器上提供模型服務(wù)。預(yù)計(jì)開源重量模型會(huì)在保持質(zhì)量的同時(shí)降低成本(在質(zhì)量調(diào)整的基礎(chǔ)上),從而給大型實(shí)驗(yàn)室的利潤帶來壓力。例如,Together推出了Mixtral的托管版本,價(jià)格比Mistral自己的版本低70%。
因此,我們將會(huì)看到一個(gè)分裂的市場:在高端,有更昂貴、質(zhì)量更高的模型;而在低端,有質(zhì)量更低、價(jià)格更低的模型。對(duì)于開源重量級(jí)模型,我們可以預(yù)見它們的價(jià)格將會(huì)趨近于GPU和電力的成本,并且隨著GPU市場競爭的加劇,可能最終僅限于電力的成本。
那么,這些API的潛在買家會(huì)是什么樣的?如果我們要將大語言模型能夠執(zhí)行的任務(wù)按照經(jīng)濟(jì)價(jià)值從高到低進(jìn)行排名,那么有多少任務(wù)需要高度復(fù)雜的模型?雖然某些情況下可能必須使用GPT-4,但很難想象該種需求閾值會(huì)保持不變。開源重量模型將繼續(xù)在其穩(wěn)步攀升的趨勢,壓縮大型實(shí)驗(yàn)室的利潤空間。由于出現(xiàn)了一些工具,使得可以更輕松地在不同模型API之間切換,因此使用API的開發(fā)者將選擇完成其任務(wù)的成本最低的模型。比如,當(dāng)使用大語言模型來完成長短代碼補(bǔ)全時(shí),你真的需要最大型、最高級(jí)的模型嗎?可能不會(huì)!
此外,那些在消費(fèi)市場取得巨大成功的公司,最終可能不愿向模型公司支付大量利潤,并開始訓(xùn)練自己的模型。我們看到,像Harvey和Cursor等最早接觸GPT-4的公司,開始招募研究科學(xué)家/工程師,以儲(chǔ)備訓(xùn)練自己的基礎(chǔ)模型所需的人才。由于API費(fèi)用可能是這些公司最大的開支,因此他們自然會(huì)盡一切努力來盡可能降低成本。
如果你正在開發(fā)自己的模型,你可以出去融一輪資來支持模型開發(fā),這種一次性的資本支出可以用來提高整體利潤率。谷歌的TPU計(jì)劃就是一個(gè)例子。通過在定制芯片上花費(fèi)數(shù)十億美元,他們能夠避免支付Nvidia的昂貴費(fèi)用。
因此,結(jié)論是:只要任務(wù)足夠簡單,可以通過開源重量模型來解決,我們就會(huì)看到大語言模型API市場趨向于最低成本。如果任務(wù)非常復(fù)雜,需要最好的模型,那么你就不得不向OpenAI付費(fèi)。對(duì)于其他人來說,經(jīng)過微調(diào)的Mistral 7B是不錯(cuò)的選擇。
原文地址:https://www.artfintel.com/p/the-evolution-of-the-llm-api-market-dcf
---------------(正文結(jié)束)-----------------