沒想到，OpenAI短期工作無法推進(jìn)，都是GPU太缺了！
編者按：本文來自微信公眾號 新智元（ID：AI_era），編輯：桃子，創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載
聽證會之后，Sam Altman帶著團(tuán)隊在歐洲開啟了「旅行」。
(資料圖片僅供參考)
而在最近的一次訪談中，Altman也沒有藏著掖著，自曝自家AI的一切進(jìn)展，全得等GPU跟上了再說。
他討論了OpenAI的API，以及產(chǎn)品計劃，引起了許多人的關(guān)注。
許多網(wǎng)友紛紛表示，我喜歡Altman的坦誠。
值得一提的是，GPT-4的多模態(tài)能力，2024年應(yīng)該大部分Plus用戶就能上手了，前提還是有足夠GPU才行。
微軟老大哥斥資12億美元給OpenAI建的超算，還遠(yuǎn)遠(yuǎn)無法滿足GPT-4運(yùn)行時所需的算力。畢竟，GPT-4參數(shù)據(jù)稱有100萬億。
另外，Altman還透露，GPT-3也在OpenAI的開源計劃之中。
不知道是不是這次采訪內(nèi)容透露了太多OpenAI的「機(jī)密」，源文稿目前已被刪除，快點碼了。
劃重點最新訪談，是來自AI開發(fā)平臺Humanloop的首席執(zhí)行官Raza Habib主持，采訪了Altman以及其他20位開發(fā)人員。
這次討論涉及到實際的開發(fā)者問題，以及與OpenAI的使命和AI的社會影響相關(guān)的更大的問題。
以下是關(guān)鍵要點：
1. OpenAI急缺GPU
2. OpenAI的近期路線圖：GPT-4多模態(tài)2024年開放
3. 通過API訪問ChatGPT插件近期不會發(fā)布
4. OpenAI只做ChatGPT這一「殺手級應(yīng)用」，目標(biāo)是讓ChatGPT成為一個超級智能的工作助手
5. GPT-3在開源計劃中
6. 模型性能的縮放法則繼續(xù)有效
接下來，將從6大點介紹Sam Altman究竟說了啥。
OpenAI目前嚴(yán)重依賴GPU采訪的一切話題都是圍繞，「OpenAI太缺GPU了」。
這已經(jīng)拖延了他們許多的短期計劃。
目前，OpenAI的許多客戶都在抱怨API的可靠性和速度。Sam Altman解釋道，主要還是GPU太缺了。
OpenAI是英偉達(dá)DGX-1超算首位客戶
至于，支持32k tokens的上下文長度還不能推出給更多的人。
由于OpenAI還沒有克服技術(shù)上的障礙，看起來他們似乎今年就會有支持100k-1M tokens的上下文，但需要在研究上取得突破。
微調(diào)（Fine-Tuning）API也目前受到GPU可用性的限制。
OpenAI還沒有使用像Adapters或LoRa這樣的高效微調(diào)方法，因此微調(diào)對于運(yùn)行和管理來說是非常計算密集型的。
不過，未來他們將對微調(diào)提供更好的支持。甚至，OpenAI可能會托管一個社區(qū)貢獻(xiàn)的模型市場。
最后，專用容量提供也受到GPU可用性的限制。
今年年初，網(wǎng)友爆出OpenAI正在悄悄推出一個新的開發(fā)者平臺Foundry，讓客戶在專用容量上運(yùn)行該公司的新機(jī)器學(xué)習(xí)模型。
這一產(chǎn)品就是「為運(yùn)行較大工作負(fù)載的尖端客戶設(shè)計」。要使用這項服務(wù)，客戶必須愿意預(yù)付$100k的費用。
然而，從透露的圖片信息可以看出，實例并不便宜。
運(yùn)行GPT-3.5的輕量級版本，3個月的委托將花費78,000美元，一年將花費264,000美元。
從另一側(cè)面也可以看出，GPU消耗價格不菲。
OpenAI近期路線圖Altman分享了OpenAI API的暫定近期路線圖：
2023：
· 又快又便宜的 GPT-4ーー這是OpenAI的首要任務(wù)。
總的來說，OpenAI的目標(biāo)是，盡可能地降低「智能成本」。因此他們將努力繼續(xù)降低 API 的成本。
· 更長的上下文窗口ーー在不久的將來，上下文窗口可能支持高達(dá)100萬個tokens。
· 微調(diào) API——微調(diào)API將擴(kuò)展到最新的模型，但具體的形式將取決于開發(fā)人員真正想要的是什么。
· 有記憶的API ーー目前大部分token被浪費在上文的傳輸中，將來會有一個能夠記住對話歷史的API版本。
2024：
· 多模態(tài)能力ーーGPT-4發(fā)布時曾演示了強(qiáng)大的多模態(tài)能力，但是在GPU得到滿足之前，這一功能還無法拓展到所有人。
插件「沒有 PMF」，短期內(nèi)不會出現(xiàn)在API中
許多開發(fā)者對通過API訪問ChatGPT插件非常感興趣，但Sam表示這些插件不會很快發(fā)布。
「除了Browsing外，插件系統(tǒng)還沒有找到PMF。」
他還指出，很多人想把他們的產(chǎn)品放到ChatGPT里，但實際上他們真正需要的是把ChatGPT放到他們的產(chǎn)品里。
除了ChatGPT，OpenAI不會發(fā)布更多產(chǎn)品OpenAI的每一次動作，都讓開發(fā)者們抖三抖。
不少開發(fā)人員表示，OpenAI可能發(fā)布與他們競爭的產(chǎn)品的時候，對使用OpenAI API構(gòu)建應(yīng)用感到緊張。
而Altman表示，OpenAI不會在ChatGPT之外發(fā)布更多的產(chǎn)品。
在他看來，偉大的公司有一個「殺手級應(yīng)用」，ChatGPT就是要做這個創(chuàng)紀(jì)錄的應(yīng)用。
ChatGPT的愿景是成為一個超級智能的工作助理。OpenAI不會觸及到更多其他GPT的用例。
監(jiān)管是必要的，但開源也是必要的雖然Altman呼吁對未來模型進(jìn)行監(jiān)管，但他并不認(rèn)為現(xiàn)有的模型是危險的。
他認(rèn)為，監(jiān)管或禁止現(xiàn)有模型將是一個巨大的錯誤。
采訪中，他重申了自己對開源重要性的信念，并表示OpenAI正在考慮將GPT-3開源。
而現(xiàn)在，OpenAI還沒有開源的部分原因是，他對有多少個人和公司有能力托管，和提供大模型表示懷疑。
模型性能「縮放法則」仍有效近來，許多文章聲稱，巨型人工智能模型的時代已經(jīng)結(jié)束。然而，并沒有準(zhǔn)確反應(yīng)Altman原意。
OpenAI的內(nèi)部數(shù)據(jù)表明，模型性能的縮放法則（scaling laws）仍然有效，讓模型變大將繼續(xù)產(chǎn)生性能。
不過，縮放的速度不能維持，因為OpenAI在短短幾年內(nèi)已經(jīng)將模型擴(kuò)大了數(shù)百萬倍，未來這樣做將不可持續(xù)。
這并不意味著OpenAI不會繼續(xù)嘗試使模型更大，只是意味著它們可能每年只會增加1倍/2倍，而不是增加多個數(shù)量級。縮放法則繼續(xù)有效的事實對AGI開發(fā)的時間線有重要的影響。
縮放假設(shè)是我們可能已經(jīng)有了構(gòu)建AGI所需的大部分部件，剩下的大部分工作將是將現(xiàn)有的方法擴(kuò)展到更大的模型和更大的數(shù)據(jù)集。
如果縮放的時代結(jié)束了，那么我們可能應(yīng)該預(yù)期AGI會更遠(yuǎn)。縮放法則繼續(xù)有效強(qiáng)烈暗示了實現(xiàn)AGI時間線會變短。
網(wǎng)友熱評有網(wǎng)友調(diào)侃道，
OpenAI：必須通過法規(guī)來保護(hù)我們的護(hù)城河。還是OpenAI：Meta在我們的護(hù)城河里撒尿，讓我們也暗示一下我們的模型要開源吧。
還有人稱，如果GPT-3真的開源了，像LLMa一樣，需要大約5天的時間在M1芯片上就能運(yùn)行了。
社區(qū)開發(fā)人員能夠幫OpenAI解決GPU瓶頸，前提是他們開源模型。沒幾天，開發(fā)者們就能讓其運(yùn)行在CPU和邊緣設(shè)備。
GPU短缺一事，有人認(rèn)為是OpenAI資金鏈出了問題，買不起。
然而還有人稱，明顯是缺乏供應(yīng)。除非芯片制造業(yè)發(fā)生革命，否則相對于消費GPU來說，可能總是會出現(xiàn)供應(yīng)不足的情況。
還有網(wǎng)友懷疑，英偉達(dá)的價值還是被低估？計算需求的階梯式變化可能持續(xù)數(shù)年...
英偉達(dá)剛剛加入萬億美元俱樂部，這樣說來，無限的算力需求或許會成就一個世界超越2萬億美元的芯片廠。
參考資料：
https://humanloop.com/blog/openai-plans
https://news.ycombinator.com/item?id=36141544