Transformer八子的出現(xiàn)與出走，既是起勢，也是順勢。
(資料圖片)
編者按：本文來自微信公眾號硅兔賽跑（ID：sv_race），作者：椎名，編輯：Zuri，創(chuàng)業(yè)邦經(jīng)授權(quán)發(fā)布。
“One ring to rule them all”
這是電影《魔戒》中的一句經(jīng)典臺詞，用以形容一枚占據(jù)絕對統(tǒng)治地位的至尊魔戒。
通用人工智能領域，也曾出現(xiàn)過這樣一枚“至尊魔戒”。它的登場，同樣有著一個在學術圈來看違背祖訓、驚世駭俗的論文標題——“Attention Is All You Need”。
站在AIGC如火如荼、各種類GPT模型層出不窮的2023年回望，當時這篇論文的標題有多“狂妄”，這枚魔戒的影響力就有多大。且與電影中的至尊魔戒帶來徹底的毀滅不同，這枚AGI的“至尊魔戒”指向全新的創(chuàng)造。
那么，又是誰創(chuàng)造了這枚“至尊魔戒”？他們?nèi)缃裨诤畏剑欠裼衷卺j釀著新一輪的AI風暴？
現(xiàn)在我們都知道OpenAI開啟了GPT時代，但再往前追溯，它是站在巨人的肩膀上才能采摘下來的成果，這個巨人的肩膀就包括了2017年發(fā)表的這篇“Attention Is All You Need”。
這篇論文提出了名聲大噪的Transformer架構(gòu)，是谷歌著名算法BERT中最重要的部分，更是ChatGPT 末尾的“T”。
爾后，Transformer 勢如破竹，從自然語言處理機器翻譯開始，席卷整個 NLP 領域。
如今6年過去，ChatGPT幾乎是Transformer結(jié)下的最豐厚的果實，而耕種了Transformer架構(gòu)的8位作者—— Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser 和 Illia Polosukhin，大多數(shù)現(xiàn)在不在谷歌工作。事實上，其中有七人不再駐足留戀于谷歌這顆蒼天大樹之下。
我們統(tǒng)計，“Transformer八子”中，“轉(zhuǎn)投小廠派”一人：Lukasz Kaiser則已在2021年加入 OpenAI擔任研究員。
Llion Jones是8人中目前唯一還在谷歌工作的，只是工作地點換到了日本。他曾打趣地表示，自己對論文作出了最有意義的貢獻，是寫下了Attention is all you need這個“大逆不道”的標題。
Llion Jones
其中，創(chuàng)業(yè)派6人選擇了自立門戶，且基本上從谷歌一出來就已經(jīng)獲得了 VC 的支持。
本文將著重梳理“Attention Is All You Need”中創(chuàng)業(yè)派的最新動向。
01“真實感”的保鮮期有多久？原Google Brain研究員Aidan Gomez的創(chuàng)業(yè)公司恐怕是里面最受矚目的。
Aidan Gomez
Aidan Gomez創(chuàng)辦的公司叫做Cohere，是一家成立于2019年的加拿大AI創(chuàng)企，專注于提供NLP模型，幫助企業(yè)改善人機交互，包括利用Transformer架構(gòu)快速部署對話式AI聊天機器人、生成式搜索引擎、文本摘要總結(jié)、增強向量搜索等。這家公司的另外兩位創(chuàng)始人Nick Frosst和Ivan Zhang，也和Aidan Gomez一樣具有學術背景，且三位創(chuàng)始人均是多倫多大學校友。
Cohere之所以備受業(yè)內(nèi)矚目，除了創(chuàng)始團隊的背景之外，也有一部分原因在于，它的投資者中還有圖靈獎獲得者Geoffrey Hinton、知名人工智能研究員李飛飛、UC伯克利大牛Pieter Abbeel的身影。這三位在當今人工智能領域都是執(zhí)牛耳的人物。
這樣的大牛背書之下，Cohere的融資步伐也十分緊湊，分別于2021年9月獲得4000萬美元A輪融資，2022年2月獲得1.59億美元B輪融資。
隨著生成式浪潮在今年達到一個小高潮，今年5月，據(jù)《紐約時報》報道，Cohere更是拿到了2.5 億美元的融資，估值達到20億美元，本次投資者包括CRM領導者Salesforce、著名芯片制造商Nvidia、Inovia Capital等。《紐約時報》寫道，Cohere也是為數(shù)不多在技術層面具備與OpenAI進行競爭的AI企業(yè)之一。有報道稱Cohere現(xiàn)有員工已經(jīng)達到近200人。
與Aidan Gomez選擇的賽道類似，論文一作Ashish Vaswani在離開谷歌后，也參與創(chuàng)辦了一家將NLP技術用于通用助手的公司Adept，并任該公司首席科學家。在谷歌工作后，Vaswani撰寫了19篇論文，神經(jīng)網(wǎng)絡是他自2011年以來一直追求的共同主題。
Ashish Vaswani
Transfomer八子中的Niki Parmar也加入了Adept，任CTO。值得一提的是，Niki Parmar 是這個論文 8 位作者里唯一的女性。
Niki Parmar
Adept雖然成立較晚（2022年4月才正式成立），但也趕上了這一波AIGC的浪潮：今年3月拿到了3.5億美金的B輪融資，由General Catalyst和Spark Capital聯(lián)合領投，Addition、Greylock、Atlassian Ventures、Microsoft、Nvidia、Workday Ventures等機構(gòu)跟投，還有眾多的硅谷明星創(chuàng)業(yè)者作為個人投資人投資。
這輪融資將Adept的總?cè)谫Y額增至4.15億美金，公司估值超過10億美金，晉升獨角獸。
不過，Adept最新這輪融資已經(jīng)和Ashish Vaswani、Niki Parmar沒什么關系了。因為他們兩都在2022年底先后離開Adept，成立了一家名為EssentialAl的公司，目標是為企業(yè)構(gòu)建軟件以便于他們使用大型語言模型。今年5月，EssentialAl宣布了由Thrive Capital 領投的800萬美元融資。值得一提的是，Thrive Capital 也是OpenAI 的投資者。該公司仍處于隱身模式，尚未推出任何產(chǎn)品。一位接近該公司的消息人士稱，Conviction 和天使投資人 Elad Gil 也參與了這輪融資。
值得一提的是，創(chuàng)業(yè)派除了上面幾位年輕面孔，也不乏已經(jīng)為谷歌效力20多年的老員工。
這位老員工就是Noam Shazeer。他在2018年開發(fā)了Mesh-Tensorflow，這是第一個用于在超級計算機上訓練大型Transformer的實際系統(tǒng)。
Noam Shazeer
2021年，Noam Shazeer 也離開了谷歌，與前谷歌工程師 Daniel De Freitas 共同創(chuàng)立了 Character.AI，致力于開發(fā)生成式 AI 聊天機器人 Web 應用程序。迄今為止，該公司已籌集了約 2 億美元，估值接近獨角獸，約有20名員工。
02“創(chuàng)業(yè)派”中的冒險者都說創(chuàng)業(yè)是一場冒險，那么，跨界創(chuàng)業(yè)更是冒險中的冒險。
Transformer八子中，Jakob Uszkoreit是當之無愧的冒險擔當，他的創(chuàng)業(yè)去向應該是最具跨界色彩、也是最有難度的。
Jakob Uszkoreit
Uszekoreit 被認為是發(fā)明 Transformer 架構(gòu)的幕后推手。GoogleBrain工作期間，他組建了Google助手的語言理解團隊，并參與了早期的Google翻譯工作。
在谷歌工作了 13 多年之后，Jakob Uszkoreit也于 2021 年離開了谷歌，他創(chuàng)立的 Inceptive，是一家徹頭徹尾的AI+生命科學公司，致力于使用神經(jīng)網(wǎng)絡+高通量實驗來設計下一代 RNA 分子。
到目前為止，該公司已籌集了 2000 萬美元。
另一位跨界派Illia Polosukhin，幾乎是踏出了AI圈，投入到區(qū)塊鏈浪潮中。
這位硅谷著名的IT天才，是Google TensorFlow人工智能開源項目的主要代碼貢獻者，還曾任Google深度學習小組項目主管，帶隊負責核心搜索算法業(yè)務近10年。他在2017年2月就離開了谷歌，創(chuàng)辦了區(qū)塊鏈底層技術公司NEAR Protocol，吸引了包括a16z、 MultiCoin Capital、Metastable、Coinbase Ventures等區(qū)塊鏈領域的著名投資機構(gòu)。
Illia Polosukhin
這家公鏈技術公司可以托管去中心化應用程序和智能合約，被譽為“以太坊殺手”， 目前估值約為20億美元。
03新的硅谷“八叛徒”故事？從Transformer八子目前的故事走向來看，已有些許當年硅谷傳奇——仙童“八叛徒”的風采。
這件往事里，“叛徒”是一個褒義詞。在晶體管剛剛問世之際，8位肖克利半導體實驗室核心人物紛紛出走，先后創(chuàng)辦了仙童、英特爾和AMD等著名的半導體公司。可以說， 1970 年前后的半導體浪潮中，大部分半導體公司都起于仙童。憑借“八叛徒”的智慧和創(chuàng)新精神不斷開枝散葉，微處理器得以普及，計算機變得更加迅速和強大，硅谷更是一舉成為了全球半導體產(chǎn)業(yè)的中心，引領著信息時代的浪潮。
如今這段佳話過去已近70年，硬件的突破已經(jīng)出現(xiàn)邊際效應，新一輪的信息革命蓄勢待發(fā)，人類需要更加智能的技術來解決復雜的問題，創(chuàng)新的火種移交到AI領域，硅谷似乎迎來了新的八君子。
我們不難發(fā)現(xiàn)，和仙童“八叛徒”類似，“Transformer八子”本身已經(jīng)積累了豐富的經(jīng)驗和技術知識，他們在谷歌期間推動了人工智能領域的發(fā)展，離開谷歌進入到各行各業(yè)中，能讓這些寶貴的資源和知識更廣泛地應用于不同的領域和行業(yè)。
更重要的是，這一批離職的AI大牛，同樣具備極高的創(chuàng)造力和冒險精神。
他們都曾表達過對現(xiàn)狀的不滿，追求更高的目標和更具沖擊力的創(chuàng)造。
八子中的“創(chuàng)業(yè)派”代表Niki Parmar就曾表示，在谷歌，公司整體更注重改進現(xiàn)有產(chǎn)品，而不是創(chuàng)建全新的產(chǎn)品類別。
無論是離開谷歌創(chuàng)辦自己的公司或加入其他創(chuàng)新型企業(yè)，他們能夠更加自由地探索和實踐新的想法和概念，從而推動技術的不斷進步。
而且這些AI大牛們的離職，也有助于推動合作生態(tài)的形成。他們往往與其他優(yōu)秀的科學家、工程師和創(chuàng)業(yè)者緊密合作，共同開展創(chuàng)新項目和研究。這種合作生態(tài)能夠加速創(chuàng)新的過程，促進技術和思想的交流，為整個行業(yè)帶來更多的機遇和突破。
正如八子中的另一位“創(chuàng)業(yè)派” Aidan Gomez所說：“在谷歌這樣的大公司內(nèi)部進行探索的自由度有限，你無法真正自由地進行產(chǎn)品創(chuàng)新。從根本上說，（這家公司的）結(jié)構(gòu)不支持它。所以你必須自己去建造這個結(jié)構(gòu)。”
這一批離開谷歌的小分隊，正在以更加自由的方式探索和發(fā)展新的技術和方法，進一步推動通用人工智能的進步。
這樣來看，Transformer八子的出現(xiàn)與出走，既是起勢，或許也是某種順勢，正如當年的仙童“八叛徒”一樣。
本文（含圖片）為合作媒體授權(quán)創(chuàng)業(yè)邦轉(zhuǎn)載，不代表創(chuàng)業(yè)邦立場，轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問，請聯(lián)系editor@cyzone.cn。