這個世界需要比Transformer更好的東西。我相信座上的每個人都希望能有某種新的東西取代它,帶領我們走向一個新的效能高峰。這篇文章分享了Nvidia CEO黃仁勳與Transformer論文的作者們的對話,並探討了許多語言模型的未來。這篇文章來自騰訊科技的文章,由深潮整理、編譯和撰稿。
在我們進入對話的內容之前,讓我們先回顧一下黃仁勳的一些故事,他曾經是一個洗碗工,他為什麼只喜歡穿皮衣,Nvidia兩度瀕臨破產,他的初戀女友就是他的太太…
黃仁勳提到了競爭對手免費送AI晶片的事情,他說Nvidia也沒有人能敵得過。這是他對話中令人印象深刻的觀點。
接下來,讓我們看一下對話的內容。
Transformer的講者介紹:
– Ashish Vaswani:2016年加入Google大腦團隊。2022年4月,與Niki Parmar共同創辦了Adept AI,同年12月離開該公司,並共同創立了另一家人工智慧初創公司Essential AI。
– Niki Parmar:在Google大腦工作了四年,之後與Ashish Vaswani共同創立了Adept AI和Essential AI。
– Jakob Uszkoreit:2008年至2021年在Google工作。2021年離開Google,並與他人共同創立Inceptive,該公司主營業務為人工智慧生命科學,致力於使用神經網路和高通量實驗來設計下一代RNA分子。
– Illia Polosukhin:2014年加入Google,是八人團隊中最早離開的人之一,於2017年同他人共同創立了區塊鏈公司NEAR Protocol。
– Noam Shazeer:曾於2000年至2009年間和2012年至2021年期間就職於Google。2021年,Shazeer離開Google並與前Google工程師Daniel De Freitas共同創立Character.AI。
– Llion Jones:曾工作於Delcam、YouTube。2012年加入Google,擔任軟體工程師。後來離開Google,創辦人工智慧初創企業sakana.ai。
– Lukasz Kaiser:曾任法國國家科學研究中心研究員。2013年加入Google。2021年,他離開Google,成為OpenAI的研究員。
– Aidan Gomez:畢業於加拿大多倫多大學,Transformer論文發表時,他還是Google大腦團隊的實習生。他是八人團隊中第二個離開Google的人。2019年,他與他人共同創立了Cohere。
黃仁勳在最初的目標上並沒有成功,他們開始Transformer的初衷是想要模擬Token的演化過程。它不僅僅是線性的生成過程,而是文字或程式碼的逐步演化。
黃仁勳認為當前的模型太過經濟實惠,規模也還太小,大概1美元百萬token的價格,比外出購買一本平裝書要便宜100倍。
黃仁勳提到了過去六十年中電腦技術似乎沒有經歷根本性的變革。他認為現代計算並沒有發生過根本性的改變,儘管在80年代和90年代,電腦經歷了一次重大的轉型。但隨著時間的流逝,電腦的邊際成本持續下降,成本的降低為社會帶來了巨大的動力。
黃仁勳提到他們開始探索加速計算,但使用加速計算並不容易,需要重新設計這些步驟,這是一個全新的科學領域,將之前的規則重新表述為並行演算法。
他認為如果能夠加速1%的程式碼,節省99%的執行時間,一定會有應用能夠從中受益。他們的目標是讓不可能變為可能,或者將可能變為不可能,或者已經可能的事情變得更加高效,這就是加速計算的意義。
黃仁勳回顧了公司的歷史,他們最初在遊戲領域取得了顯著的加速效果,但他們的目標遠不止於此,因為這個市場龐大,能夠推動技術進步。他說這種情況並不常見,但他們找到了這樣一個特例。
他提到了生成式AI的發展,生成式AI不僅能夠識別圖片,還能將文字轉化為圖片,甚至創造出全新的內容。他說現在我們有了足夠的技術能力去理解畫素,識別它們,並理解它們背後的意義。通過這些背後的意義,我們可以創造出新的內容。他認為這是一個巨大的變革。
他說這是一場全新的工業革命的開始,我們正在創造前所未有的東西。他說生成式AI是一種全新的「軟體」,它又能夠創造軟體,它依賴於科學家的共同努力。他說這是一個巨大的變革。
他說現在是一個全新的工業革命的開始,不要錯過接下來的十年,因為在這十年裡,我們將創造出巨大的生產力。他說時間的鐘擺已經啟動,研究人員已經開始行動。
這是一個非常令人印象深刻的對話,我們邀請了Transformer的創造者們來討論未來生成式AI會帶領我們走向何方。
黃仁勳在最後呼籲大家積極參與討論,這裡沒有什麼話題是不可以談的,甚至可以從椅子上跳起來去討論問題。
以上就是對原文的重新表達,希望能符合要求。