Transformer作者創建,Hinton、李飛飛、Goodfellow等大佬投資,這家新公司要做什麼?

編輯:蛋醬、張倩

這家公司的早期投資人包括 Geoffrey Hinton、Ian Goodfellow、李飛飛等一眾大佬。

今天,Transformer 作者之一 Aidan Gomez 在推特上宣佈,他們創辦了一家名為 Cohere 的自然語言處理公司,基於自己訓練的大型 NLP 模型為外界提供 API 服務。

那麼這家公司是做什麼的?為什麼今天如此受關注呢?

該公司在主頁上寫道:

語言對於人類來說至關重要,但計算機在解析語法、語義和語境方面存在困難,這一障礙限制了我們與技術溝通的能力。因此,Cohere 的使命就是構建一種能夠理解世界的機器,並讓所有人安全地使用它們。

Aidan Gomez 表示,為了達成這一使命,他們訓練了一個數十億(未來可能數千億)參數的語言模型。利用該模型的 API,我們可以完成文字補全、從文字中提取有語義意義的向量、測量段落語義相似性等任務。使用者只需要在自己的系統中載入三行程式碼就可以調用該模型的能力。

Aidan Gomez 表示,他們將分階段開放 API,目前官網已經開始接受內測申請。

官網地址:https://cohere.ai/

比公司業務更令人矚目的是投資陣容。據報道,這家公司的早期投資者包括圖靈獎得主 Geoffrey Hinton、GAN 之父 Ian Goodfellow、Uber 首席科學家 Raquel Urtasun、英偉達多倫多研究實驗室主任 Sanja Fidler 以及史丹佛大學教授李飛飛等。

團隊的創始成員也都是預訓練模型領域的資深研究者。其中,聯合創始人共有三位。

Aidan Gomez 本科就讀於多倫多大學,是牛津大學 Yarin Gal 和 Yee Whye Teh 的博士生。他曾在谷歌大腦團隊的 Geoffrey Hinton 和Łukasz Kaiser 組內工作。

他是《Attention is all you need》論文作者之一:

此前,Aidan Gomez 曾領導過一個叫做 FOR.ai 的研究團隊,主要成員多來自 Google Brain、牛津大學等,其中也包括 Cohere 的另一位聯合創始人 Ivan Zhang。

Cohere 團隊成員。

Ivan Zhang 本科同樣就讀於華盛頓大學,不同的是,他選擇了輟學並進入生物技術公司 Ranomics 工作。

另一位聯合創始人 Nick Frosst 是 Geoffrey Hinton 在多倫多谷歌大腦實驗室的第一位員工,他在那裡度過了三年的機器學習研究生涯,主要研究興趣為膠囊網路、對抗樣本和可解釋性。本科階段,他就讀於華盛頓大學,完成了電腦科學和認知科學的相關課程。學術領域之外,他也是一支獨立搖滾樂隊 Good Kid 的成員。

其餘二十位 Cohere 創始員工分別負責機器學習、ML Ops、產品等工作。正如官網所表示的那樣:「我們有的來自全球頂尖的實驗室和高校,但有的輟學了,或者根本沒有上過學。」

Aidan Gomez 表示,目前他們還在招人。

GPT-3 等模型的問世讓人們看到了大規模預訓練模型的潛力,也在國內外掀起了一場創業熱潮。前段時間,循環智慧與華為聯合開發的「盤古 」模型問世,將中文預訓練模型的參數量提升到了千億級別。

「超大規模預訓練模型的出現,很可能改變資訊產業格局。繼基於資料的網際網路時代、基於算力的雲端運算時代之後,接下來可能將進入基於模型的 AI 時代。」清華大學電腦科學與技術系教授唐傑在前段時間接受機器之心採訪時曾表示。

循環智慧聯合創始人楊植麟也同意這一觀點。他在採訪中提到,這些大模型將來可能開啟一種新的商業模式。在這種模式中,開發者可以基於通用 API,結合業務場景,靈活高效地定製行業應用,解鎖更多此前想象不到的場景。

在不久的將來,我們也許就能看到大模型為人工智慧帶來的新的驚喜。

參考連結:https://www.reddit.com/r/MachineLearning/comments/n4s6aq/n_transformer_and_capsule_coinventors_launch_new/

CVPR 2021 線下論文分享會

為更好的服務 AI 社區,促進國內計算機視覺學術交流,機器之心計劃於 6 月 12 日組織大型「CVPR 2021 線下論文分享會」。

本次活動將設置 Keynote、 論文分享和 Poster 環節,邀請頂級專家、論文作者與現場參會觀眾共同交流。歡迎論文作者、AI 社區從業者們積極報名參與。

點選閱讀原文,了解詳情並參與報名。

點選閱讀原文,了解詳情並參與報名

相關文章

深度學習,撞牆了

深度學習,撞牆了

早在 2016 年,Hinton 就說過,我們不用再培養放射科醫生了。如今幾年過去,AI 並沒有取代任何一位放射科醫生。問題出在哪兒? 近年...