PyTorch統治學術論文,TensorFlow只佔4%,LeCun:還能為什麼?

蕭簫 發自 凹非寺

「對於Python而言,為什麼TensorFlow正在慢慢死去?」

這篇觀點尖銳的文章一出,就被LeCun的轉發推向風口浪尖:

還能為什麼,當然是因為PyTorch啊。

緊接著「PyTorch和TensorFlow誰更好?」這個經久不息的論戰再次被掀起,網友們也紛紛開始從文章中找到共鳴、或予以反駁。

有TensorFlow深度使用者現身說法:現在我改用PyTorch了。

但也有嘗試過好幾種框架的網友表示:TensorFlow和Keras做快速實驗更方便,而且TensorFlow看起來對Apple M1 GPU支持更好。

當然,在這裡面也出現了一些獨特的聲音

當然,在這裡面也出現了一些獨特的聲音:

JAX不比這兩個框架好多了?

JAX不比這兩個框架好多了?

所以,文章作者究竟是如何得出這一結論的?

「PyTorch統治學術論文」

這篇文章的作者Ari Joury,是法國索邦大學的粒子物理學博士生,但對將AI和機器學習方法應用在粒子物理學探索上很感興趣。

作為一個Python愛好者,她在接觸兩種框架時察覺到了二者的區別。

好奇哪種框架目前關注度更高,她便對Stack Overflow上3種主流框架Keras、TensorFlow和PyTorch進行了一個統計:

簡單來說,就是TensorFlow關注度更高,Keras陷入停滯甚至下降,而PyTorch雖然起步較晚,但這兩年一直呈現關注度穩定上升的趨勢。

(不過,也有網友認為文章中用Stack Overflow資料做論據,根本不能算是統計框架的「受歡迎度」,反而只能證明這些框架「讓人困惑的程度」)

那麼,為什麼會得出「對Python愛好者來說,TensorFlow關注度會繼續下降」這一結論?

Ari Joury給出了幾大理由。

其一,PyTorch用起來「更Python」。

Ari Joury表示,她使用Python編寫TensorFlow框架的工作量,可能是PyTorch的兩倍,此外後者編寫程式碼的感受比TensorFlow更自然。

其二,PyTorch可用模型更多,且更適合學生和研究者使用。

據統計,在HuggingFace中,85%的大模型框架是用PyTorch實現的。

剩餘的框架中,除了多個框架實現以外,只有8%的大模型框架是通過TensorFlow實現的。

這意味著PyTorch在AI大模型研究者中受歡迎程度更高。

不止大模型,使用PyTorch實現論文研究框架的人,變得越來越多。

這一觀點也在Papers with Code網站統計上得到了印證。

在程式碼開源的那些論文研究中,單從框架使用率來看,這4年來PyTorch佔比正急劇上升。

PyTorch從最初和TensorFlow持平,到如今遠超TensorFlow、穩定成為使用率第一(佔比62%)的框架,相比之下TensorFlow佔比只有4%

其三,PyTorch的生態發展更快

其三,PyTorch的生態發展更快。

雖然目前TensorFlow在生態體系上發展比PyTorch更好,但從PyTorch使用增長情況來看,這一趨勢將在不久的將來得到逆轉。

當然,TensorFlow自身也有一些不可取代的優勢,例如部署更方便(類似TensorFlow Serving和TensorFlow Lite的工具很多)、以及對其他語言的支持更好等。

畢竟目前對於JavaScript、Java、C++、Julia和Rust等語言來說,TensorFlow還是更好的選擇。

PyTorch則基本以Python為中心,即使有個C++ API,但其他語言的整體支持仍然比不上TensorFlow。

因此Ari Joury最終認為,這兩個框架的選擇,很大程度上取決於使用者對Python的喜愛程度。

所以,那些AI大牛們又是怎麼站隊的呢?

AI大牛們選擇哪些框架?

除了Yann LeCun一直是PyTorch的深度支持者以外(畢竟是Meta的人),不少AI大牛也都表態過自己更看好的框架。

至少在幾年前TensorFlow推出2.0的時候,「TF2.0和PyTorch誰更好」這個話題就已經開始了。

當時,前Kaggle總裁兼首席科學家、fast.ai創始人Jeremy Howard,更看好PyTorch框架。

Keras創始人

Keras創始人François Chollet,則在這個話題中投了TensorFlow一票,當時他認為PyTorch會走向下坡路。

至少在2020年的時候,他的觀點依舊如此:「如果你是PyTorch粉絲,我的工作與你無關。」

但如今來看,PyTorch依舊保持一個活躍的狀態。

你更看好哪個深度學習框架呢?

參考連結:

[1]https://twitter.com/ylecun/status/1614186881171742720

[2]https://levelup.gitconnected.com/why-tensorflow-for-python-is-dying-a-slow-death-ba4dafcb37e6

[3]https://paperswithcode.com/trends

相關文章

擔憂 AI 向人類扔核彈,OpenAI 是認真的

擔憂 AI 向人類扔核彈,OpenAI 是認真的

這次,科幻電影快要趕不上現實了 作者 | 連冉編輯| 鄭玄 即將上映的好萊塢科幻電影《AI 創始者》中,一個原本為人類服務的人工智慧在洛杉磯...