PyTorch統(tǒng)治學(xué)術(shù)論文，TensorFlow只占4%，LeCun：還能為啥？

“對于Python而言，為什么TensorFlow正在慢慢死去？”

這篇觀點尖銳的文章一出，就被LeCun的轉(zhuǎn)發(fā)推向風(fēng)口浪尖：

還能為啥，當(dāng)然是因為PyTorch啊。

緊接著“PyTorch和TensorFlow誰更好？”這個經(jīng)久不息的論戰(zhàn)再次被掀起，網(wǎng)友們也紛紛開始從文章中找到共鳴、或予以反駁。

有TensorFlow深度使用者現(xiàn)身說法：現(xiàn)在我改用PyTorch了。

但也有嘗試過好幾種框架的網(wǎng)友表示：TensorFlow和Keras做快速實驗更方便，而且TensorFlow看起來對Apple M1 GPU支持更好。

當(dāng)然，在這里面也出現(xiàn)了一些獨特的聲音：

JAX不比這兩個框架好多了？

所以，文章作者究竟是如何得出這一結(jié)論的？

這篇文章的作者Ari Joury，是法國索邦大學(xué)的粒子物理學(xué)博士生，但對將AI和機(jī)器學(xué)習(xí)方法應(yīng)用在粒子物理學(xué)探索上很感興趣。

作為一個Python愛好者，她在接觸兩種框架時察覺到了二者的區(qū)別。

好奇哪種框架目前關(guān)注度更高，她便對Stack Overflow上3種主流框架Keras、TensorFlow和PyTorch進(jìn)行了一個統(tǒng)計：

簡單來說，就是TensorFlow關(guān)注度更高，Keras陷入停滯甚至下降，而PyTorch雖然起步較晚，但這兩年一直呈現(xiàn)關(guān)注度穩(wěn)定上升的趨勢。

（不過，也有網(wǎng)友認(rèn)為文章中用Stack Overflow數(shù)據(jù)做論據(jù)，根本不能算是統(tǒng)計框架的“受歡迎度”，反而只能證明這些框架“讓人困惑的程度”）

那么，為什么會得出“對Python愛好者來說，TensorFlow關(guān)注度會繼續(xù)下降”這一結(jié)論？

Ari Joury給出了幾大理由。

其一，PyTorch用起來“更Python”。

Ari Joury表示，她使用Python編寫TensorFlow框架的工作量，可能是PyTorch的兩倍，此外后者編寫代碼的感受比TensorFlow更自然。

其二，PyTorch可用模型更多，且更適合學(xué)生和研究者使用。

據(jù)統(tǒng)計，在HuggingFace中，85%的大模型框架是用PyTorch實現(xiàn)的。

剩余的框架中，除了多個框架實現(xiàn)以外，只有8%的大模型框架是通過TensorFlow實現(xiàn)的。

這意味著PyTorch在AI大模型研究者中受歡迎程度更高。

不止大模型，使用PyTorch實現(xiàn)論文研究框架的人，變得越來越多。

這一觀點也在Papers with Code網(wǎng)站統(tǒng)計上得到了印證。

在代碼開源的那些論文研究中，單從框架使用率來看，這4年來PyTorch占比正急劇上升。

PyTorch從最初和TensorFlow持平，到如今遠(yuǎn)超TensorFlow、穩(wěn)定成為使用率第一（占比62%）的框架，相比之下TensorFlow占比只有4%：

其三，PyTorch的生態(tài)發(fā)展更快。

雖然目前TensorFlow在生態(tài)體系上發(fā)展比PyTorch更好，但從PyTorch使用增長情況來看，這一趨勢將在不久的將來得到逆轉(zhuǎn)。

當(dāng)然，TensorFlow自身也有一些不可取代的優(yōu)勢，例如部署更方便（類似TensorFlow Serving和TensorFlow Lite的工具很多）、以及對其他語言的支持更好等。

畢竟目前對于JavaScript、Java、C++、Julia和Rust等語言來說，TensorFlow還是更好的選擇。

PyTorch則基本以Python為中心，即使有個C++ API，但其他語言的整體支持仍然比不上TensorFlow。

因此Ari Joury最終認(rèn)為，這兩個框架的選擇，很大程度上取決于用戶對Python的喜愛程度。

所以，那些AI大牛們又是怎么站隊的呢？

除了Yann LeCun一直是PyTorch的深度支持者以外（畢竟是Meta的人），不少AI大牛也都表態(tài)過自己更看好的框架。

至少在幾年前TensorFlow推出2.0的時候，“TF2.0和PyTorch誰更好”這個話題就已經(jīng)開始了。

當(dāng)時，前Kaggle總裁兼首席科學(xué)家、fast.ai創(chuàng)始人Jeremy Howard，更看好PyTorch框架。

Keras創(chuàng)始人Fran?ois Chollet，則在這個話題中投了TensorFlow一****，當(dāng)時他認(rèn)為PyTorch會走向下坡路。

至少在2020年的時候，他的觀點依舊如此：“如果你是PyTorch粉絲，我的工作與你無關(guān)。”

但如今來看，PyTorch依舊保持一個活躍的狀態(tài)。

你更看好哪個深度學(xué)習(xí)框架呢？

參考鏈接：

[1]https://twitter.com/ylecun/status/1614186881171742720
[2]https://levelup.gitconnected.com/why-tensorflow-for-python-is-dying-a-slow-death-ba4dafcb37e6
[3]https://paperswithcode.com/trends