解析谷歌大腦的深度學習及TensorFlow的前世今生

編者網按：本文是Google Brain負責人Jeff Dean在硅谷人工智能前沿論壇AI FronTIers的演講。

在深度學習的歷史上，神經網絡的方法在1980-1990年之后開始明顯地發揮效力，在數據量、計算力的推動下，用深度學習神經網絡的方法使得我們在研究和開發上獲得了比其它方法更高的準確率（在圖像、語音等領域）。在2011年之前，深度學習的方法能達到的圖像誤識率都是26%，而在今天這個數字超過了人類的誤識率（5%），達到了3%。在Google今天的產品線中深度學習的方法使用非常廣泛，包括Android平臺、各類App中、藥物研究、Gmail等等。

Google Brain團隊目前有什么樣的成果：
在研究方面，有27個paper在各種頂級會議中發表；

推動Google搜索、廣告、相冊、翻譯、Gmail等產品線的整合優化；

發布TensorFlow等在社區中高度流行的開源工具。

談到TensorFlow的開發，我們最初的出發點是需要創建一個合適的深度學習工具。

這個工具需要滿足下面的幾個條件：
1. 適合于機器學習思考和算法的表達；
2. 運行效率高，能夠快速地試驗想法；
3. 兼容性好，實驗能在不同平臺上運行；
4. 可在不同環境下分享和重現研究的問題；
5. 適合產品化：能很快從研究階段過渡到產品應用階段；

總結一下TF的目標就是建立一個針對機器學習方面的思考快速實驗的通用系統，并且確保這個系統既是針對研究也是對產品化最好的系統。最后，這個系統不僅是Google的，而且開源的，屬于平臺上每一個人。

在2015年11月9日，我們發布了TensorFlow的最初版本，而目前我們已經取得了這樣的成果：
1. TF當前有500+的代碼貢獻者；
2. 從發布至今，一共有12000次+的代碼提交；
3. 100萬以上的代碼庫下載；
4. 大量的學校和商業機構將他們的研究和開發工作搭建在TF之上（伯克利、斯坦福、OpenAI、Snapchat）。

我們在軟硬件平臺的支持上也不斷更新。數據顯示，我們已經是GitHub上最受到歡迎的深度學習工具。

深度學習在Google產生了哪些重要的影響？

在語音識別上，我們推動詞語識別的錯誤率降低了至少30%；

深度卷積神經網絡使得直接對未標記的照片進行搜索成為可能；

我們用深度學習的方法，在街景照片中抓取識別文字；

同樣用深度學習的方法，在衛星俯瞰圖中檢索太陽能的屋頂；

在醫療影像中，使用視網膜影像進行糖尿病的診斷；

機器人們現在能通過機器學習的方法進行環境和語義理解；

RankBrian甚至被用于Google搜索中的排名優化；

在Inbox中，我們通過語義分析自動化地推薦可能的回復結果，當前Inbox中10%的回復都是通過推薦生成發送的；

在機器學習的其它方面：
在過去很的的模型都是從零開始訓練獲得的，這是非常低效的。我們專門針對深度學習設計的硬件的TPU，將在未來20個月后進入大規模量產的階段。

在我們的設想里，未來的搜索請求可能是這樣的：請幫我查找所有關于深度學習和機器人的文獻，并用德文總結出來。

我認為未來3 - 5年內，通過語音識別、語義理解的發展，機器人/自動駕駛汽車將會變得產業內非常重要的領域。

PS：附PPT+文字版本。

在深度學習的歷史上，神經網絡的方法在1980-1990年之后開始明顯地發揮效力，在數據量、計算力的推動下，用深度學習神經網絡的方法使得我們在研究和開發上獲得了比其它方法更高的準確率（在圖像、語音等領域）。

在2011年之前，深度學習的方法能達到的圖像誤識率都是26%，而在今天這個數字超過了人類的誤識率（5%），達到了3%。

Google Brain團隊目前有什么樣的成果：

在研究方面，有27個paper在各種頂級會議中發表；

推動Google搜索、廣告、相冊、翻譯、Gmail等產品線的整合優化；

發布TensorFlow等在社區中高度流行的開源工具。談到TensorFlow的開發，我們最初的出發點是需要創建一個合適的深度學習工具。

這個工具需要滿足下面的幾個條件：

適合于機器學習思考和算法的表達；

運行效率高，能夠快速地試驗想法；

兼容性好，實驗能在不同平臺上運行；

可在不同環境下分享和重現研究的問題；

適合產品化：能很快從研究階段過渡到產品應用階段；

總結一下TF的目標就是建立一個針對機器學習方面的思考快速實驗的通用系統，并且確保這個系統既是針對研究也是對產品化最好的系統。最后，這個系統不僅是Google的，而且開源的，屬于平臺上每一個人。

在2015年11月9日，我們發布了TensorFlow的最初版本，而目前我們已經取得了這樣的成果：
TF當前有500+的代碼貢獻者；

從發布至今，一共有12000次+的代碼提交；

100萬以上的代碼庫下載；

大量的學校和商業機構將他們的研究和開發工作搭建在TF之上（伯克利、斯坦福、OpenAI、Snapchat）。

我們在軟硬件平臺的支持上也不斷更新。數據顯示，我們已經是GitHub上最受到歡迎的深度學習工具。

深度學習在Google產生了哪些重要的影響？

在語音識別上，我們推動詞語識別的錯誤率降低了至少30%；

深度卷積神經網絡使得直接對未標記的照片進行搜索成為可能；

我們用深度學習的方法，在街景照片中抓取識別文字；

同樣用深度學習的方法，在衛星俯瞰圖中檢索太陽能的屋頂；

在醫療影像中，使用視網膜影像進行糖尿病的診斷；

機器人們現在能通過機器學習的方法進行環境和語義理解；RankBrian甚至被用于Google搜索中的排名優化；

在Inbox中，我們通過語義分析自動化地推薦可能的回復結果，當前Inbox中10%的回復都是通過推薦生成發送的；

在機器學習的其它方面：
在過去很的的模型都是從零開始訓練獲得的，這是非常低效的。我們希望通過xxx的方法來解決這個問題；我們的TPU將在，20個月之后進入大規模量產的階段。

在我們的設想里，未來的搜索請求可能是這樣的：請幫我查找所有關于深度學習和機器人的文獻，并用德文總結出來。

我認為未來3 - 5年內，通過語音識別、語義理解的發展，機器人/自動駕駛汽車將會變得產業內非常重要的領域。