ARK報告：AI仍處早期，發展速度是摩爾定律50倍

文 | 董溫淑

智東西7月1日消息，近日，投資管理公司ARK Invest發布一份報告，分析了人工智能技術的發展情況。

通過與摩爾定律的發展歷程進行對比，ARK認為，人工智能還處于較早期的階段。數據顯示，目前人工智能的訓練成本正以50倍于摩爾定律的速度增長，對于許多用例來說，運行AI推理系統的成本幾乎為。

一、AI計算復雜度每年激增10倍

在過去10年中，用于人工智能的訓練模型的計算資源激增。在1960到2010年間，人工智能的計算復雜度每兩年翻一番。在2010到2020年間，人工智能的計算復雜度每年猛增10倍。

▲1960～2020年間，人工智能計算復雜度變化

報告認為，企業有足夠的動力增加對AI的計算資源投入。一方面，這是因為人工智能技術能夠帶來顯著的收入增長；另一方面，用于訓練人工智能模型的硬件成本在迅速下降。

實際上，一些超級互聯網公司已經開始利用自己掌握的數據訓練深度學習網絡。目前，這些公司已經在人工智能硬件方面投入了數億美元的預算。報告預計，隨著時間推移，互聯網公司會獲得更高的回報率。

二、AI模型成本下降：訓練成本可低至1美元

另外，人工智能訓練成本約每年下降10倍。例如，2017年，在公有云上訓練一個像ResNet-50這樣的圖像識別網絡成本約為1000美元。到了2019年，這項成本降為約10美元。根據報告，按照目前的下降速度，到今年年底，這項成本或將降為1美元。

▲人工智能訓練成本呈現下降趨勢

運行一個訓練好的神經網絡用于推理的成本下降得更快。在過去兩年中，分類10億張圖片的成本從10000美元下降到0.03美元。

▲過去兩年間，運行神經網絡分類10億張圖片的成本呈現下降趨勢

三、軟件和硬件的突破使成本下降成為可能

軟件和硬件的突破使上述成本下降成為可能。過去3年間，芯片和系統已經進化到可以為深度學習任務添加專用硬件，這帶來了16倍的性能提升。如果保持硬件不變，用新版本的AI框架（TensorFlow和PyTorch）與新的訓練方法結合，可以產生8倍的性能增益。

▲左–硬件升級帶來的性能提升；右–軟件升級帶來的性能提升

奇怪的是，人工智能訓練芯片的成本并未隨著單位硬件價格的下降而下降。例如，NVIDIA GPU數據中心經過3次迭代，價格翻了3倍。事實上，自從2017年推出Nvidia V100 GPU以來，亞馬遜網絡服務（AWS）并沒有降低過它的價格。

理論上說，AI芯片市場上的競爭有可能驅動NVIDIA降低價格。但實際上，迄今為止還沒有玩家能夠研發出對Nvidia V100 GPU形成威脅的產品。

四、目前還處于早期階段，2023年市值有望超越互聯網

在摩爾定律的第一個10年里，晶體管的數量每年翻一翻。報告指出，鑒于目前人工智能訓練和推理的成本在以1/10到1/100的速率下降，人工智能還處于非常早期的階段，也許在未來幾十年里，人工智能會以緩慢的速度保持增長。

迄今為止，人工智能為全球股票市值增加了約1萬億美元。ARK預計，到2023年，人工智能的股票市值有望達到30萬億美元，人工智能或將成為第一項超越互聯網股票市值的技術。

▲2023年，人工智能的股票市值有望達到30萬億美元

結語：與OpenAI研究結果一致

ARK Invest分析了人工智能計算復雜度、訓練成本、推理成本、軟件和硬件的變化趨勢，并與摩爾定律的發展進行對比。數據顯示，目前人工智能還處于早期發展階段。

這項發現與OpenAI的一份報告中得出的結論一致。OpenAI報告顯示，自2012年以來，在ImageNet基準測試中，將圖像分類AI模型訓練到同等性能所需計算量每16個月縮短一半。

要指出的是，雖然訓練模型的總體花費在下降，但是在云上開發AI工具還比較昂貴。例如，在最近的一項研究中，華盛頓大學研究團隊訓練了一個用于檢測假新聞的AI模型，在兩周的訓練時間里，該模型的訓練費用達到了25000美元。

文章來源：ARK Invest