靠譜嗎？這家新公司在做“存算一體AI芯片”

　　做AI(人工智能)芯片已經很了不起，拓寬計算、存儲之間的狹路也很不易，二者都是世界性的熱點課題。沒想到，今年3月才開始運營的這家公司聲稱要做“存算一體化”AI芯片，目前研發人員只有十幾名!

　　這家公司究竟有何高招?

　　近日在京舉辦的“安創成長營”第五期路演上，北京知存科技有限公司CEO王紹迪博士介紹了他們做的存算一體化的AI芯片，特點是低成本、低功耗，目標是讓AI設備無所不在。

　　AI潛力巨大

　　AI目前還處于發展階段，當前落地的應用場景較少，沒有達到社會的期望。隨著AI算法的進步以及芯片算力的提升，未來將會出現一個更大的爆發點，會涌現更多的應用落地。

　　AI芯片作為AI的載體，被大家寄予厚望。據有關預測， 2020年AI芯片市場預計達到千億量級。傳統芯片巨頭諸如arm、Intel、NVIDIA都通過自研和收購推出了數款芯片，互聯網巨頭諸如Google、亞馬遜和微軟等也都正推出和開發AI芯片。這個領域的創業公司就更多了，中國的幾家頭部公司就做得非常好。

　　AI適合“存算一體”

　　AI依賴的算法是一個龐大和復雜的網絡，有很多參數要存儲，也需要完成大量的計算，這些計算中又會產生大量數據。在完成大量計算的過程中，一般芯片的設計思路是將大量增加并行的運算單元，例如上千個卷積單元，需要調用的存儲資源也在增大，然而存儲資源一直是有限的。隨著運算單元的增加，每個運算單元能夠使用的存儲器的帶寬和大小在逐漸減小，可見存儲器是AI芯片的瓶頸。

　　在很多AI推理運算中，90%以上的運算資源都消耗在數據搬運的過程。芯片內部到外部的帶寬以及片上緩存空間限制了運算的效率。現在工業界和學術界很多人認為存算一體化是未來的趨勢。

　　存算一體的分類

　　存算一體化分為幾種：DRAM和SSD中植入計算芯片或者邏輯計算單元，可以被叫做存內處理或者近數據計算，這種方式非常適合云端的大數據和神經網絡訓練等應用;另一種就是存儲和計算完全結合在一起，使用存儲的器件單元直接完成計算，比較適合神經網絡推理類應用。

　　知存研發的是后者，即將存儲和計算結合到閃存單元中的存算一體。閃存技術的該技術已經非常成熟，商用幾十年了，成本很低。

　　知存的獨特技術

　　具體地，當前商用的神經網絡非常龐大，擁有數百萬至數千萬的權重參數，或者推理過程中需要完成幾百萬到上千萬個乘加法運算。傳統的計算系統需要將網絡權重參數存在片外的非易失性存儲器中，例如NAND Flash或NOR Flash。

　　運算過程中，需要把部分需要的權重參數搬運到DRAM，再把小部分參數傳入到芯片中的SRAM和eDRAM中，之后導入寄存器和運算單元完成運算。神經網絡運算需要大面積SRAM和eDRAM來減少片內外數據搬運和提高運算效率，但是由于片上存儲成本的限制，也需要高成本、高速度的DRAM來緩存片上無法容納的權重參數和臨時數據。

　　知存科技的存算一體化原理是：知存科技的Flash存儲單元本身就可以存儲神經網絡的權重參數，同時又可以完成和此權重相關的乘加法運算，就是將乘加法運算和存儲全部融合到一個Flash單元里。

　　例如，只需要100萬個Flash單元，就可以存儲100萬個權重參數，同時并行完成100萬次乘加法運算。

　　知存做的是這樣一款芯片：深度學習網絡被映射到多個Flash陣列，這些Flash陣列不僅存儲，還和深度學習網絡同時完成網絡的推理，這個過程不需要邏輯計算電路。

　　這種方式的運算效率非常高，成本很低，單個Flash單元能夠完成7、8 bit的乘加法運算。

　　前文提到知存科技的芯片有兩個特點：1.運算效率高，相比于現在基于馮?諾依曼架構的深度學習芯片，大概能夠提高運算效率10~50倍;2.產品成本低，節省了DRAM、SRAM、片上并行計算單元的面積消耗，簡化了系統的設計，同時無需采用先進的芯片加工工藝，可以數倍地降低生產成本，幾十倍地降低流片和研發成本。

　　當前階段，知存科技主攻的是對成本和運算效率(功耗)敏感的應用，例如終端的低功耗、低成本的語音識別應用。未來，隨著AI和物聯網的發展，知存科技會拓展更多的應用場景，例如低成本、低功耗的感知應用和人機交互。

　　知存的人力資源

　　2014年，知存科技的創始人開始在美國加州大學圣芭芭拉分校的實驗室做這項技術的研發，完成過6次流片和技術驗證。2017年底在北京注冊了公司，2018年3月正式開始運營，僅5個月就把設計送去流片。如果進展順利，三四個月后就會完成芯片測試，爭取2019年量產。

　　知存科技的團隊成員畢業于北京大學、北京航空航天大學、美國加州大學洛杉磯分校、加州大學圣芭芭拉分校等學校。核心團隊成員大部分都有十年以上的行業經驗。團隊目前有11個人，2018年年末會擴大團隊規模。

　　如何看待XPoint存儲技術?

　　Intel與美光2015年共同研制了3D XPoint技術，去年Intel推出了傲騰內存模組，特點也是提速AI和數據中心等的計算與存儲之間的連接速度。知存如何評價它們?

　　王紹迪博士稱：這是一項很新的技術，這項技術的selector做得很好。但目前主要問題是成本和系統支持度的問題。不過，隨著產業鏈的發展，成本會越來越低，速度也會更快，系統也會更好地支持XPoint兼有的高速和非易失性的特性。

　　可見，作為存儲器、內存或者他們的統一體(存算一體化)類應用，未來成本降低之后，會有非常大的優勢。Intel在這個技術的市場推廣上也投入很多精力，其他后來者可能會坐享其成。

　　評論：靠譜嗎?

　　具體的技術細節，知存很少透露。但至少該公司的想象力很靠譜!

　　當下正如火如荼地舉行“世界杯”足球賽，很多人買了彩票。筆者認為，知存能否成功，這有點像投資人買了彩票，興許賭一把能贏呢?