基于arm架構單片機的hadoop服務器嘗試

從淘寶上面買了一個arm的單片機，上面有一顆基于ARMv7架構的單核cpu，1G內存，4G存儲。但是最主要的，是上面有網卡接口，雖然是100M的，但這讓構建集群成為了一個可能。另外這個比樹莓派更好的是，上面有sata硬盤的接口，這樣，存儲的問題也可以解決。雖然我現在手里沒有sata 2.5寸的硬盤，但是起碼給了個想象的空間。

很小的一塊板子，表就是casio的ef339，去年博客大賽的獎品，也是我唯一的一塊表，而且我不擔任任何公職，也不是黨員，不要平我祖墳。

關于操作系統方面，cubieboard本身內置android 4.0.4，連上HDMI在電視上刷微博很爽，40寸的大pad，誰有？但是android不是我們所需要的，可以用linaro系統，for arm的ubuntu。從網上找了一個國外網友自制的linaro server版，用工具燒進TF(microSD)卡。不比自己本身的android啟動速度快，這個啟動速度比較慢。不過要做好心理準備，TF卡一旦燒了操作系統img上去，就再也不能當存儲用了。

昨天晚上在家通過網線用apt-get install 了openjdk6，也下載好了hadoop-1.0.4。今天在公司利用午休時間配置了單機的hadoop環境。并跑了一下pi任務，結果比我想象的要好，先看幾張圖吧，最后寫上測試數據和對比測試數據。

開機啟動圖

因為公司綁定mac，所以沒有聯網，懶得去找ops做mac綁定了。

測試命令，啟動10個map，每map投擲100次飛鏢，計算pi值。因為主要是看cpu計算能力，sd卡當存儲，肯定拼不過sata硬盤的速度。下圖有cpu信息和操作系統的信息。

cpu信息大圖

連線圖，本身采用HDMI作為顯示輸出，還得去找HDMI轉VGA的轉換頭。

arm hadoop服務器大小，比中南海略大。

最后讓我們回到數據上來，琢磨這種方式其實我最關心的是性價比，主要看多少顆arm v7可以頂一顆intel cpu。因為除去這一點，硬盤，內存等等都是必不可少的開銷，用哪種架構都是一樣的。而性價比主要就集中在cpu單價和能耗上。

在64位arm沒有出來以前，就拿arm v7說事吧。

用臺式機里的intel做虛擬機單核1G內存做了個對比，Hadoop pi 任務對比數據如下。

首先intel和arm的hadoop配置相同，都是hadoop官網的單機，單復制塊默認配置，HEAPSIZE均設置為128M。

午休時間有限，只做了pi的測試。而且沒有服務器上的虛擬機，沒法測試至強CPU的性能，臺式機做個大概的參考好了。

測試命令：sudo -u hadoop hadoop jar hadoop-example-1.0.4.jar pi 10 100

讀寫存儲的效率對比，分別順序讀寫200M文件。

intel+機械硬盤 200M寫，500M讀

arm+sd卡 60M寫，60M讀，可見讀寫硬盤intel占大便宜了，不過因為沒有外掛硬盤，所以也不知道arm讀寫效率如何。sd卡就別想了，太慢了，盡管這個SD卡已經算快的了。

且不論讀寫磁盤操作的差距，僅以這個作為計算能力的差距參考，可以看到，大概2-3顆arm v7可以抵的上intel i3 2100里面的一個核，那么大概12顆可以超越一顆i3 2100。i3 2100的功耗每小時大概在50-60瓦左右，而12顆arm v7的功耗每小時不到4瓦。

在我寫這篇作文的時候，i3 2100 大約600多一顆，12顆arm v7大約40美元，折合起來不到300。所以無論從能耗還是價格上看，arm cpu還是具備一定優勢的。只是現在64位cpu沒出來，做hadoop服務器沒有什么計算優勢，但是拿來當webserver或者存儲服務器還是綽綽有余的。

不過我個人覺得，未來用arm服務器做hadoop服務器還是極具誘惑的。無論從能耗還是采購成本上，arm都很低廉，至少在我來看，還是很性感的。