手語識別和翻譯

　　其后我們關掉骨架提取的功能，使用率大幅降低到只有25%。經過進一步性能分析的工作，我們證實了瓶頸的來源就是骨骼提取。不幸地，骨骼提取的算法并不是開源的，而是被PrimeSence所保護。所以我們并不能通過修改原代碼或是把算法放到FPGA里以達致降低處理器使用率的效果。　　

 

　　解決方法
　　為了解決這個問題，我們嘗試選擇性地使用原始數據。原來數據傳遞方式是用戶產生器(User Generator)直接從深度圖像產生器(Depth Generator)得到原始數據。新的方法就是設立一個仿真深度圖像產生器(Mock Depth Generator)。它會仿真成原來的產生器，而用戶產生器則從它得到數據。

　　當Kinect得到新的數據，它會將數據傳給深度產生器，然后后者會發給仿真深度圖像產生器。而每隔一個幀，仿真深度圖像產生器會將得到的數據傳給用戶產生器。換言之，兩幀從Kinect上得到的數據，只有一幀會真正被用作提取骨架，而另一幀將會被忽略。

　　這個做法雖然令幀率降低到15，但處理器使用率卻降至只有50%。而且經過我們的驗證，幾乎沒有出現丟幀的情況，即使出現亦沒有影響到提取骨架節點的質素。經過這個特殊處理，我們確定在這平臺使用Kinect是可行的，甚至還可提取額外的處理器資源用以其他運算工作。

　　設計和實現

　　概述
　　系統通過Kinect獲取深度影像，并使用應用程序OpenNI從深度影像中提取用戶的骨架。在獲取的骨架中，我們選取左右手、肘、肩六個關節點。總的來看，用戶完成了一個手語，通過Kinect和OpenNI，系統將記錄一系列的幀，每一幀由左右手、肘、肩六個關節點的三維空間向量組成。用戶每一次完成同一個手語都會有差別，所以我們在特征提取之前需要對記錄的幀進行常態化處理。我們使用支持向量機(SVM)對提取的特征向量進行分類。每一類表示一個手語。圖2描述了整個手語識別的流程。　　

 

　　手語獲取
　　雙手交叉握于腹部前方。這一動作我們稱之為“預備動作”，表示手語的開始和結束。為了避免潛在的識別錯誤，我們要求每相鄰的兩幀(0.13s)，用戶至少移動5厘米。如果用戶做預備動作超過100幀(6.67s)，系統將會停止獲取手語數據。

　　數據處理
　　正如我們之前提到的常態化處理，我們將獲取的一系列幀通過均分和插入的方法統一成121幀，即2178個三維空間向量。我們對常態化處理后的數據進行特征提取，產生1694個特征向量。最后我們將所有的特征向量放在一個矩陣里，用于SVM分類。

　　手語訓練和分類
　　LIBSVM是一個用于支持向量機的集成軟件，支持多類分類。用戶使用LIBSVM提供的庫，可以更容易地使用SVM。我們使用“svm-train”讀取輸入文件(Input File)，生成模型文件(Model file)。我們的輸入文件包含1694個特征向量。我們對每個手語單詞訓練20到30次。到目前為止，我們總共訓練了48個手語。我們可以通過訓練更多的手語擴展我們的數據庫。

　　使用“svm-predict”可以預測用戶所做的手語屬于哪一類。

　　參考文獻：
　　[1]Chinese Sign Language [R/OL].http://baike.baidu.com/view/42806.htm
　　[2]OpenNI [R/OL].http://75.98.78.94/About.aspx
　　[3]PrimeSense 3D Sensor Data Sheet[R/OL].http://www.primesense.com/press-room/resources/file/4-primesense-3d-sensor-data-sheet?lang=en
　　[4]LIBSVM [R/OL].http://www.csie.ntu.edu.tw/~cjlin/libsvm/
　　[5]Hardware Requirements of Kinect[R/OL].http://www.microsoft.com/en-us/kinectforwindows/purchase/sensor_setup.aspx
　　[6]FPGA-based MP3 Player[R/OL].http://cegt201.bradley.edu/projects/proj2010/fpgamp3/FPGAMP3_Project_Report.pdf
　　[7]Altera wiki - MP3 player[R/OL].http://www.alterawiki.com/wiki/MP3_Player