比亞迪電池焊后3D+AI視覺檢測
加入技術交流群
隨著3D相機在工業AI的普及，深度學習對3D點云和深度圖的分析方法也越來越多樣化。在3D計算機圖形中，Depth Map（深度圖）是包含與視點的場景對象的表面的距離有關的信息的圖像或圖像通道。其中，Depth Map 類似于灰度圖像，只是它的每個像素值是傳感器距離物體的實際距離。通常RGB圖像和Depth圖像是配準的，因而像素點之間具有一對一的對應關系，合成的四通道的圖像稱為RGB-D圖像。如下圖：
本文引用地址：http://www.104case.com/article/202310/452045.htm
在業內，不少工作已經將CNN引入在RGB-D圖像上的視覺任務上，這些工作中一部分直接采用4-channel的圖像來進行語義分割。我們可以將3D點云做正射糾正，生成對應的深度圖。再將2D圖像做同樣的仿射糾正，合成RGB-D圖像。我們可以壓縮數據量，將RGB圖像換成灰度圖，實際數據的通道數就只有兩個。在本項目的深度學習模型中，需要輸入是3通道，就要附加上全為0置的通道，而在Deep Learning的模型上增加通道注意力機制，能減少第三通道的計算。兩通道的圖片，在標注工具里，只有一個通道可見，而三通道圖片帶來額外的好處，在標注工具里是彩色的。
案例優勢
深度學習和傳統算法分別都做不到0%漏判的情況下，如果互相結合，那么還是能夠做到0漏判。舉焊偏的例子，如下圖：
在毛刺不作為缺陷標準的情況下，Mark孔被毛刺遮蓋，用傳統算法就會得到焊偏的誤判。使用深度學習，無論是語意分割還是目標檢測，都能檢出部分Mark孔，達到0漏判。另外，用深度學習語義分割焊跡，效果穩定，不受測量距離變動、亮度變化、亮邊的影響，分割精細。抗其它干擾性能也很強，比如抗彩筆的標記干擾能力強，得到的區域可用于測量焊寬。傳統算法的mIoU只有99%，而深度學習的mIoU達到99.89%。
新生產的產品，深度學習的樣本量少，訓練效果不是最佳，但隨著樣本量增加，增量學習，效果會不斷提高。
在含有高度圖的多通道圖中，額外增加注意力機制必不可少，同時可以增加空間注意力，特征圖融合。下圖是神經網絡的改造設計：
本案例產品界面
評論