霸榜第一框架：工業檢測，基于差異和共性的半監督方法用于圖像表面缺陷檢測
加入技術交流群
目前霸榜第一，99.56%，一秒31.34張圖片。
1概括
通過比較輸入樣本與內存池中的內存樣本的異同，對異常區域進行有效猜測；在推理階段，MemSeg直接以端到端的方式確定輸入圖像的異常區域。通過實驗驗證，MemSeg在MVTec AD數據集上實現了最先進的(SOTA)性能，圖像級和像素級的AUC得分分別為99.56%和98.84%。此外，MemSeg得益于端到端、直截了當（straightforward）網絡結構，在推理速度上也有明顯優勢，更好地滿足工業場景的實時性要求。
2
背景
同時，從共性的角度，MemSeg引入了一個內存池來記錄正常樣本的一般模式。在模型的訓練和推理階段，比較輸入樣本和記憶池中記憶樣本的異同，為異常區域的定位提供更有效的信息。此外，為了更有效地協調來自內存池的信息和輸入圖像，MemSeg引入了多尺度特征融合模塊和新穎的空間注意力模塊，大大提高了模型的性能。
3
新框架分析
Anomaly Simulation Strategy在工業場景中，異常以多種形式出現，在進行數據收集時不可能將其全部覆蓋，這限制了使用監督學習方法進行建模。然而，在半監督框架中，僅使用正常樣本而不與非正常樣本進行比較不足以讓模型了解什么是正常模式。在今天分享中，受DRAEM的啟發，研究者就設計了一種更有效的策略來模擬異常樣本并在訓練過程中引入它們以完成自監督學習。MemSeg通過比較非正態模式來總結正態樣本的模式，以減輕半監督學習的弊端。如下圖所示，提出的異常模擬策略主要分為三個步驟。
二維柏林噪聲P二值化后生成Mp，正常圖I二值化后生成MI，二者結合生成M，這種處理是為了讓生成的異常圖與真實異常圖相似。
利用公式做正常圖和M的融合使接近真實異常圖：
將M反轉（黑變白，白變黑），與I做元素積，與I'做元素和，生成IA。
通過上述異常模擬策略，從紋理和結構兩個角度獲取模擬異常樣本，并且大部分異常區域都生成在目標前景上，最大限度地提高了模擬異常樣本與真實異常樣本的相似度。
Memory Module
選N個正常圖經ResNet作為存儲的信息，凍結ResNet的block1/2/3的參數保證高維特征與記憶信息統一，其余部分仍可訓練。訓練及推理階段，通過下公式比較距離：
N個存儲信息中，每個包括塊1/2/3生成的三張特征圖，將輸入的三張特征圖與N中所有的三個特征圖比較找出距離最小的N中的三張特征圖。將輸入的三張特征圖與和其距離最小的三張特征圖連接形成CI。后經多尺度特征融合塊，經U-Net跳躍連接進入****。
Spatial Attention Maps
涉及到空間注意力塊，由下公式為三個特征圖增加權重，降低特征冗余：
Multi-Scale Feature Fusion Module
考慮到它是通道維度上兩種信息的串聯，并且來自編碼器的不同位置，具有不同的語義信息和視覺信息，因此使用通道注意力CA-Block和多尺度策略進行特征融合。
Training Constraints（訓練損失）
L1損失和focal損失。L1比L2保留更多邊緣信息，focal緩解樣本不平衡問題，使模型專注于分割本身而不是樣本的情況。
4
實驗及可視化
可視化：
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
