NMS技術總結（NMS原理、多類別NMS、NMS的缺陷、NMS的改進思路、各種NMS方法）
加入技術交流群
以下文章來源于CV技術指南 ，作者仿佛若有光157
作者丨仿佛若有光157來源丨CV技術指南
前言 本文介紹了NMS的應用場合、基本原理、多類別NMS方法和實踐代碼、NMS的缺陷和改進思路、介紹了改進NMS的幾種常用方法、提供了其它不常用的方法的鏈接。
本文很早以前發(fā)過，有個讀者評論說沒有介紹多類別NMS讓他不滿意，因此特來補充。順便補充了NMS的缺點和改進思路。
Non-Maximum Suppression（NMS）非極大值抑制。從字面意思理解，抑制那些非極大值的元素，保留極大值元素。其主要用于目標檢測，目標跟蹤，3D重建，數(shù)據(jù)挖掘等。
目前NMS常用的有標準NMS, Soft NMS, DIOU NMS等。后續(xù)出現(xiàn)了新的Softer NMS，Weighted NMS等改進版。
原始NMS
以目標檢測為例，目標檢測推理過程中會產(chǎn)生很多檢測框（A,B,C,D,E,F等），其中很多檢測框都是檢測同一個目標，但最終每個目標只需要一個檢測框，NMS選擇那個得分最高的檢測框（假設是C），再將C與剩余框計算相應的IOU值，當IOU值超過所設定的閾值（普遍設置為0.5，目標檢測中常設置為0.7，僅供參考），即對超過閾值的框進行抑制，抑制的做法是將檢測框的得分設置為0，如此一輪過后，在剩下檢測框中繼續(xù)尋找得分最高的，再抑制與之IOU超過閾值的框，直到最后會保留幾乎沒有重疊的框。這樣基本可以做到每個目標只剩下一個檢測框。
原始NMS（左圖1維，右圖2維）算法偽代碼如下：
實現(xiàn)代碼：（以pytorch為例）
def NMS(boxes,scores, thresholds):
x1 = boxes[:,0]
y1 = boxes[:,1]
x2 = boxes[:,2]
y2 = boxes[:,3]
areas = (x2-x1)*(y2-y1)
_,order = scores.sort(0,descending=True)
keep = []
while order.numel() > 0:
i = order[0]
keep.append(i)
if order.numel() == 1:
break
xx1 = x1[order[1:]].clamp(min=x1[i])
yy1 = y1[order[1:]].clamp(min=y1[i])
xx2 = x2[order[1:]].clamp(max=x2[i])
yy2 = y2[order[1:]].clamp(max=y2[i])
w = (xx2-xx1).clamp(min=0)
h = (yy2-yy1).clamp(min=0)
inter = w*h
ovr = inter/(areas[i] + areas[order[1:]] - inter)
ids = (ovr<=thresholds).nonzero().squeeze()
if ids.numel() == 0:
break
order = order[ids+1]
return torch.LongTensor(keep)
除了自己實現(xiàn)以外，也可以直接使用torchvision.ops.nms來實現(xiàn)。
torchvision.ops.nms(boxes, scores, iou_threshold)
上面這種做法是把所有boxes放在一起做NMS，沒有考慮類別。即某一類的boxes不應該因為它與另一類最大得分boxes的iou值超過閾值而被篩掉。
對于多類別NMS來說，它的思想比較簡單：每個類別內部做NMS就可以了。
實現(xiàn)方法：把每個box的坐標添加一個偏移量，偏移量由類別索引來決定。
下面是torchvision.ops.batched_nms的實現(xiàn)源碼以及使用方法
#實現(xiàn)源碼
max_coordinate = boxes.max()
offsets = idxs.to(boxes) * (max_coordinate + torch.tensor(1).to(boxes))
boxes_for_nms = boxes + offsets[:, None]
keep = nms(boxes_for_nms, scores, iou_threshold)
return keep
#使用方法
torchvision.ops.boxes.batched_nms(boxes, scores, classes, nms_thresh)
這里偏移量用boxes中最大的那個作為偏移基準，然后每個類別索引乘以這個基準即得到每個類的box對應的偏移量。這樣就把所有的boxes按類別分開了。
在YOLO_v5中，它自己寫了個實現(xiàn)的代碼。
c = x[:, 5:6] * (0 if agnostic else max_wh) # classes
boxes, scores = x[:, :4] + c, x[:, 4] # boxes (offset by class), scores
i = torchvision.ops.nms(boxes, scores, iou_thres)
這里的max_wh相當于前面的boxes.max()，YOLO_v5中取的定值4096。這里的agnostic用來控制是否用于多類別NMS還是普通NMS。
NMS的缺點
1. 需要手動設置閾值，閾值的設置會直接影響重疊目標的檢測，太大造成誤檢，太小達不到理想情況。
2. 低于閾值的直接設置score為0，做法太hard。
3. 只能在CPU上運行，成為影響速度的重要因素。
4. 通過IoU來評估，IoU的做法對目標框尺度和距離的影響不同。
NMS的改進思路
1. 根據(jù)手動設置閾值的缺陷，通過自適應的方法在目標系數(shù)時使用小閾值，目標稠密時使用大閾值。例如Adaptive NMS
2. 將低于閾值的直接置為0的做法太hard，通過將其根據(jù)IoU大小來進行懲罰衰減，則變得更加soft。例如Soft NMS，Softer NMS。
3. 只能在CPU上運行，速度太慢的改進思路有三個，一個是設計在GPU上的NMS，如CUDA NMS，一個是設計更快的NMS，如Fast NMS，最后一個是掀桌子，設計一個神經(jīng)網(wǎng)絡來實現(xiàn)NMS，如ConvNMS。
4. IoU的做法存在一定缺陷，改進思路是將目標尺度、距離引進IoU的考慮中。如DIoU。
下面稍微介紹一下這些方法中常用的一部分，另一部分僅提供鏈接。
Soft NMS
根據(jù)前面對目標檢測中NMS的算法描述，易得出標準NMS容易出現(xiàn)的幾個問題：當閾值過小時，如下圖所示，綠色框容易被抑制；當過大時，容易造成誤檢，即抑制效果不明顯。因此，出現(xiàn)升級版soft NMS。
Soft NMS算法偽代碼如下：
IOU超過閾值的檢測框的得分直接設置為0，而soft NMS主張將其得分進行懲罰衰減，有兩種衰減方式，第一種懲罰函數(shù)如下：
這種方式使用1-Iou與得分的乘積作為衰減后的值，但這種方式在略低于閾值和略高于閾值的部分，經(jīng)過懲罰衰減函數(shù)后，很容易導致得分排序的順序打亂，合理的懲罰函數(shù)應該是具有高iou的有高的懲罰，低iou的有低的懲罰，它們中間應該是逐漸過渡的。因此提出第二種高斯懲罰函數(shù)，具體如下：
這樣soft NMS可以避免閾值設置大小的問題。
Soft NMS還有后續(xù)改進版Softer-NMS，其主要解決的問題是：當所有候選框都不夠精確時該如何選擇，當?shù)梅指叩暮蜻x框并不更精確，更精確的候選框得分并不是最高時怎么選擇 。論文值得一看，本文不作更多的詳解。
此外，針對這一閾值設置問題而提出的方式還有Weighted NMS和Adaptive NMS。
Weighted NMS主要是對坐標進行加權平均，實現(xiàn)函數(shù)如下：
其中Wi = Si *IoU(M,Bi),表示得分與IoU的乘積。
Adaptive NMS在目標分布稀疏時使用小閾值，保證盡可能多地去除冗余框，在目標分布密集時采用大閾值，避免漏檢。
Softer NMS論文鏈接：
https://arxiv.org/abs/1809.08545
Softer NMS論文代碼：
https://github.com/yihui-he/softer-NMS
Weighted NMS論文鏈接：
https://ieeexplore.ieee.org/document/8026312/
Adaptive NMS論文鏈接：
https://arxiv.org/abs/1904.03629
DIoU NMS
當IoU相同時，如上圖所示，當相鄰框的中心點越靠近當前最大得分框的中心點，則可認為其更有可能是冗余框。第一種相比于第三種更不太可能是冗余框。因此，研究者使用所提出的DIoU替代IoU作為NMS的評判準則，公式如下：
DIoU定義為DIoU=IoU-d2/c2，其中c和d的定義如下圖所示
在DIoU實際應用中還引入了參數(shù)β，用于控制對距離的懲罰程度。
當 β趨向于無窮大時，DIoU退化為IoU，此時的DIoU-NMS與標準NMS效果相當。
當 β趨向于0時，此時幾乎所有中心點與得分最大的框的中心點不重合的框都被保留了。
注：除了DIoU外，還有GIoU，CIoU，但這兩個都沒有用于NMS，而是用于坐標回歸函數(shù)，DIoU雖然本身也是用于坐標回歸，但有用于NMS的。
GIoU
GIoU的主要思想是引入將兩個框的距離。尋找能完全包圍兩個框的最小框（計算它的面積Ac）。
計算公式如下：
當兩個框完全不相交時，沒有抑制的必要。
當兩個框存在一個大框完全包圍一個小框時或大框與小框有些重合時，GIoU的大小在（-1，1）之間，不太好用來作為NMS的閾值。
GIoU的提出主要還是用于坐標回歸的loss，個人感覺用于NMS不合適，CIoU也是如此，這里之所以提這個，是因為它與DIoU、CIoU一般都是放一起講的。
其它相關NMS
為了避免閾值設置大小、目標太密集等問題，還有一些其他方法使用神經(jīng)網(wǎng)絡去實現(xiàn)NMS，但并不常用，這里只提一筆，感興趣的讀者請自行了解。如：
ConvNMS：A Convnet for Non-maximum Suppression
Pure NMS Network：Learning non-maximum suppression
Yes-Net: An effective Detector Based on Global Information
Fast NMS：
https://github.com/dbolya/yolact
Cluster NMS：
https://github.com/Zzh-tju/CIoU
Matrix NMS：
https://github.com/WXinlong/SOLO
Torchvision封裝的免編譯CUDA NMS
此處參考：
https://zhuanlan.zhihu.com/p/157900024
本文僅做學術分享，如有侵權，請聯(lián)系刪文。
*博客內容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權請聯(lián)系工作人員刪除。
