It has been 1083 days since the last update, the content of the article may be outdated.
OB前言筆記整理

這篇文章是學習時整理的一些筆記，讓自己複習時方便，文章內容原文於文末參考

RCNN

ob
RCNN使用Selective Search找出2000–3000個region proposal，將取出的region proposal 壓縮成一樣大小之後再丟入CNN擷取特徵，利用SVM加以分類，並對bounding box做線性回歸。

RCNN流程

ob

  1. 使用Selective Search產生~2000可能區域 (Region proposal)
  2. 將每一個region proposal經過Crop/ Warp 後丟入已訓練完成的CNN得到固定維度的輸出(CNN feature)
  3. 利用SVM (Support Vector Machine)分類器區分屬於哪類
  4. 經由線性回歸模型校正bounding box position

RCNN架構

ob

RCNN問題

  1. RCNN 一開始必須產生~2000個region proposal，每個區域都要放入CNN提取特徵，有很多重複運算的部分非常花時間 (總共有三個模型 )
    • 用於提取特徵的CNN
    • 辨識候選區域的SVM
    • 調整邊界的回歸模型
  2. 在將候選區域放入CNN前需要先將候選區域重新調整尺寸至227 x 227
  3. CNN提取特徵的層數較高，因此候選區域對於小區域較不敏感
  4. 需要對bounding box訓練線性回歸模型以便回歸物體精確的位置

Fast-RCNN

ob
Fast R-CNN是為了解決以上RCNN運算效能的問題而優化的演算法，R-CNN計算2000個Region proposal 放入CNN需要個別運算很多重複的區域，而Fast R-CNN就只算了一次CNN，再將CNN擷取出來的特徵讓2000個Region proposal做運用，再利用RoIpooling (Region of Interest Pooling)的將取出的Region 對應到Feature map輸出後各自接上FC去做softmax分類及bbox regressor。

Fast-RCNN流程

  1. Fast-RCNN一樣需要使用Selective Search選出~2000個Region proposal
  2. 只需要計算一次CNN ，利用RoIpooling對應到Feature map，因為region proposal的xyhw通常是小數，因此在對應Feature map之前會先取一次整數，整數化後的邊界平均分割成k x k個單元，對每一個單元的邊界做整數化如下圖，經過取整數之後，特徵位置和feature map 所對應的位置就會有所偏差，後來就演進了RoIAlign。
RoIpooling相關文章筆記指路

RoIpooling就是下圖中藍色框框的那塊
ob

Faster-RCNN

上述提到了Fast-RCNN的改進，包括了減少冗贅的特徵提取動作，將ROI映射到feature maps上，並用ROI pooling 統一維度等等。但是為了迎來更快的偵測速度，在Proposals上的處理也需要納入整個模式的NN之中，一起用convolution來解決。於是Faster-RCNN就此成型，它運用Region Proposals Network (RPN)搭配anchor box的設計

Faster-RCNN架構

ob
這張圖雖然簡單，但是點出了一個大重點就是在”Region Proposal Network”，後續我們會簡稱為RPN。RPN等於是在原本的Fast-RCNN的中間，多了一個分支來處理region proposals的小網路。所以今天這篇的重點就是來介紹Faster-RCNN加了anchor和RPN之後是如何運作的。

Anchor相關文章筆記指路

建議閱讀👉https://ivan-eng-murmur.medium.com/object-detection-s3-faster-rcnn-簡介-5f37b13ccdd2

aster-rcnn在region proposals的網路中採用了anchor，判斷anchor 內是否有物件，最後在挑選好的anchor形成的proposal交出去，後續的工作，就和Fast-RCNN一樣了。

Faster-RCNN把原先獨立處理proposals的部分也整合進了網路架構中，且也用全卷積網路處理，搭配不同尺度和比例的anchor予以proposals的預測。這整個流程的整併，讓Faster-RCNN的速度也出現明顯的提昇，且mAP的表現並沒有降低，反而讓表現又提升了。

雖然Faster-RCNN算是在two-stage的物件偵測模型出人頭地，但是一樣有著不夠好的地方：

  1. 雖然有9種anchor的雛形可供RPN使用，但是只在單一個解析度的feature map上進行提取，對於影像中不同大小的物體解析力不夠全面。
  2. 網路架構越來越大，對於計算設備和記憶體的需求也越來越高。除了限制了應用層面的硬體要求以外，偵測速度5fps距離real time的願景還有些差距要克服。
  3. 整體架構的複雜度比one-stage的模型複雜許多，較難理解，且運行速度也差很多。

References

  1. Object Detection : R-CNN, Fast-RCNN, Faster RCNN
  2. 一文读懂Faster RCNN
  3. [物件偵測] S3: Faster R-CNN 簡介