[PYTHON] Deep Learning of Object Detection 7 Artikel zum Lesen und Zusammenfassen von Punkten [Road to Efficient Det]
Lange nicht gesehen. Beginnend mit Hintons überwältigendem Sieg bei ILSVRC durch AlexNet im Jahr 2012 ist Deep Learning in der Welt der Bilderkennung ins Rampenlicht gerückt.
In der Welt der Objekterkennung sind Modelle, die Deep Learning verwenden, derzeit der Mainstream. Wenn Sie sich https://paperswithcode.com/sota/object-detection-on-coco ansehen,
In COCO test-dev scheint das SoTA-Modell (State-of-the-Art) EfficientDet-D7x zu sein. Es gibt einige Dogmatismen und Vorurteile, aber ich habe sieben Artikel zum Lesen gesammelt, um die effiziente Det zu verstehen.
Ich möchte mich nach Deep Learning auf die Objekterkennung konzentrieren und sie so präzise und reibungslos wie möglich schreiben.
Was ist Objekterkennung?
Wenn Sie nichts über Objekterkennung wissen, sehen Sie sich bitte das folgende Video an. Es ist ein YOLOv2-Video, aber es ist wahnsinnig cool.
https://youtu.be/VOC3huqHrss
Zweistufiger Detektor und einstufiger Detektor
Objektdetektoren werden grob in zweistufige und einstufige Typen unterteilt. Als Grundvoraussetzung werde ich es hier kurz vorstellen.
- Zweistufiger Typ
- Schnelleres R-CNN, Maske R-CNN usw., bei denen der Bereich Vorschlagsteil getrennt ist.
- Einstufiger Typ ――Der Bereichsvorschlagsteil wie YOLO und SSD wird nicht getrennt, und die Verarbeitung kann nur einmal durchgeführt werden.
Im Folgenden möchte ich die 7 ausgewählten Artikel zu diesem Thema eingeben. Ich werde sie in der Reihenfolge der grundlegenden vorstellen.
Überblick
Bekannt als schnelleres R-CNN. Ein wegweisendes Papier zur Objekterkennung durch Deep Learning. Der Urheber von zweistufigen Detektoren.
Was ist erstaunlich im Vergleich zu früheren Forschungen?
Erzielte eine signifikante Verlängerung der Inferenzzeit für regionales CNN (R-CNN) und schnelles R-CNN. End-to-End erreichen.
Was ist der Schlüssel zur Technologie?
- RPN(Region Proposal Network)
- Generieren Sie die Ankerbox für die Feature-Map, nachdem Sie CNN durchlaufen haben
- Vordergrund- / Hintergrundklassifizierung und rechteckige Regression für jede Ankerbox
- ROI Pooling
- Gibt Elemente einer festen Größe für ein Rechteck beliebiger Größe aus
- Die Erkennung ist in 2 Stufen unterteilt
- Stufe 1: Extrahieren Sie ein Rechteck, das wie ein Objekt mit RPN aussieht
- Stufe 2: Klassifizierung und Rechteckregression unter Verwendung der in dem von RPN extrahierten Rechteck enthaltenen Merkmale
Wie haben Sie überprüft, ob es gültig ist?
- Zu dieser Zeit SoTA mit PASCAL VOC und MS COCO erreicht
- Die Inferenzzeit pro Bild wurde auf 200 ms reduziert
Gibt es eine Diskussion?
――Was soll ich tun, um es noch schneller zu machen?
Überblick
Bekannt als YOLO. Ein Modell aus der gleichen Zeit wie das Faster R-CNN. Der Urheber einstufiger Detektoren. Das zu Beginn vorgestellte Video stammt von YOLO v2. Derzeit hat sich der Autor geändert, aber es wurde bis v5 veröffentlicht.
Was ist erstaunlich im Vergleich zu früheren Forschungen?
Wie auch immer, es ist schnell. (SoTA wurde in Bezug auf Genauigkeit nicht erreicht) Echtzeiterkennung ist mit Faster R-CNN möglich, aber ich denke, YOLO ist die echte Echtzeiterkennung.
Was ist der Schlüssel zur Technologie?
――Die einfache Idee, in S × S-Gitter zu unterteilen und für jedes Gitter zu denken.
- Eine Netzwerkstruktur, die gleichzeitig "Klassifizierung" und "Regression" unter Verwendung der letzten Stufe der Feature-Map durchführt.
Wie haben Sie überprüft, ob es gültig ist?
- Erreicht 45 FPS, was viel schneller als schnelleres R-CNN ist. (Schneller R-CNN ist 5FPS)
- Erreicht 155 FPS mit schnellerem schnellem YOLO.
Gibt es eine Diskussion?
――Wie können Sie die Genauigkeit verbessern, während Sie die Inferenzgeschwindigkeit beibehalten?
Überblick
Bekannt als SSD. Wie YOLO ist es ein originaler einstufiger Detektor.
Was ist erstaunlich im Vergleich zu früheren Forschungen?
Erreicht 59 FPS bei gleichbleibender Genauigkeit wie beim zweistufigen Typ.
Was ist der Schlüssel zur Technologie?
--Verwenden Sie eine hierarchische Feature-Map. Der Anker (im Papier als Standardbox bezeichnet) wird für jede Feature-Map definiert.
Wie haben Sie überprüft, ob es gültig ist?
- Erreicht 74,3% mAP, 59 FPS in VOC2007. (YOLO ist 63,4% mAP, 45 FPS)
Gibt es eine Diskussion?
――Wie können Sie kleinere Objekte besser erkennen?
Überblick
Bekannt als FPN. Die Theorie hinter dem in EfficientDet verwendeten BiFPN. Eine neue Methode zur Merkmalsextraktion.
Was ist erstaunlich im Vergleich zu früheren Forschungen?
Durch die Verwendung pyramidenförmiger Merkmale können Objekte mit unterschiedlichen Maßstäben leicht erkannt werden.
Was ist der Schlüssel zur Technologie?
- Durch die Kombination der unteren Feature-Map und der oberen Feature-Map wurde die untere Feature-Menge, die bei herkömmlichen SSDs semantisch schwach war, verstärkt.
- Überwinden Sie die Erkennung kleiner Objekte, was eine Schwachstelle bei SSD war.
Wie haben Sie überprüft, ob es gültig ist?
- Durch die Einbindung von FPN in Faster R-CNN erreichte COCO zu diesem Zeitpunkt SoTA.
Gibt es eine Diskussion?
――Wie können Sie das Bild verbessern, ohne seine Funktionen zu verlieren?
Überblick
Bekannt als Retina Net. Einführung eines neuen Konzepts namens Focal Loss.
Was ist erstaunlich im Vergleich zu früheren Forschungen?
Wenn Sie Anchor Box usw. verwenden, wird die Hintergrundklasse zwangsläufig zunehmen. In der Vergangenheit wurde sie durch Hard Negative Mining usw. gelöst, aber durch einen anderen Ansatz zur Änderung des Verlusts verbessert.
Was ist der Schlüssel zur Technologie?
- Die Korrektur wird um die Kreuzentropie hinzugefügt.
- Das gut klassifizierte Beispiel wurde so geändert, dass es den Verlust nicht so stark beeinflusst. (Das heißt, einfache Beispiele haben ein geringeres Gewicht und konzentrieren sich darauf, harte Negative zu trainieren.)
Wie haben Sie überprüft, ob es gültig ist?
- Realisiertes SoTA zu dieser Zeit bei COCO.
Gibt es eine Diskussion?
--Keiner.
Überblick
Bekannt als EfficientNet. Von den sieben dieses Mal geht es nur in diesem Artikel um "Klassifizierung" anstelle von "Erkennung". Angekündigt von Google Brain. Angenommen, weil es für das Rückgrat von EfficientDet verwendet wird.
Was ist erstaunlich im Vergleich zu früheren Forschungen?
Ein Ort, an dem eine hohe Genauigkeit mit einer erheblich geringeren Anzahl von Parametern als zuvor erreicht wurde.
Was ist der Schlüssel zur Technologie?
- Optimierte Breite (1 Schichtgröße), Tiefe (Anzahl der Schichten) und Auflösung (Eingabebildgröße) für die Modellvergrößerung
- Die Struktur des Modells wird unter Verwendung eines Koeffizienten bestimmt, des zusammengesetzten Koeffizienten $ \ phi $.
Wie haben Sie überprüft, ob es gültig ist?
- SoTA mit 5 Datensätzen einschließlich ImageNet erreicht.
Gibt es eine Diskussion?
--Keiner.
Überblick
Bekannt als Efficient Det. Das neueste Objekterkennungsmodell, das im Jahr 2020 angekündigt wurde. Ein Modell, das die FPN von Retina Net in BiFPN und das Backbone in Efficient Net ändert.
Was ist erstaunlich im Vergleich zu früheren Forschungen?
Im Vergleich zu bestehenden Modellen mit gleicher Genauigkeit hat EfficientDet die Anzahl der Parameter erheblich reduziert. Auch die Anzahl der Operationen (FLOPs) ist gering.
Was ist der Schlüssel zur Technologie?
- Vorgeschlagenes BiFPN, eine Methode zum erfolgreichen Mischen von Feature-Maps mit mehreren Auflösungen, um die Feature-Pyramide zu erhalten.
- Einführung von Parametern, die die Kapazität des Netzwerks skalieren, wie z. B. EfficientNet, um FLOPs und Genauigkeit auszugleichen.
Wie haben Sie überprüft, ob es gültig ist?
- Nach den experimentellen Ergebnissen des Papiers hat die Leistungsbewertung bei COCO den SoTA von 55,1% erreicht.
Gibt es eine Diskussion?
--Keiner.
Sonderedition
Es hat nichts mit EfficientDet zu tun, aber ich werde auch die Extra Edition verlassen. Wenn Sie interessiert sind, lesen Sie es bitte.
- Libra R-CNN: Towards Balanced Learning for Object Detection ――Wir analysieren die Probleme in der Lernphase bei der Objekterkennung und schlagen für jedes Problem verbesserte Methoden vor.
- End-to-End Object Detection with Transformers
- Ein Papier, das Transformer, das in der Verarbeitung natürlicher Sprache wie BERT und dem Thema GPT-3 effektiv ist, auf die Objekterkennung anwendet.
abschließend
Dieses Mal habe ich kurz über die Punkte des Papiers geschrieben, aber ich denke, dass sich das Verständnis vertiefen wird, wenn Sie das Originalpapier auf dieser Grundlage lesen.
Die Implementierung von EfficientDet ist hier. PyTorch: https://github.com/rwightman/efficientdet-pytorch TensorFlow: https://github.com/google/automl/tree/master/efficientdet (im Artikel beschrieben)
Vielen Dank für das Lesen bis zum Ende!
Recommended Posts