Pokemon mit wenig Informationen	Pokemon mit vielen Informationen

Fühlt sich AI nicht "Digimon-artig" an, nur weil das Design kompliziert ist? ??

Die folgende Abbildung zeigt die Informationsmenge und die Tendenz zur Fehlklassifizierung für Pokemon und Digimon. (Die rote Linie ist die Regressionslinie, auf der die logistische Regression von sns.regplot durchgeführt wurde.)

Je komplexer das Design von Pokemon ist, desto höher ist die Fehlklassifizierungsrate für Digimon.

Auf der anderen Seite ist die Fehlklassifizierungsrate für Pokemon umso höher, je einfacher das Design von Digimon ist.

** Die Menge an Informationen scheint jedoch einer der Faktoren zu sein, die es zu einem Digimon machen, aber es scheint, dass dies nicht der einzige entscheidende Faktor ist. ** ** **

Wo suchte AI? Visualisierung # 1. Visualisierung von Beitragsbereichen durch Grad-CAM

Die folgenden Seiten sind zur Visualisierung von CNN angereichert! !! !! https://github.com/utkuozbulak/pytorch-cnn-visualizations

Das für die Klassifizierung verwendete Modell wird schließlich durch Falten in 5 Schichten in 4096 Merkmale konvertiert, sodass das menschliche Auge nur schwer erkennen kann, was zum Klassifizierungsergebnis beiträgt Durch die Verwendung einer Methode namens ** Grad-Cam ** wird es für den Menschen bis zu einem gewissen Grad leicht zu erkennen.

Im folgenden Bild kann beispielsweise der Bereich innerhalb des Bildes visualisiert werden, der dazu beigetragen hat, als "Hund" eingestuft zu werden.

Hier ist das Ergebnis der Verwendung von GradCAM für Pokemon-Bilder.

Beitragsbereiche zur Klassifikation "Digimon"	Beitragsbereiche zur "Pokemon" -Klassifikation

Ich verstehe, dass die Augen von Fushigidane zur Digimon-Klassifizierung beitragen, während sie in einer Vielzahl anderer Bereiche zur Pokemon-Klassifizierung beitragen, aber ich weiß nicht, welche Art von Merkmalen ich allein daraus sehe, und habe daher Folgendes entwickelt. ..

Einfallsreichtum: Machen Sie eine Chimäre aus Pokemon und Digimon, die im gleichen Maße wie Pokemon und Grad-CAM aussieht

Dies ist Pikachu, ein Pokemon, das als 100% Pokemon klassifiziert ist. ** Obwohl es sich um einen Digimon handelt, handelt es sich um einen Terimon, der 2000 Mal von 2000 als Pokemon falsch klassifiziert wurde **

Pikachu(Pokémon) Pokémonらしさ100%	Terimon(Digimon) Pokémonらしさ100%

Sowohl Pikachu als auch Terimon erstellen vier Arten von Pokemon Digimon-Chimärenbildern wie folgt, mit Bildern mit einer Klassifizierungsrate von 100% für Pokemon.

Beispiel einer Visualisierung mit Chimärenbild

Im folgenden Bild wurden beispielsweise vier Arten von Chimärenbildern, Pokemon Subame (oben rechts) und Digimon Popomon (unten rechts), erstellt, und der Pokemon-Klassifizierungsbeitragsbereich und der Digimon-Beitragsbereich wurden von Grad-CAM erfasst. Gibt es. Diese Kombination von Pokemon und Digimon entspricht denen, die am nächsten beieinander liegen, wobei die Klassifizierungsraten für Pokemon 64,25% bzw. 63,93% betragen.

Von den Grad-CAM-Ergebnissen von 8 Chimärenbildern ** Die vier links repräsentieren den Beitragsbereich der Digimon-Klassifizierung und die vier rechts repräsentieren den Beitragsbereich der Pokemon-Klassifizierung. ** ** ** Wenn man die Ergebnisse der acht Chimärenbilder auf diese Weise betrachtet, kann man sehen, dass der Beitrag zur Digimon-Klassifizierung des Teils ** Schwalbenaugen ** höher ist als der des realen Digimon-Popomon-Bereichs (unten links in der Abbildung).

Auf diese Weise wird durch die Kombination von Pokemon und Digimon, die ähnlich als Pokemon klassifiziert sind, ** nicht zu Digimon oder zu Pokemon als mit nur einem Bild und dem Beitragsbereich nach dem Anwenden von GradCAM Es wurde leichter zu sehen. ** ** **

Wo suchte AI? Visualisierung # 2. Filtervisualisierung und Zwischenebenextraktion

Die Visualisierung des Filters ist wie folgt. Die KI scheint zu verarbeiten, indem sie sieht, wie diese Strukturen existieren und im Bild angeordnet sind.

Die Strukturen, die gut auf die obigen Filter reagieren, sind wie folgt.

Der Filter auf der linken Seite reagiert gut auf feine Zacken wie Krallen, Federn und Haare, und der Filter auf der rechten Seite reagiert gut auf runde Strukturen wie Augen.

Es wurde als ** "Pokemon-Klassifizierungsbeitragsfilter" und "Digimon-Klassifizierungsbeitragsfilter" ** definiert, je nachdem, welches von Pokemon und Digimon einfacher zu klassifizieren ist.

Ich habe cnn_layer_visualization.py von Utku Ozbulaks Github verwendet. https://github.com/utkuozbulak/pytorch-cnn-visualizations Visualisiert und extrahiert die Ausgabe der mittleren Schicht für den 512. Filterkanal des 24. Filters des VGG19-Netzes.

Der Weg, um die Ausgabe der mittleren Schicht in Pytorch zu erhalten, ist möglich, indem Sie die Vorwärtsbewegung wie folgt ändern

 def forward(self,x,target = 24):
     results = []
     for i,model in enumerate(self.features):
         x = model(x)
         if i == target:#Holen Sie sich hier die Ausgabe der mittleren Ebene
             results.append(x)
     x = self.net.avgpool(x)
     x = torch.flatten(x)
     for i,model in enumerate(self.classifiers):
         x = model(x)
         if ii == 6: #Holen Sie sich auch die endgültige Ausgabe
             results.append(x)
     return results

Codebeispiel, um den Bereich um den am stärksten auf den Filter ansprechenden Bereich aus der Ausgabe der mittleren Ebene abzurufen

"""
Die 24. Schicht, die ich verwendet habe, hat eine Breite von 28$\times$28 ist das Originalbild 224$\times$Weil es 224 ist
8 pro Zelle$\times$Sie werden für 8 Bereiche verantwortlich sein,
In diesem Code werden 4 zusätzliche Pixel sowohl für die Breite als auch für die Höhe erfasst, um das Verständnis der Bildstruktur zu erleichtern.
"""


#Lesen des Ausgabeergebnisses der mittleren Ebene
temp_df = pd.read_csv(layer_filename)

#Np vom Originalbild.Array-Erstellung
img_array = np.array(img_orig)

#28*Index abrufen, wenn 28 abgeflacht ist
target_index = int(list(temp_df.loc[filter_num].sort_values(ascending=False).index)[0]) 

row = target_index//28
col = target_index%28
row_min = max(0,row*8 - 4)
row_max = min(row*8+12,224)
col_min = max(0,col*8 - 4)
col_max = min(col*8+12,224)


#Wenn der Zielbereich zu weiß ist, erhalten Sie ihn nicht
image_test = img_array[row*8:min(row*8+8,224),col*8:min(col*8+8,224)][:,:,:3]
white_area_per = np.where(image_test.reshape(-1,3)==[255,255,255],True,False)[:,0].sum()\
                        /image_test.reshape(-1,3).shape[0]
if white_area_per < 0.95:

    #Ausgangswert filtern
    attribute_value = temp_df.loc[filter_num,str(target_index)]
    #Standortextraktion
    image_array_part = img_array[row_min:row_max,col_min:col_max]
    #Erstellen Sie ein Bild mit PIL
    image_part = Image.fromarray(image_array_part).resize((64,64))

Nur die Filterbilder, die für das Klassifizierungsergebnis von Bedeutung sind, wurden in den folgenden Github hochgeladen https://github.com/mrok273/Qiita/tree/master/%E3%83%9D%E3%82%B1%E3%83%A2%E3%83%B3/poke_vs_digi/hidden_layer

Pokemon Klassifizierungsbeitragsfilter

Elemente, die hier nicht veröffentlicht werden können, wurden auf den folgenden Github hochgeladen https://github.com/mrok273/Qiita/tree/master/%E3%83%9D%E3%82%B1%E3%83%A2%E3%83%B3/poke_vs_digi/feature

Von den 512 funktionierten 40 Filtertypen signifikant für die Beurteilung von Pokemon. Hier sind einige davon, die leicht zu interpretieren waren. Das Bild links ist eine Visualisierung des VGG-Filters, und das Bild rechts ist die Top 100 der Teile, die auf diesen Filter reagiert haben. (Jede Nummer ist für mein Management) Vertikale Kontur ・

―― 12. Krallen, Flügel usw.

--74 Flügel, Tastempfindung usw.

• 85. Gebogene Struktur
• 214. Malen
• 327. Kontur (Längskurve)

Digimon-Klassifizierungsbeitragsfilter

Es gibt 43 Arten von Filtern, die wesentlich zur Digimon-Klassifizierung beigetragen haben. Ich denke, es gab viele Filter, die einfacher zu interpretieren waren als die Pokemon-Klassifizierungsbeitragsfilter.

―― 11. Sättigung

--91. Runde Augen

• 136 Glanz

• 236. Metallische Farbe

• 160 Dornige Dornen

• 271. Klauen
• 307. Haare

Zusammenfassung der Unterschiede in den Eigenschaften zwischen Pokemon und Digimon

Dorniger Ausdruck von Krallen, Kiba und Haaren

• Digimons Krallen, Kiba und Dornen

• Pokemon Krallen, Kiba und Haardornen

• Pokemon Krallen, Kiba und Haarssplitter, die mit Digimon verwechselt wurden

Grundsätzlich wird der Ausdruck der Dornen von Pokemons Krallen, Kiba und Haaren oft in einem rauen Zickzack ausgedrückt. Auf der anderen Seite zeichnet sich Digimon durch Schärfe, Dichte und dunkle Schatten aus.

Für AI schien das erste goldene und silberne Pokémon einen relativ bescheidenen Ausdruck von Dornen, Kiba und Haaren zu haben. Sicher, schon im ersten Pokémon die Dornen und Bienen von Vögeln mit scharfen Dornen. Pokémon mit feineren Mänteln wurden eher als Digimon eingestuft.

Ausdruck der Augen

• Digimons Augen

• Pokemon Augen

• Pokemon Augen als Digimon missverstanden

** Hervorgehobene Augen haben eine hohe Wahrscheinlichkeit, Digimon-Urteilsvermögen zu essen. ** ** ** ** Es scheint, dass sich die Art und Weise, Augen zu zeichnen, insbesondere seit der 4. Generation geändert hat **, was möglicherweise der Grund dafür ist, dass die Fehlklassifizierungsrate von Pokemon der 4. Generation hoch ist. Auf der anderen Seite werden Augen, die für ein Pokemon-Urteil anfällig sind, oft durch kleine Punkte oder Linien dargestellt.

Die folgende Abbildung zeigt, wie Pokemons Augen gezeichnet werden, was häufig auf reddit als ** "Pokemons Augendesign. Hin und wieder" ** in Übersee angegeben wird. "Das letzte Pokemon ist nicht mehr dreieckig und sieht aus wie Pokemon !!!" </ font> wurde auch im Fragebogen angezeigt. Es scheint, dass die dreieckigen Augen teilweise auch als Merkmal von Pokemon erkannt werden, aber aufgrund der Betrachtung vieler Grad-CAM-Bilder scheinen die runden Augen in Bezug auf KI wie Digimon zu sein, aber die dreieckigen Augen sind so viel von Pokemon. Eindruck, der nicht als Kriterium dient.

Tecateka ist ein Digimon. Der Klumpen ist ein Pokémon.

• Digimons glänzender Ausdruck
  

Digimon hat viel metallische Textur und zeichnet sich durch die Art der Abstufung aus.

--Pokemons schroffer Ausdruck

Andererseits, wahrscheinlich weil Pokemon einen Felsentyp hat, können seine robuste Textur und Struktur leicht als Pokemon beurteilt werden.

Kleines Gesicht wird von Digimon beurteilt

• Kleiner Gesichtsteil von Digimon (nur ein kleiner Teil der großen Anzahl)
  

• Kleiner Gesichtsausdruck von Pokemon als Digimon missverstanden
  

Das kleine Gesicht wurde als Digimon beurteilt, wahrscheinlich weil das Gesicht ein Ort ist, an dem sich Linien und Schatten konzentrieren. Der Eindruck, dass dieser kleine Gesichtsausdruck in den letzten Generationen zunimmt.

Verschiedene Farben

Was die Farben angeht, gab es viele Dinge, die ich nicht verstehen konnte, wenn ich nur auf den Filter schaute. Deshalb habe ich opencv usw. verwendet, um die Farben jedes Bildes zu addieren.

• Die Sättigung ist anders Die folgende Grafik fasst die höchste Sättigung jedes Pokemon & Digimon-Bildes zusammen. Sie können sehen, dass nur Digimon eine deutlich andere Sättigung verwendet.

• Die Farbe ist unterschiedlich gestreut Die folgende Grafik zeigt, wie die im Bild verwendeten Farben gestreut werden. Zur gleichen Zeit, in der die Farben von Digimon dazu neigen, sich zu zerstreuen, ist zu sehen, dass mit jeder Generation viele Farben für Pokemon verwendet werden.

So berechnen Sie, wie Farben gestreut werden: Konvertieren Sie RGB in Lab und gruppieren Sie ähnliche Farben mit DBSCAN. Erstellen Sie einen gewichteten zusammengesetzten Vektor aus dem berechneten ab, der von arctan in Radian umgewandelt wird. Es ist definiert, dass die Farben umso stärker verteilt sind, je größer die Länge des zusammengesetzten Vektors ist, je konzentrierter die Farben sind und je kleiner die Länge ist.

---

Experiment: Lassen wir Graena wie ein Pokémon aussehen!

Dieses Kind ist ein Pokémon, das 1997 von 2000 Mal mit einem Digimon ** verwechselt wurde. Graena.

Für diejenigen, die Graena kennen, ** "Graena sieht aus wie ein Digimon ??? Was sagst du ??? Aceburn ist ein Digimon ???" ** < Sie mögen denken / font>, aber es scheint ein Digimon zu sein, was die KI betrifft, und es wird mehr als viermal so oft mit einem Digimon verwechselt wie Aceburn. ** ** **

Suchbegriff	Anzahl der Treffer	Mit der KI Anzahl der Fehlklassifizierungen	Bild
"Graena Digimon-like"	8 Fälle	1997
"Aceburn Digimon-like"	Über 277,000	445

Ich bat meine Schwiegertochter, 22 Bilder dieses Digimon-ähnlichen Teils von Graena zu erstellen, der nach und nach modifiziert wurde, und ließ ihn 1000-mal von einem zufällig erlernten Klassifikator klassifizieren und messen, welcher Teil zur Pokemon-Ness beitrug. ..

Das im Experiment verwendete Graena-Bild wurde auf den folgenden Github hochgeladen https://github.com/mrok273/Qiita/tree/master/%E3%83%9D%E3%82%B1%E3%83%A2%E3%83%B3/poke_vs_digi/graena_change

** Das Ergebnis ist wie folgt. ** ** **

Änderungen	Bild	Pokémon Zur Einzigartigkeit Beitragssatz	Kommentar
Keine Bearbeitung		----	Überhaupt keine Verarbeitung. Ganz in der Nähe von Digimon
Zusammenfassung der Haarspitze		0.8%	Fast keine Wirkung
Kopf		7.0%	Der Umriss der Haare auf dem Kopf war abgerundet. Im Gegenteil je nach Lernen Es kann wie ein Digimon sein
Zehe		7.0%	Grad-Laut CAM Reagierte eher auf Fingerlinien als auf Krallen Also ausgeschlossen. Obwohl der zu ändernde Bereich klein ist Es wurde wie ein Pokémon
Dreieckige Augen		7.3%	Für das erste Gold- und Silberpokemon Stellte die dreieckigen Augen vor, die angenommen wurden. Für Pokemon-Ness Nicht viel Wirkung
Markieren Vereinfachung		15.5%	Es reagierte nach Digimon Urteil Zackige Highlights entfernt.
Haarspitze geschnitten		23.8%	Die Haarspitzen am Konturteil waren überwiegend gerundet. Stark verbesserte Pokémon-Fähigkeit
Haarspitze Zusammenfassung Runde		65.7%	Ein Zustand, in dem die Haarbündel weiter gesammelt werden. Nicht mehr Pokemon

die meistenDigimonGraena (Urheber)	die meistenPokémonGraena (Haarzusammenfassungskreis+Dreieckige Augen+ Markieren+Zehen)
Pokemon-ness1.3%	Pokemon-ness94.0%

Viele Pokemon-Fans werden denken, dass ** "Dreieckige Augen die beste Pokemon-ähnliche Funktion sind !!" ** </ font>. Es ist jedoch ein triviales Merkmal für ** AI mit einem Beitragssatz von 7,3%. ** ** **

Der Effekt der Zackigkeit des Haares war größer als das, und allein das Zusammenfügen der Haarspitzen trug 65,7% zur Pokemon-Ness bei.

Es scheint, dass die gezackten Ränder der Haare einen großen Einfluss auf die Anerkennung von Graena als Digimon durch die KI hatten. Ich habe die Bilder aller Pokémon überprüft, aber es stimmte, dass kein anderes Pokémon so flauschige Haare hatte. Sie könnten denken: "Es ist eine Lüge! Es muss mehr geben!" Die meisten Pokémon, deren Haare flauschig zu sein scheinen, sind wie im obigen Experiment erwähnt. Ein großes Bündel wird in einem Kreis wie "Haarspitzen-Zusammenfassungskreis" gezeichnet.

Sogar die Haare von Oronge, einem Pokémon, das durch langes Haar gekennzeichnet ist, das aus dem ganzen Körper wächst. Die Haarspitzen werden zu einem abgerundeten Ausdruck zusammengefasst.

---

"Digimon-ness" für Mensch und KI ist eine andere Hypothese

Von den 155 Antworten, die zuvor "Digimon" erwähnten, lauteten 34 in meiner Zählmethode (22 in der Zählmethode von Onkel Takasa Pokemon) "Wann sah es aus wie Digimon" und "○ Generation sieht aus wie Digimon". Es gab einen Hinweis auf. (Da es nur 34 Daten gibt, lesen Sie bitte die Hälfte der Geschichte von hier) </ font> http://pkmnheight.blogspot.com/2020/07/7.html#itu

Laut dem Deep-Learning-Klassifikator war das Pokemon mit einem Digimon-ähnlichen Design eine Generation von ** "4,7,8" **. Andererseits wurde im Fragebogen am häufigsten die Generation ** "5,7,8" ** erwähnt. Was genau bedeutet das? Können sich Menschen und KI schließlich nicht verstehen?

Dieser Unterschied zwischen Menschen und KI wurde in einem früheren Artikel von Onkel Takasa Pokemon angedeutet.

** Pokemon-ness-5_Hitogatari erhöht? ** </ Font> http://pkmnheight.blogspot.com/2020/05/5.html

** Es gibt viele aufrechte Pokémon der 5. Generation **.

	Alle Arten	Aufrechte Nummer	Aufrechte Rate	Zunahme
1 Generation	151	36	23.8%
2 Generationen	100	28	28.0%	117.4%
3 Generationen	135	33	24.4%	87.3%
4. Generation	107	27	25.2%	103.2%
5 Generationen	156	51	32.7%	129.6%
6. Generation	72	20	27.8%	85.0%
7. Generation	86	27	31.4%	113.0%
8 Generationen	89	33	37.1%	118.1%

Der Prozentsatz an aufrechtem Pokemon hat sich gegenüber der vorherigen Generation erhöht. Beim Vergleich der Generationen, die im Fragebogen als "Digimon-ähnlich" erwähnt wurden, mit Ausnahme der 2. Generation, war die Zunahme / Abnahme fast gleich wie "5. Generation ist hoch", "6. Generation ist ruhig" und "7. und 8. Generation sind hoch". Es stimmte überein.

Vielleicht liegt die Digimon-Ähnlichkeit von Pokemon in der menschlichen Wahrnehmung hauptsächlich daran, ob es auf zwei Beinen aufrecht steht oder nicht. Der Grund ist, dass selbst Leute, die mit Digimon nicht vertraut sind, wissen, dass Digimon aufrecht steht, wenn sie sich entwickeln (genauer gesagt, sie sehen aus wie Menschen und Superroboter). (Als ich die Aufrichtrate von Digimon nur für diejenigen überprüfte, deren Name A ist, waren ** 50% von Digimon aufrecht **)

Mit anderen Worten, in dem "jüngsten Pokémon ist wie ein Digimon", das Menschen fühlen

1. ** Digimon </ span> steht auf zwei Beinen, während es sich entwickelt **
2. ** Aktuelles Pokemon </ span> steht auf zwei Beinen **
3. ** Daher sieht das aktuelle Pokemon </ span> wie Digimon </ span> aus **

** Die dreistufige Argumentation kann gelten. ** ** **

---

Zusammenfassung

--Erstelle einen Klassifikator, der alte Pokemon-Bilder aus der ersten Gold- und Silber-Ära und zufällige Digimon-Bilder trainiert und neues Pokemon und das verbleibende Digimon klassifiziert. Dies wurde 2000 Mal wiederholt und die Fehlklassifizierungsrate wurde summiert.

• Infolgedessen hatte "4,7,8 Generation" Pokemon eine hohe Fehlklassifizierungsrate für Digimon. Mit anderen Worten, ** Es kann gesagt werden, dass es so Digimon-ähnlich ist wie das aktuelle Pokemon. ** ** **
• ** Pokémon mit einem komplizierten Design werden eher als Digimon klassifiziert, aber es scheint, dass Sättigung, runde Augen, kleine Gesichter usw. auch das "Digimon-ähnliche" für KI beeinflussen ** Es kann ein kleiner Teil der Funktionen sein, die ich erfassen konnte.
• Durch Kombinieren der Methode, ein Paar Pokemon und Digimon mit derselben "Pokemon-Ähnlichkeit" herzustellen und auf Grad-CAM anzuwenden, und der Methode zum Überprüfen der Ausgabe der Zwischenschicht für jeden Filterkanal, Nägel, Farbe, Augen, Bis zu einem gewissen Grad konnte ich verstehen, dass KI anhand verschiedener Merkmale wie metallischem Glanz klassifiziert wird. ――Tiefes Lernen denkt, dass "Digimon-like" sich von "Digimon-like" unterscheidet, und Menschen fühlen sich im Kontext des aufrechten Bipedal-Gehens möglicherweise eher wie Digimon.

Reflexionen

――Ich wollte die Meinungen von Leuten hören, die mit Digimon vertraut sind. Pokemon lernte durch die Unterscheidung zwischen alt und neu, aber Digimon verstand es bei der Untersuchung überhaupt nicht, so dass es völlig zufällig war. ――Ich habe einige "Bedingungen angesprochen, unter denen Pokemon mit Digimon verwechselt wird", aber nur wenige konnten interpretiert werden. ――Um die Klassifizierung durch KI näher an die menschliche Intuition heranzuführen, müssen Informationen darüber extrahiert werden können, wie aufrecht jedes Bild ist. Für Bilder von lebenden Menschen wurden Technologien wie Posenschätzung und Postererkennung entwickelt. Es war schwierig, dies mit Pokemon in der Abbildung zu tun, geschweige denn mit der Position und Anzahl der Hände, und selbst die Gesichtserkennung war schwierig.

Recommended Posts

Ich habe Deep Learning gefragt, ob das aktuelle Pokemon Digimon ähnelt

Ich habe versucht, tief zu lernen

Generiere Pokemon mit Deep Learning

Ich habe versucht, mit Theano tief zu lernen