[PYTHON] Onkel SE mit verhärtetem Gehirn versuchte, maschinelles Lernen zu studieren

[Einführung]

Dieser Artikel ist der 19. Tag von "Wie haben Sie maschinelles Lernen von Nikkei xTECH Business AI② Adventskalender 2019 gelernt".

Ich werde darüber schreiben, wie ich als Onkel SE maschinelles Lernen studiert habe. Der Auslöser begann mit der Frage "Kann ich maschinelles Lernen verwenden?" In der Klassifizierungsaufgabe, die ich zu diesem Zeitpunkt hatte. Ehrlich gesagt ist mein Gedächtnis mehrdeutig, weil ich in den dunklen Wolken war.

Werdegang

Die Programmgeschichte beträgt fast 30 Jahre. Beginnend mit MS BASIC, das ich in der Grundschule gelernt habe, habe ich Z80 Assembler, MC68000 Assembler, FORTRAN, C (UNIX), C ++ (Mac), VB, Java (Android), VB.NET und C # berührt. Ich bin mit verschiedenen Sprachen in Kontakt gekommen, aber keine davon war so eng.

In Bezug auf maschinelles Lernen beschäftigte ich mich vor mehr als 20 Jahren am Ende des sogenannten zweiten KI-Booms mit neuronalen Netzen unter dem Thema meiner Abschlussarbeit. Der logische Teil wurde jedoch von einer anderen Person übernommen, und ich war für die Implementierung verantwortlich, sodass ich nicht sicher war, was es war. Wenn ich jetzt darüber nachdenke, hätte ich zu diesem Zeitpunkt härter lernen sollen, aber es ist ein späteres Festival. Übrigens gab es zu dieser Zeit keine Bibliothek für maschinelles Lernen, deshalb habe ich sie in C-Sprache implementiert.

[Studie von Python - Winter 2017]

Bevor ich maschinelles Lernen studierte, lernte ich Python alleine. Ich entschied mich für Raspberry Pi für die Heimüberwachung und verwendete Pyhton für die Implementierung. Ich kannte die Details jedoch nicht in dem Maße, in dem sie kopiert und geändert werden konnten. Zu dieser Zeit wurde auf die folgenden Bücher verwiesen.

[Mit dem neuesten Raspberry Pi gelernte farbig illustrierte elektronische Arbeit] -Amazon Japan

Raspberry Pi war standardmäßig für die Verwendung von Python aktiviert, daher war es ein guter Anfang für mich, der ich nicht einmal den P-Charakter von Python kannte. Es ist jedoch nicht realistisch, einen Raspberry Pi nur für Python zu kaufen. Daher empfehle ich jetzt eine Online-Lernseite. Um mich herum waren "Paiza Learning" und "Progate" kostenlos beliebt. ..

["Was ist maschinelles Lernen?" Zuerst kaufte ich ein Buch - Frühling-Herbst 2017]

Alles begann, als ich das Gefühl hatte, dass die regelbasierte Implementierung der Klassifizierungsprobleme, die ich zu dieser Zeit hatte, begrenzt war. Ich hatte die Illusion, dass KI etwas dagegen tun könnte, aber als ich es nicht in den Griff bekam, lernte ich, dass maschinelles Lernen mithilfe der Python-Bibliothek scicit-learn implementiert werden kann. Also kaufte ich die folgenden Bücher, die zu dieser Zeit neu veröffentlicht wurden.

[Maschinelles Lernen beginnend mit Python-Grundlagen des Feature Quantity Engineering und maschinelles Lernen mit Scikit-Learn] -Amazon Japan

Ich habe es einfach gekauft, weil es die Charaktere "Python" "Scikit-Learn" "Machine Learning" enthielt und weil es ein O'Reilly-Buch war, dem ich seit einiger Zeit verpflichtet bin. Um ehrlich zu sein, konnte ich in Chimpung Kampung nur einen Teil der Kapitel 1 und 2 lesen. Was ich in diesem Prozess gelernt habe, ist wie folgt.

[Kapitel 1 Einleitung] ・ Python-Syntax ・ Vorhandensein verschiedener Bibliotheken (Scikit-Learn, NumPy, Pandas, Matplotlib) ・ Iris-Datensatz

[Kapitel 2 Lernen mit einem Lehrer] ・ K Nachbarschaftsmethode ・ SVM

Ausgabe 1-Anwendung an Unternehmen

Ich glaube, ich habe zu diesem Zeitpunkt 10% des Inhalts des Buches nicht verstanden. Trotzdem habe ich es tatsächlich implementiert, um zu sehen, ob es für die Probleme verwendet werden kann, die ich zu dieser Zeit hatte. Der Inhalt war eine mehrwertige Klassifizierung von Daten mit vielen Parametern. Zu dieser Zeit wurde es auf Regelbasis implementiert, aber ich litt unter mangelnder Genauigkeit. Ich war in der Lage, die Daten empirisch zu visualisieren und aus der Vogelperspektive zu betrachten, aber ich konnte kaum Regelmäßigkeit in den Daten wie Rauschen finden, und ich hatte das Gefühl, dass es unmöglich war, die Genauigkeit auf Regelbasis weiter zu verbessern. Es war.

Die obige Abbildung ist ein Bild der Daten, die zu diesem Zeitpunkt analysiert werden. Es war ein mehrwertiges Klassifizierungsproblem mit Dutzenden solcher Daten. Heutzutage besteht kein Zweifel daran, dass wir dies mit maschinellem Lernen tun werden, aber zu diesem Zeitpunkt kamen die Mitarbeiter des Unternehmens, einschließlich meiner selbst, überhaupt nicht auf diese Idee und versuchten verzweifelt, sie auf Regelbasis umzusetzen.

Als ich diese Daten in SVM und die k-Nachbarschaftsmethode eintauchte, wurden sie irgendwie klassifiziert. Insbesondere wenn die Hyperparameter durch die k-nahe-Methode gerundet wurden, wurde eine gewisse Genauigkeit beobachtet, obwohl die Genauigkeit geringfügig niedriger war als die der regelbasierten Methode. Obwohl ich auf Regelbasis Probleme hatte, hatte ich das Gefühl, dass ein Modell, das mit angemessener Genauigkeit klassifiziert werden konnte, innerhalb weniger Minuten nach Eingabe der Daten fertiggestellt wurde.

Zu diesem Zeitpunkt wusste ich jedoch nicht, wie ich die Genauigkeit verbessern sollte, und ich entschied, dass ich nicht mehr Zeit verbringen konnte, sodass ich eine Reaktion verspürte, aber die Einführung des maschinellen Lernens wurde verschoben.

Was du gelernt hast

Sie können jetzt Python-Code lesen / schreiben --Datenvisualisierung mit Pandas und Matplotlib
Eine Reihe von Abläufen von "Datenaufbereitung> Modelldefinition> Anpassung (Lernen)> Vorhersagen (Inferenz)" (dieser Ablauf ist der gleiche, auch wenn sich das Modell ändert) ――Wenn Sie die Plattform zum ersten Mal berühren, versuchen Sie vorerst, die Iris zu klassifizieren »Haben Sie keine Angst vor dem Ergebnis und versuchen Sie es trotzdem

Übrigens, am Ende dieses Versuchs wurde ich lange Zeit ins Krankenhaus eingeliefert und las das O'Reilly-Buch im Krankenzimmer noch einmal. Ich konnte mehr lesen als beim letzten Mal, aber ich konnte mich nicht an viel erinnern, weil ich nicht codieren konnte, weil ich meinen PC nicht ins Krankenzimmer bringen konnte. Immerhin wurde mir klar, dass ich es nur tragen konnte, wenn ich meine Hände bewegte.

[Herausforderung zum tiefen Lernen-Frühling-Sommer 2018]

Ich war seit dem obigen Versuch ungefähr ein halbes Jahr vom maschinellen Lernen entfernt, aber ich fühlte eine Reaktion auf maschinelles Lernen, also beschloss ich, tiefes Lernen zu versuchen. Zu dieser Zeit habe ich ein TensorFlow-Tutorial gemacht.

【TensorFlow 2 quickstart for beginners】 - Tensorflow

Der Inhalt des Tutorials war ein MNIST-Klassifizierungsproblem (handschriftliche Nummer), aber zu diesem Zeitpunkt konnte ich es nicht lesen, indem ich direkt auf die TensorFlow-API drückte. Obwohl ich es nicht lesen konnte, gelang es mir, die Klassifizierung von Iris zu implementieren, aber ich war frustriert, weil ich keine Genauigkeit erhalten konnte.

Danach lernte ich die Existenz von Keras kennen und lernte, wie man Bilder klassifiziert, indem man sie mithilfe eines sequentiellen Modells auf CNN anwendet, während man sich ein Beispielprogramm ansieht.

【keras-team/keras/examples】- Github 【keras-team/keras/examples/mnist_cnn】- Github

Derzeit verwendet das TensorFlow-Tutorial Keras (tf.keras), daher denke ich, dass dies viel einfacher ist.

Darüber hinaus enthält der folgende Hinweis [^ 1] eine Zusammenfassung des Know-hows, das die Verwendung von maschinellem Lernen und TensorFlow auf Raspberry Pi- und Windows-Terminals zu diesem Zeitpunkt ermöglichte.

Lernen Sie Google Colaboratory kennen

Das größte, was ich über Deep Learning gelernt habe, war das Lernen über die Existenz von Google Colaboratory (im Folgenden Google Colab). Wenn Sie GoogleColab verwenden, können Sie TensorFlow und Keras nur durch Starten verwenden und mit GPU kostenlos mit hoher Geschwindigkeit lernen, sodass die Zeitressourcen sofort reduziert wurden.

【Google Colaboratory】

Dies ist ein Durchbruch, und ich denke, mein Studium des maschinellen Lernens wäre ohne ** Google Colab ** nicht vorangekommen. Das TensorFlow-Tutorial führt mich jetzt auch zu Google Colab, einem sehr nützlichen Tool. Sobald Sie ein Google-Konto erstellt haben, können Sie es kostenlos verwenden. Wenn Sie also Bedenken haben, eine Umgebung aufzubauen oder die Verarbeitungsgeschwindigkeit zu verringern, verwenden Sie es bitte.

Ausgabe # 2-Prototyp Bildklassifizierungs-App

In dieser Zeit habe ich wiederholt versucht, die Genauigkeit von MNIST in Google Colab zu verbessern. Wenn Sie jetzt darüber nachdenken, können Sie MNIST (Digit Recognizer) sogar innerhalb von Kaggle herausfordern. Ich wünschte, ich wäre früher zu Kaggle gekommen. Überlegen.

Mit der in dieser Herausforderung erworbenen Technologie habe ich ein Bildklassifizierungsmodell implementiert, das für Unternehmen verwendet werden kann, WebAPI (Flask) in Python implementiert und eine einfache Anwendung erstellt, die das Ergebnis zurückgibt, wenn ein Bild geworfen wird. Ich denke, die Genauigkeit lag bei 97,5%. Die folgende Abbildung zeigt ein PoC-Bild, das vor der Erstellung des Prototyps erstellt wurde.

Als ich es intern überprüfte, wurde es als "In 25 von 1000 Fällen liegt kein Fehler vor" abgelehnt. Zu dieser Zeit war die KI-Kompetenz, einschließlich meiner selbst, gering, so dass ich mit nichts streiten konnte ...

Zu diesem Zeitpunkt habe ich auch ein Projekt durchgeführt, das in Python implementiert werden soll. Obwohl es nicht direkt mit maschinellem Lernen zusammenhängt, habe ich hier viel über die Verwendung von Pandas gelernt, da es sich um ein Projekt handelt, das eine große Datenmenge in DB- und CSV-Dateien verarbeitet.

Was du gelernt hast

Wie man Github benutzt
CNN-Implementierung durch Keras
Data Augmentation
So verwenden Sie Google Colab
Beherrschen von Python-Fähigkeiten

[Herausforderung zum G-Test-Winter 2019]

Ausgabe Teil 3 - Abhalten einer internen Lernsitzung

Als ich erfuhr, was CNN ist, wurde ich Dozent und hielt eine interne Lernsitzung über maschinelles Lernen und tiefes Lernen ab. Dies war auch ein großer Wendepunkt. Als sich das Wissen über maschinelles Lernen im Unternehmen in gewissem Maße verbreitete, gab es eine Bewegung zur Förderung des maschinellen Lernens in der gesamten Sektion. Dies führte zu den folgenden Aktionen.

Ausgabe 4 - Erwerb der G-Zertifizierung

Ich beschloss, den G-Test mit den teilnehmenden Mitgliedern der oben genannten Studiensitzung herauszufordern. Die zu diesem Zeitpunkt verwendeten Bücher lauten wie folgt.

[Deep Learning Lehrbuch Deep Learning G Test (Generalist) Offizieller Text] [AI White Paper 2019]

Gleichzeitig mussten mehrere Mitarbeiter die G-Zertifizierung erhalten, was die interne KI-Kompetenz verbesserte. Dank dessen habe ich mehr Möglichkeiten, intern über maschinelles Lernen zu sprechen, mit dem ich vorher mit niemandem sprechen konnte, und ich selbst habe meinen Stress erheblich abgebaut.

Um ehrlich zu sein, glaube ich nicht, dass der G-Test in der Praxis angewendet werden kann, aber ich denke, dass es für Mitarbeiter sehr nützlich war, mit allgemeinen Begriffen sprechen zu können. Schließlich konnte ich es nicht alleine schaffen und ich hatte das Gefühl, dass ich Freunde rekrutieren und hart arbeiten musste.

Was du gelernt hast

Erkennen der Bedeutung der Ausgabe
Maschinenlernen, Begriffe im Zusammenhang mit KI
Verbesserung der internen KI-Kenntnisse
Freunde mit dem gleichen Zweck (im Haus)

[Teilnahme am praktischen Seminar]

Nachdem ich den G-Test bestanden hatte, nahm ich an verschiedenen kostenlosen praktischen Seminaren teil, die von Google und Microsft veranstaltet wurden. Ich habe auf verschiedene Arten teilgenommen, aber es hatte damals nicht so viel Einfluss auf mich. Das Seminar für Anfänger war möglicherweise unbefriedigend.

Teilnahme an Langzeitseminaren - Frühling-Herbst 2019

In der Zwischenzeit hatte ich die Möglichkeit, ein halbes Jahr lang an einem Langzeitseminar teilzunehmen. Zu diesem Zeitpunkt wurde das folgende Video als Vorlernvideo bereitgestellt.

[[Kikagaku-Stil] Künstliche Intelligenz / maschinelles Lernen De-Black-Box-Kurs-Anfänger -] - Udemy [[Kikagaku-Stil] De-Black-Box-Kurs für künstliche Intelligenz / maschinelles Lernen - Mittelstufe -] - Udemy

Durch das Ansehen dieses Videos konnte ich tiefer in das maschinelle Lernen eintauchen, das ich auf eine Weise verwendet hatte, die ich irgendwie verstanden hatte.

Ich werde das Langzeitseminar hier weglassen, weil es ein kurzfristiges Miso sein wird, aber es war eine schwierige Erfahrung, ein halbes Jahr lang hart mit anderen Studenten zu arbeiten, ebenso wie der Inhalt des Seminars.

Ausgabe Nr. 5-Mentaling für Studenten

Während der Teilnahme als Student an dem oben genannten Seminar haben wir den Ausbildern Fachwissen und technische Unterstützung zur Verfügung gestellt. Da die zweite Hälfte des Seminars hauptsächlich für die praktische Ausbildung bestimmt war, nahm ich als Mentor statt als Student teil. Ich frage mich, ob ich es bei meiner ersten Gelegenheit gut geschafft habe, aber ich denke, es war ein sehr guter Ort zum Selbstlernen.

Was du gelernt hast

Mathematischer Mechanismus des maschinellen Lernens und des tiefen Lernens
Vertrautheit mit der Datenvorverarbeitung
Einstellung der Hyperparameter
Generationsmodell
Function API
Freunde mit dem gleichen Zweck (außerhalb)

【von jetzt an】

Ausgabe Nr. 6 - Bildung von Gemeinschaften wie Mokumokukai

Derzeit halten wir ein maschinelles Lernsystem "Mokumokukai". Ursprünglich war es für den internen Gebrauch gedacht, aber wir unterstützen diejenigen, die neues maschinelles Lernen ausprobieren, und machen es zu einem Ort, an dem sich Teilnehmer und Absolventen des Seminars versammeln können. Ich bin auch an "DEEP LEARNING LAB" beteiligt, daher werde ich auch aktiv daran beteiligt sein.

Selbst auf kleinem Raum möchte ich eine Community bilden, in der sich Menschen durch maschinelles Lernen und KI verbinden und die Anzahl der Menschen reduzieren können, die sich Sorgen machen und alleine aufgeben.

[Zusammenfassung]

Bewegen wir trotzdem unsere Hände

Ich habe viel geschrieben, aber ich kann definitiv etwas sagen. Dies bedeutet, dass sich ** am meisten dehnt, wenn Sie Ihre Hände bewegen **. Selbst wenn Sie ein Buch oder einen Artikel im Web lesen und es herausfinden, werden Sie stolpern, wenn Sie tatsächlich versuchen, es zu verschieben. Sie können es tief verstehen, wenn Sie tatsächlich das bewegen, was geschrieben steht. Wenn möglich, ist es am besten, es selbst zu denken und zu implementieren, anstatt den Code zu kopieren. Die meiste Zeit bin ich auf die Implementierung gestoßen. Ich denke, Sie werden erfahren, dass Sie während der Implementierung verschiedenen Herausforderungen begegnet sind und diese gemeistert haben.

Initiativen für Datensätze

Selbst wenn Sie versuchen, vorhandene Datensätze wie Ayame und MNIST zu verwenden, ist der erwartete Wert der Verbesserung der Fähigkeiten gering. Es ist gut, die berühmten Titanic-Datensätze als Tutorial auszuprobieren, aber ehrlich gesagt motivieren mich diese Datensätze nicht, sodass ich nicht wirklich daran arbeiten kann. Wenn ich versuche, Daten zu verwalten, die sich auf das beziehen, was ich tun möchte, wie z. B. tatsächliche geschäftliche Probleme, stoße ich auf verschiedene Probleme und ergreife Maßnahmen, um sie zu lösen, die ich als Fähigkeit erwerbe.

Auch wenn Sie keine direkte Verbindung zu Ihrem Unternehmen haben, können Sie auf Kaggle einen Datensatz finden, der Sie interessiert, und daran arbeiten. Es spielt keine Rolle, ob Sie an Datensätzen oder Preisen interessiert sind, aber wenn es keine motivierende Aufgabe ist, werden Sie schnell Kompromisse eingehen, wenn Sie auf Probleme stoßen. Im Fall von Kaggle ist das Ergebnis direkt mit dem Rang verknüpft, sodass das Ergebnis leicht zu verstehen ist. Es wird empfohlen, da Sie es mit Ihrer eigenen Methode vergleichen können, während Sie den Code der hochrangigen Person betrachten.

Finde jemanden zum Reden

Der schwierigste Teil der Arbeit an dem unbekannten Bereich des maschinellen Lernens war, dass ich niemanden hatte, mit dem ich sprechen konnte. Es ist mental nicht gut, weil es aufhört, wenn man stecken bleibt und es nicht gut ist, alleine zu arbeiten. Viele der Leute, die ich auf dem Seminar getroffen habe, haben auch verschiedene Konsultationen erhalten, weil ** niemand in der Firma sprechen konnte **. Wir werden Sie zur Lösung führen, während Sie die Geschichte anhören, aber diejenigen, die sie lösen, während sie miteinander diskutieren, diejenigen, die sie selbst lösen, während sie sprechen, bringen Kollegen zum "Mokumokukai" und erhöhen die Anzahl der Freunde im Unternehmen und lösen sie gemeinsam Es gab verschiedene Leute, wie diejenigen, die es taten. In jedem Fall bringt Sie das Gespräch mit anderen dazu, dem Problem näher zu kommen. Sprechen ist auch eine Art Ausgabe, daher denke ich, dass es sehr wichtig ist, zu sprechen, um Ihren Geist zu organisieren. Idealerweise sollten Sie jemanden finden, mit dem Sie im wirklichen Leben sprechen können, nicht nur intern, sondern auch bei Veranstaltungen wie Seminaren und Mokumoku-Kai. Auch wenn dies nicht der Fall ist, denke ich, dass es möglich ist, online zu kommunizieren, beispielsweise im Kaggle-Forum.

【abschließend"

Japan ist noch unreif, wenn es um maschinelles Lernen und KI geht. Die meisten Informationen sind auf Englisch und es gibt viele Szenen, in denen Sie gegen eine Wand stoßen, ohne die gesuchten Informationen zu finden. Hören wir in einem solchen Fall auf, uns allein Sorgen zu machen. Es spielt keine Rolle, ob Sie ein Chef oder ein Kollege sind, also lassen Sie uns andere einbeziehen. Wenn Sie nicht in der Nähe sind, schauen Sie weiter nach außen. Es gibt viele Menschen auf der Welt, die ähnlich besorgt sind. Heutzutage kann man in der Internetgesellschaft leicht Menschen in der gleichen Situation finden. Ich werde weiter lernen, damit ich dir helfen kann, also lass uns gemeinsam unser Bestes geben.

[^ 1]: [So führen Sie Python unter Windows aus, ohne die Umgebung so stark wie möglich zu verschmutzen (einbettbare Python-Version)] - Qiita
[Unter Windows So führen Sie Python aus, ohne die Umgebung so stark wie möglich zu verschmutzen (WSL verwendet nur Windows10, Version 1607 oder höher)] - Qiita
[[GPU mit TensorFlow für Windows] Verwenden (CUDA installieren)] - Qiita](https://qiita.com/rhene/items/31bf4713b9dbda28bcc1)
[[Erstellen von Raspberry Pi für Python und maschinelles Lernen] -Qiita](https: // qiita) .com / rhene / items / 71b92c253d5ac2a4cc52)
[Erstellen einer RaspberryPi-Studie für Python und maschinelles Lernen (RaspberryPi4 & Buster-Version) -Qiita]