[PYTHON] Informationen zum maschinell erlernten Meeting für HRTech

TL; DR

Wir werden ein Lernmodell erstellen, um so etwas unter Verwendung von Konferenzdaten zu erstellen.

Der gesamte Artikel ist hier.

1. Prämisse

• Hier lesen
• Darüber hinaus müssen die folgenden Daten vorbereitet werden
• Meeting-Daten, die morphologisch analysiert wurden
  • filterred_mecabdata.pkl
• Detaillierte Mitgliederdaten
  • memberdict.pkl
• Diese Datei wird in diesem Artikel jedoch nicht verwendet

Das Folgende sind Sitzungsdaten, die auf dem Protokoll des Parlaments basieren.

2. Maschinelles Lernen

Berechnen Sie die Sätze, die für jedes Mitglied charakteristisch sind, und den Grad der Ähnlichkeit zwischen jedem Mitglied. Lassen Sie uns darüber nachdenken, was die Sätze ähnlich macht, aber hier werden wir den Ähnlichkeitsgrad mit den folgenden zwei Methoden bewerten.

• Verwendung des TF-IDF-Scores
• Verwendung von doc2vec

Hey du da! Sie dachten ** TF-IDF ist kein maschinelles Lernen **! !!

Ja, das ist richtig. Aber die Leute auf der Straße kennen den Unterschied nicht. Wenn das Ergebnis gut aussieht, werden Sie es nicht bemerken. Damit

"AI hat hart gearbeitet! (Smiley)"

Das heißt, es sollte fast kein Problem geben. Es gibt so viele Bilder von KI wie Menschen (Kiri!

2.1 Berechnung der Ähnlichkeit zwischen Personen, die TF-IDF verwenden

Siehe hier. Wenn Sie die Chan-Scipy-Bibliothek verwenden, können auch spärliche Matrizen, die zum Wachsen neigen, stressfrei verarbeitet werden.

2.2 Berechnung der Ähnlichkeit zwischen Personen mit doc2vec

Siehe hier. Mit dem Gensim-Paket ist es einfach zu lernen.

3. Netzwerkanalyse

Siehe hier.

Erstellen Sie ein Netzwerkdiagramm und verwenden Sie eine Technik namens Louvain-Methode, um Personen mit ähnlichen Bemerkungen aus dem Netowrk-Diagramm zu gruppieren.

Wenn Sie es visualisieren, erhalten Sie das folgende Ergebnis.

Wenn dieses Netowrk-Diagramm in Json geschrieben ist, lauten die spezifischen Inhalte wie folgt.

{
  "directed": false,
  "multigraph": false,
  "graph": {},
  "nodes": [
    {
      "size": 3,
      "cluster": 1,
      "id": "Tomomi Inada"
    },
    {
      "size": 54,
      "cluster": 3,
      "id": "Taro Aso"
    },
    {
      "size": 142,
      "cluster": 0,
      "id": "Hironari Seko"
    },
    {
      "size": 39,
      "cluster": 4,
      "id": "Yasuhisa Shiozaki"
    },
    {
      "size": 30,
      "cluster": 1,
      "id": "Sanae Takaichi"
    },
    {
      "size": 95,
      "cluster": 1,
      "id": "Shinzo Abe"
    }
  ],
  "links": [
    {
      "weight": 0.5984722375869751,
      "source": "Tomomi Inada",
      "target": "Hironari Seko"
    },
    {
      "weight": 0.9666371941566467,
      "source": "Tomomi Inada",
      "target": "Shinzo Abe"
    },
    {
      "weight": 0.48173508048057556,
      "source": "Tomomi Inada",
      "target": "Yasuhisa Shiozaki"
    },
    {
      "weight": 0.4896692633628845,
      "source": "Tomomi Inada",
      "target": "Sanae Takaichi"
    },
    {
      "weight": 0.7263149619102478,
      "source": "Taro Aso",
      "target": "Hironari Seko"
    },
    {
      "weight": 0.6178034543991089,
      "source": "Taro Aso",
      "target": "Shinzo Abe"
    },
    {
      "weight": 0.46518972516059875,
      "source": "Taro Aso",
      "target": "Yasuhisa Shiozaki"
    },
    {
      "weight": 0.8961162567138672,
      "source": "Hironari Seko",
      "target": "Yasuhisa Shiozaki"
    },
    {
      "weight": 1.2007122039794922,
      "source": "Hironari Seko",
      "target": "Shinzo Abe"
    },
    {
      "weight": 0.945235550403595,
      "source": "Hironari Seko",
      "target": "Sanae Takaichi"
    },
    {
      "weight": 0.9955565333366394,
      "source": "Yasuhisa Shiozaki",
      "target": "Shinzo Abe"
    },
    {
      "weight": 0.9067516922950745,
      "source": "Yasuhisa Shiozaki",
      "target": "Sanae Takaichi"
    },
    {
      "weight": 1.053189754486084,
      "source": "Sanae Takaichi",
      "target": "Shinzo Abe"
    }
  ]
}