[PYTHON] Informations sur les réunions d'apprentissage automatique pour HRTech

TL; DR

Nous allons créer un modèle d'apprentissage pour créer quelque chose comme ça en utilisant les données de la conférence.

L'article entier est ici.

1. Prémisse

• Lire ici
• En plus de cela, les données suivantes doivent être préparées
• Données de réunion qui ont été analysées morphologiquement
  • filterred_mecabdata.pkl
• Données détaillées des membres
  • memberdict.pkl
• Cependant, ce fichier n'est pas utilisé dans cet article

Voici les données des réunions basées sur les procès-verbaux du parlement.

2. Apprentissage automatique

Calculez les phrases caractéristiques de chaque membre et le degré de similitude entre chaque membre. En supposant que vous devriez considérer ce qui détermine que les phrases sont similaires, nous évaluerons ici le degré de similitude par les deux méthodes suivantes.

• Comment utiliser le score TF-IDF
• Comment utiliser doc2vec

Hé là toi! Vous pensiez que ** TF-IDF n'est pas du machine learning **! !!

Oui c'est vrai. Mais les gens dans la rue ne connaissent pas la différence, donc si le résultat semble bon, vous ne le remarquerez pas. Alors

"L'IA a travaillé dur! (Smiley)"

Cela dit, il ne devrait y avoir pratiquement aucun problème. Il y a autant d'images d'IA que de personnes (Kiri!

2.1 Calcul de la similitude entre les personnes utilisant TF-IDF

Voir ici. Si vous utilisez la bibliothèque chan scipy, même les matrices clairsemées qui ont tendance à grossir peuvent être traitées à une vitesse sans stress.

2.2 Calcul de la similitude entre les personnes avec doc2vec

Voir ici. C'est facile à apprendre avec le package gensim.

3. Analyse du réseau

Veuillez voir ici.

Créez un graphe de réseau et utilisez une technique appelée la méthode louvain pour regrouper les personnes avec des remarques similaires du graphe Netowrk.

Si vous le visualisez, vous obtiendrez le résultat suivant.

Lorsque ce graphique Netowrk est écrit en Json, le contenu spécifique est le suivant.

{
  "directed": false,
  "multigraph": false,
  "graph": {},
  "nodes": [
    {
      "size": 3,
      "cluster": 1,
      "id": "Tomomi Inada"
    },
    {
      "size": 54,
      "cluster": 3,
      "id": "Taro Aso"
    },
    {
      "size": 142,
      "cluster": 0,
      "id": "Hironari Seko"
    },
    {
      "size": 39,
      "cluster": 4,
      "id": "Yasuhisa Shiozaki"
    },
    {
      "size": 30,
      "cluster": 1,
      "id": "Sanae Takaichi"
    },
    {
      "size": 95,
      "cluster": 1,
      "id": "Shinzo Abe"
    }
  ],
  "links": [
    {
      "weight": 0.5984722375869751,
      "source": "Tomomi Inada",
      "target": "Hironari Seko"
    },
    {
      "weight": 0.9666371941566467,
      "source": "Tomomi Inada",
      "target": "Shinzo Abe"
    },
    {
      "weight": 0.48173508048057556,
      "source": "Tomomi Inada",
      "target": "Yasuhisa Shiozaki"
    },
    {
      "weight": 0.4896692633628845,
      "source": "Tomomi Inada",
      "target": "Sanae Takaichi"
    },
    {
      "weight": 0.7263149619102478,
      "source": "Taro Aso",
      "target": "Hironari Seko"
    },
    {
      "weight": 0.6178034543991089,
      "source": "Taro Aso",
      "target": "Shinzo Abe"
    },
    {
      "weight": 0.46518972516059875,
      "source": "Taro Aso",
      "target": "Yasuhisa Shiozaki"
    },
    {
      "weight": 0.8961162567138672,
      "source": "Hironari Seko",
      "target": "Yasuhisa Shiozaki"
    },
    {
      "weight": 1.2007122039794922,
      "source": "Hironari Seko",
      "target": "Shinzo Abe"
    },
    {
      "weight": 0.945235550403595,
      "source": "Hironari Seko",
      "target": "Sanae Takaichi"
    },
    {
      "weight": 0.9955565333366394,
      "source": "Yasuhisa Shiozaki",
      "target": "Shinzo Abe"
    },
    {
      "weight": 0.9067516922950745,
      "source": "Yasuhisa Shiozaki",
      "target": "Sanae Takaichi"
    },
    {
      "weight": 1.053189754486084,
      "source": "Sanae Takaichi",
      "target": "Shinzo Abe"
    }
  ]
}