[PYTHON] Qiita Job Ich habe versucht, den Job zu analysieren

Inhaltsverzeichnis

--Hintergrund --Datenerfassung

• Ich habe mir die Daten angesehen
• Eindrücke und Zukunftspläne

Hintergrund

Während ich den Job wechselte, wurde ich in den Satz "Herzlichen Glückwunsch zum Jobwechsel für 300.000 Yen" verwickelt und bei Qiita Jobs registriert, aber als ich versuchte, ihn zu verwenden, dachte ich, dass die Funktionen etwas mangelhaft waren.

Ich konnte den Arbeitsort nicht eingrenzen oder die Anzahl der Seiten nicht kennen.

Glücklicherweise habe ich die meisten Informationen, die ich benötige, in der Jobliste, und die Gesamtzahl der Seiten beträgt nur etwa 20 (manuell abgerufen). Deshalb habe ich beschlossen, sie in Python abzurufen.

Daten bekommen

Der allgemeine Fluss ist so.

• Holen Sie sich den Inhalt als HTML mit der URL der Jobliste in Python
• Erstellen Sie eine schöne Suppe mit dem erworbenen HTML, analysieren Sie Tags usw. und schneiden Sie die erforderlichen Teile aus.
• Das ausgeschnittene Teil wird in JSON konvertiert und im Firebase Cloud Firestore gespeichert.
• Speichern Sie es andererseits lokal als CSV-Datei für die Übernahmeanalyse.

Wir haben insgesamt 294 Jobs. (Ist das wahrscheinlich alles?)

Ich habe mir die Daten angesehen

Die Werkzeuge, die ich benutzte, waren Pandas und Tableau.

Zunächst möchte ich sagen, dass der Inhalt von nun an auf der Grundlage des Inhalts des Stellenangebots von Qiita-Stellen erstellt wird, sodass er nicht das Stellenangebot der gesamten IT-Branche widerspiegelt, sondern ** als Referenz **.

Das erste, was mich interessierte, war die Anzahl der Personen, die nach Arbeitsort eingestellt wurden.

Ich sehe, die Anzahl der Stellenangebote in Tokio hat überwältigend gewonnen. Ist es nicht notwendig, den Arbeitsort einzugrenzen? Es scheint jedoch ein wenig unpraktisch für diejenigen, die einen lokalen Job wie U / I Turn suchen.

Als nächstes betrachten wir die Jobtypen nach Jobtyp.

TOP5 war eine Webanwendung, ein anderer Ingenieur, ein Backend, ein Frontend und ein Infrastrukturingenieur. Ich bin der Meinung, dass der Arbeitsaufwand im Zusammenhang mit dem Web stärker nachgefragt wird als die Arbeit bei der Entwicklung von Smartphones.

Um zu sehen, wonach andere Ingenieure suchen, habe ich die Back-End-Ingenieure und Front-End-Ingenieure, die eine ähnliche Anzahl von Jobs haben, mit den Tags anderer Ingenieure verglichen.

Für andere Ingenieure gibt es daher viele technische Tags wie JAVA, C ++, C #, Spiele, Animationen usw., wahrscheinlich eingebettete Systeme, Spieleentwicklung usw.

Übrigens, wenn Sie die Verwendungstechniken aller Jobs zusammenfassen, erhalten Sie die folgende Trefferübersicht.

Lassen Sie uns abschließend das durchschnittliche Jahreseinkommen nach Jobtyp überprüfen. Hierbei ist zu beachten, dass das "durchschnittliche Jahreseinkommen" einfach der Durchschnitt der oberen und unteren Grenzen des Jahreseinkommens ist.

Wenn Sie sich diese Abbildung ansehen, sehen Sie, dass die Gehaltsspanne der Webanwendungsingenieure groß ist.

Sie können auch sehen, dass der Back-End-Ingenieur ein höheres durchschnittliches Jahreseinkommen hat als das Front-End und das Back-End.

Impressionen und Zukunftspläne

Da ich Tableau zum ersten Mal verwende, bin ich möglicherweise nicht daran gewöhnt, Visualisierungsdiagramme zu erstellen, aber ich würde es gerne wieder verwenden, wenn ich die Gelegenheit dazu habe.

Ich bin sicher, Sie können mit den Daten, die Sie von Qiita Jobs erhalten, noch mehr tun. Ich habe heute, aber in Zukunft, nur den Inhalt der Daten durchsucht

1. Ich möchte AWS-Services verwenden, um etwas zu erstellen, das anzeigt, ob neue Jobs in die angegebene Jobkategorie kommen.
2. Dieses Mal habe ich nur die Informationen verwendet, die aus der Liste entnommen werden können, aber ich denke, dass sie auch für maschinelles Lernen verwendet werden können, da in den einzelnen Jobdetails viele weitere Informationen wie wesentliche Fähigkeiten und Arbeitsbedingungen enthalten sind.

Darüber hinaus können Sie diese Zeichnung unter der folgenden URL überprüfen. Tableau Public

Danke, dass du bis zum Ende zugesehen hast.