Ich suchte nach den Fähigkeiten, die erforderlich sind, um Webingenieur bei Python zu werden

Einführung

Ich habe mit Python eine Jobwechsel-Site durchsucht und kurz "notwendige Fähigkeiten" untersucht. Da ich Ingenieur werden möchte, habe ich mich gefragt, welche Anforderungen tatsächlich auf der Website für Jobwechsel gestellt werden.

Ideen und Implementierungen Ich habe gelernt, wie man ein Web Director für unerfahrene Personen wird. Ich habe den Artikel von , den ich datengesteuert betrachtet habe, als Referenz genommen.

Bitte weisen Sie auf Fehler und kleine Fehler hin!

Erforderlicher Skill-Abschluss

Für diejenigen, die nur die Ergebnisse sehen wollen

--Verbreitet

• Teamentwicklung und Kommunikationsfähigkeiten

• Git / GitHub

• Vorderes Ende --html / css / javascript ist erforderlich ――Es wäre schön, wenn Sie entweder vue oder React, dann Angular machen könnten

• Kenntnisse der Designfähigkeiten UI / UX

• Serverseitige Sprachen wie PHP, Ruby und Java

• Kenntnisse im Umgang mit Photoshop / Illustrator

• webpack

• etc……

--Serverseite

• Sprachen wie Ruby, PHP, Python, C (C #?), Java lernen
• Wolkenwissen wie AWS / GCP
• Gesamtwissen über die Serverinfrastruktur --Web-Anwendungsframeworks wie Rails, Laravel, Django
• Gesamtdatenbank
• Allgemeines Netzwerk
• Front-End-Sprache
• Docker Container
• CI/CD
• etc……

Es macht mir nichts aus, von der Mitte aus chaotisch zu werden.

Ist es das erwartete Ergebnis?

Dann zum Inhalt.

Umwelt & Bauordnung

--Umgebung

• MacOS Mojave 10.14.6

• Python3.8.1

• Umgebung

• Installieren Sie Homebrew (von Anfang an enthalten)

• MySQL-Installation (von Anfang an enthalten)

• Installieren Sie Pyenv mit Homebrew

• Installieren Sie Python mit Pyenv --Erstellen Sie mit venv eine Python-Umgebung unter dem Verzeichnis

• Installieren Sie Bibliotheken wie bs4, MeCab, Jupyter Notebook, Pandas

--Referenz

• Erstellen einer Python-Umgebung auf einem Mac

• venv: Python Virtual Environment Management

• Seit ich Scraping studiert habe, habe ich gelernt, wie man durch datengesteuertes Lernen ein WEB-Direktor wird Ich habe darüber nachgedacht

Sammeln von Informationen von Websites für Jobwechsel

Scraping → Die Implementierung der morphologischen Analyse erfolgt im Allgemeinen wie in Referenzartikel gezeigt und wird daher weggelassen. Der Ablauf besteht darin, die Job-URL für jeden Job abzurufen → die URL zu öffnen und den erforderlichen Skill-Teil abzurufen → die Häufigkeit für jedes Substantiv durch morphologische Analyse zu berechnen. Scraping mit Python und Beautiful Soup und <a href = "https: / /www.crummy.com/software/BeautifulSoup/bs4/doc/ "rel =" nofollow noopener "target =" _ blank "> Offizielles Dokument wurde ebenfalls erwähnt.

Besonders kratzen ・ Schlafen Sie, bevor Sie die Seite öffnen ・ Überprüfen Sie das Verbot, indem Sie sich robots.txt ansehen Seien wir vorsichtig.

Die Anzahl der erworbenen Jobs beträgt Frontend: 208 Fälle Serverseite: 181 Fälle Spiele: 175 war

Analyse

Klicken Sie hier, um den für die Analyse verwendeten Code anzuzeigen.

analysis_job_search.py

import MeCab
import pandas as pd
import numpy as np
import mysql.connector as mydb
import pandas.io.sql as psql
import collections

pd.set_option('display.max_rows', 500)

#Methode zum Extrahieren der Nomenklatur aus dem Text
def devide_by_mecab(text):
    tagger = MeCab.Tagger("-Ochasen")
    node = tagger.parseToNode(text)
    word_list = []
    while node:
        pos = node.feature.split(",")[0]
        if pos in ["Substantiv"]:
            word = node.surface
            word_list.append(word)
        node = node.next
    return "  ".join(word_list)

#Stellen Sie hier eine Verbindung zu den persönlichen MySQL-Einstellungen her
connection = mydb.connect(
  host = '',
  port = '',
  user = '',
  password = '',
  database = ''
)

#Daten aus der DB abrufen
df_frontend = psql.read_sql("SELECT * FROM table WHERE search_word = 'Vorderes Ende'",connection)
df_serverside = psql.read_sql("SELECT * FROM table WHERE search_word = 'Serverseite'",connection)
df_game = psql.read_sql("SELECT * FROM table WHERE search_word = 'Spielprogrammierer'",connection)

#need_Eine Methode, die Fähigkeiten in Nomenklaturen zerlegt und zurückgibt
def get_all_words(df):
    all_words = []
    for index, row in df.iterrows():
        words = devide_by_mecab(row['need_skills']).split()
        all_words.extend(words)
    return all_words

count_of_words_frontend = collections.Counter(get_all_words(df_frontend))
count_of_words_serverside = collections.Counter(get_all_words(df_serverside))
count_of_words_game = collections.Counter(get_all_words(df_game))

#Alle Nomenklaturen in der Reihenfolge ihrer Häufigkeit anzeigen
count_of_words_frontend.most_common()
count_of_words_serverside.most_common()
count_of_words_game.most_common()

#Anordnung von Wörtern in Bezug auf Fähigkeiten(count >= 6)
frontend_top_words = ['JavaScript', 'CSS', 'HTML', 'js', 'Vue', 'React', 'Design', 'Mannschaft', 'Git', 'UI', 'PHP', 'UX', 'Angular', 'Ruby', 'Javascript', 'jQuery', 'Photoshop', 'Kommunikation', 'API', 'TypeScript', 'SPA', 'Java', 'Sass', 'Designer', 'Illustrator', 'JS', 'Prüfung', 'Server', 'webpack', 'GitHub', 'AWS', 'AngularJS', 'WordPress', 'Webpack', 'Rails', 'iOS', 'CMS', 'Python', 'Redux', 'MySQL', 'Gulp', 'Android', 'gulp', 'C', 'SCSS', 'git', 'DB', 'Linux', 'Babel', 'Docker', 'CI']
serverside_top_words = ['Ruby', 'PHP', 'AWS', 'Python', 'C', 'Java', 'Server', 'Rails', 'Mannschaft', 'Infrastruktur', 'js', 'Git', 'Server', 'Android', 'JavaScript', 'Go', 'Linux', 'Perl', 'HTML', 'MySQL', 'RDBMS', 'CSS', 'Kura', 'Du tust', 'API', 'Vorderseite', 'Management', 'GitHub', 'iOS', 'DB', 'GCP', 'React', 'Vue', 'Netzwerk', 'Node', 'HTTP', 'Swift', 'CI', 'Objective', 'Docker', 'Sicherheit', 'Javascript', 'Azure', 'einheimisch', 'PostgreSQL', 'die Architektur', 'SQL', 'Prüfung', '#', 'Clever', 'Telefon', 'UI', 'MVC', 'Kommunikation', 'git', 'Scala', 'Kotlin' , 'CD', 'Datenbank', 'TypeScript', 'Apache', 'LAMP', 'Designer', 'Container', 'RDB', 'Laravel']
game_top_words = ['C', '3', 'D', 'Unity', 'Java', 'PHP', 'Design', '++', 'Server', '++、', 'Netzwerk', 'JavaScript', 'Android', 'Management', '#、', 'Objective', 'Photoshop', 'Maya', 'Mannschaft', 'Designer', 'Linux', 'MySQL', 'Ruby', 'Python', 'Infrastruktur', '#', 'Grafik', 'Server', 'Excel', 'Grafik', 'Kommunikation', 'Unreal', 'DCG', 'AWS', 'Perl', 'Illustrator', 'Engine', 'Planer', 'Word', 'einheimisch', 'Bewegung', 'Direktor', 'HTML', 'UI', 'Flash', 'bewirken', 'VB', 'Klang', 'DS', 'OpenGL', 'iOS', 'DirectX']

#Eine Methode zum Erstellen eines DataFrame aus Wörtern und Vorkommen
def get_top_word_df(top_words,count_of_words):
    df = pd.DataFrame({})
    for i,word in enumerate(top_words):
        word_data = pd.Series([word,count_of_words[word]], index=['word','count'], name=i)
        df = df.append(word_data)
    return df

df_frontend_top_words =  get_top_word_df(frontend_top_words,count_of_words_frontend)
df_serverside_top_words =  get_top_word_df(serverside_top_words,count_of_words_serverside)
df_game_top_words =  get_top_word_df(game_top_words,count_of_words_game)

for df in [df_frontend_top_words,df_serverside_top_words,df_game_top_words]:
    df['rank'] = df['count'].rank(ascending = False, method = 'min').astype(int)
    df['count'] = df['count'].astype(int)

df_frontend_top_words[['rank','word','count']]
df_serverside_top_words[['rank','word','count']]
df_game_top_words[['rank','word','count']]

Zunächst werden alle Wörter in der Reihenfolge ihrer Häufigkeit ausgegeben, und die Wörter, die nicht mit der Fertigkeit in Zusammenhang zu stehen scheinen, werden manuell entfernt und erneut ausgegeben. Ich habe es hinzugefügt, weil der Spielprogrammierer persönlich interessiert war.

Das Ergebnis ist wie folgt.

Vorderes Ende

Serverseite

Spielprogrammierer

Ich bin der Meinung, dass die Ergebnisse fast wie erwartet sind.

Ursprünglich sollten dieselben Wörter wie "Javascript", "Javascript" und "Js" richtig benannt werden, aber es schien schwierig zu sein, da es viele Wörter gab, also war ich frustriert.

Fazit

Front-End-Ingenieur: HTML, CSS, Javascript sind hervorragend und es scheint unverzichtbar zu sein. Darüber hinaus besteht der zweite Schritt darin, Frameworks wie Vue und React verwenden zu können und gleichzeitig das Design und UI / UX zu stärken. Danach wäre es gut, das Verständnis auf der Serverseite zu vertiefen.

Serverseitiger Ingenieur: Die Wolke ist unterteilt in "Kura" und "Udo"! …… Leises Gespräch. Es scheint, dass Ruby, PHP, Python und Java die Hauptsprachen sind (ich weiß nicht, welche C ist). Darüber hinaus ist die Wolke auch ein Pflichtfach. Ich möchte auch ein Verständnis der Datenbank, des Netzwerks und der Front-End-Seite. Es scheint viel zu lernen.

Spielprogrammierer: Immerhin ist die Richtung etwas anders und es ist interessant. C ++, C # und Unity, 3D sind die Hauptfelder, und es scheint notwendig zu sein, sich beim Programmieren mit Grafiken vertraut zu machen.

Ich habe wenig Wissen, also kann ich nur etwas wirklich Raues sagen ... orz. Ich würde gerne basierend auf diesem Ergebnis studieren!

Aufgabe

――Da das Wort etwas streng ist, ist die Anzahl der Akquisitionen gering (ca. 200).

• Da es sich nur um eine Umfrage an einem Standort handelt, besteht eine Tendenz

• Namensidentifikation wie Klein- und Großbuchstaben, Abkürzung, Tippfehler

das Ende

Ich habe mir die Frequenz nur kurz angesehen, bin aber froh, dass sie auch als Leitfaden für die Bereiche diente, die ich studieren sollte.

Es könnte interessanter sein, auf mehreren Websites zu vergleichen oder eine Querschnittsseite auszuprobieren. Wenn Sie interessiert sind, überprüfen Sie es bitte mit Ihren eigenen Augen!