#Bibliothek importieren
import requests, bs4
import re
import time
import pandas as pd
from urllib.parse import urljoin

#Installieren Sie Schriftarten lokal in Colab
from google.colab import drive
drive.mount("/content/gdrive")
#Erstellen Sie vorab einen Ordner mit dem Namen "Schriftart" oben auf "Mein Laufwerk" auf Ihrem Google Drive und legen Sie die gewünschte Schriftartdatei darin ab.
#Kopieren Sie jeden Ordner lokal nach Colab
!cp -a "gdrive/My Drive/font/" "/usr/share/fonts/"

# ------------------------------------------------------------------------
#Vorbereitung
log_database = []  #Eine Liste, in der Thread-Informationen gespeichert sind
base_url = "https://www.logsoku.com/search?q=FFRK&p="

#Implementierung von Web Scraping
for i in range(1,4):  #Auf welche Seite Sie zurückkehren sollten (hier vorläufig bis zur 4. Seite)
  logs_url = base_url+str(i)

  #Schrottverarbeitungskörper
  res = requests.get(logs_url)
  soup = bs4.BeautifulSoup(res.text, "html.parser")

  #Was tun, wenn keine Suchergebnisse gefunden werden?
  if soup.find(class_="search_not_found"):break

  #Ruft die Tabelle / Zeile ab, in der die Thread-Informationen gespeichert sind
  thread_table = soup.find(id="search_result_threads")
  thread_rows = thread_table.find_all("tr")

  #Verarbeitung für jede Zeile
  for thread_row in thread_rows:
    tmp_dict = {}
    tags = thread_row.find_all(class_=["thread","date","length"])

    #Organisieren Sie den Inhalt
    for tag in tags:
      if "thread" in str(tag):
        tmp_dict["title"] = tag.get("title")
        tmp_dict["link"] = tag.get("href")
      elif "date" in str(tag):
        tmp_dict["date"] = tag.text
      elif "length" in str(tag):
        tmp_dict["length"] = tag.text

    #Nur diejenigen mit mehr als 50 Lektionen werden der Datenbank hinzugefügt
    if tmp_dict["length"].isdecimal() and int(tmp_dict["length"]) > 50:
      log_database.append(tmp_dict)

  time.sleep(1)

#In DataFrame konvertieren
thread_df = pd.DataFrame(log_database)

# ------------------------------------------------------------------------
#Holen Sie weniger aus früheren Protokollen
log_url_base = "http://nozomi.2ch.sc/test/read.cgi/"
res_database = []

for thread in log_database:
  #Boardname und Bulletin Board-Nummer aus der Liste der letzten Protokolle.Und generieren Sie die URL des letzten Protokolls
  board_and_code_match = re.search("[a-zA-Z0-9_]*?/[0-9]*?/$",thread["link"])
  board_and_code = board_and_code_match.group()
  thread_url = urljoin(log_url_base, board_and_code)

  #Extrahieren Sie HTML von der letzten Protokollseite
  res = requests.get(thread_url)
  soup = bs4.BeautifulSoup(res.text, "html5lib")

  tmp_dict = {}
  #Informationen wie Datum im dt-Tag
  #Der Kommentar wird im dd-Tag gespeichert
  dddt = soup.find_all(["dd","dt"])

  for tag in dddt[::-1]:  #Auszug von hinten

    #Extrahieren Sie nur das Datum aus dem dt-Tag
    if "<dt>" in str(tag):
      date_result = re.search(r"\d*/\d*/\d*",tag.text)  #  "(←'"'Es ist mir egal (um Anomalien des Qiita zu vermeiden)
      if date_result:
        date_str = date_result.group()
        tmp_dict["date"] = date_str

    #Extrahieren Sie weniger Inhalt aus dem dd-Tag
    if "<dd>" in str(tag):
      tmp_dict["comment"] = re.sub("\n","",tag.text)

    # tmp_Die in dict gespeicherten Inhalte sind res_In Datenbank posten
    if "date" in tmp_dict and "comment" in tmp_dict:
      tmp_dict["thread_title"] = thread["title"]
      res_database.append(tmp_dict)
      tmp_dict = {}

  time.sleep(1)  #versprechen

#In DataFrame konvertieren
res_df = pd.DataFrame(res_database)

# ------------------------------------------------------------------------

#Morphologische Analysebibliothek MeCab und Wörterbuch(mecab-ipadic-NEologd)Installation von
!apt-get -q -y install sudo file mecab libmecab-dev mecab-ipadic-utf8 git curl python-mecab > /dev/null
!git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git > /dev/null 
!echo yes | mecab-ipadic-neologd/bin/install-mecab-ipadic-neologd -n > /dev/null 2>&1
!pip install mecab-python3 > /dev/null

#Vermeiden von Fehlern mit symbolischen Links
!ln -s /etc/mecabrc /usr/local/etc/mecabrc


#Les n(=10000)Durch weniger trennen und mit Kommas kombinieren
#Der Zweck des Trennzeichens besteht darin, dass das spätere Mecab nicht zu viele Zeichen verarbeiten kann.
sentences_sep = []
n = 10000
for i in range(0, len(res_df["comment"]), n):
  sentences_sep.append(",".join(res_df["comment"][i: i + n]))

# ------------------------------------------------------------------------
import MeCab

# mecab-ipadic-Geben Sie den Pfad an, in dem das neologd-Wörterbuch gespeichert ist
path = "-d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd"
#Über dem Pfad (/usr/~) Kann mit dem folgenden Befehl erhalten werden
# !echo `mecab-config --dicdir`"/mecab-ipadic-neologd"

#Erstellen eines Tagger-Objekts
mecab = MeCab.Tagger(path)

#Führen Sie für jede getrennte Gruppe eine morphologische Analyse durch
chasen_list = [mecab.parse(sentence) for sentence in sentences_sep]

word_list = []

# chasen_Zerlegen Sie die Liste in eine Zeile
# ex.Eisen Riesennomen,Proprietäre Nomenklatur,Allgemeines,*,*,*,Eisenriese,Tetsukyojin,Tetsukyojin）
for chasen in chasen_list:
  for line in chasen.splitlines():
    
    if len(line) <= 1: break

    speech = line.split()[-1]
    if "Substantiv" in speech:
      if  (not "Nicht unabhängig" in speech) and (not "Gleichbedeutend" in speech) and (not "Nummer" in speech):
        word_list.append(line.split()[0])

word_line = ",".join(word_list)

# ------------------------------------------------------------------------
from wordcloud import WordCloud
import matplotlib.pyplot as plt

f_path = "BIZ-UDGothicB.ttc"  #Muss in den lokalen Schriftartenordner von Colab kopiert werden
stop_words = ["https","imgur","net","jpg","com","damit"]

#Instanzgenerierung (Parametereinstellung)
wordcloud = WordCloud(
    font_path=f_path, #Geben Sie die Schriftart an
    width=1024, height=640,   #Angeben der Größe des generierten Bildes
    background_color="white",   #Festlegen der Hintergrundfarbe
    stopwords=set(stop_words),   #Wörter, die nicht absichtlich angezeigt werden
    max_words=350,   #Maximale Anzahl von Wörtern
    max_font_size=200, min_font_size=5,   #Schriftgrößenbereich
    collocations = False    #Anzeige zusammengesetzter Wörter
    )

#Bilderzeugung
output_img = wordcloud.generate(word_line)

#zeigen
plt.figure(figsize=(18,15))  #Geben Sie die Größe an, die mit figsize angezeigt werden soll
plt.imshow(output_img)
plt.axis("off")  #Verstecke die Waage
plt.show()

!echo `mecab-config --dicdir`"/mecab-ipadic-neologd"