[PYTHON] 100 Sprachverarbeitungsklopfen (2020): 27

"""
27.Entfernung interner Links
Entfernen Sie zusätzlich zu den 26 Prozessen das interne Link für MediaWiki-Links aus dem Vorlagenwert und konvertieren Sie es in Text (Referenz).:Markup-Diagramm).
"""

import json
import re

import utils


def get_uk_text(path):
    with open(path) as f:
        for line in f:
            line_data = json.loads(line)
            if line_data["title"] == "England":
                data = line_data
                break
    return data["text"]


def get_basic_info(string: str) -> str:
    """Get basic information section
    """
    pattern = re.compile(
        r"""
            ^\{\{Grundinformation.*?$   # '{{Grundinformation'Zeilen beginnend mit
            (.*?)       #Ziel erfassen, 0 oder mehr Zeichen, nicht gierig
            ^\}\}$      # '}}'Zeilen, die mit enden
        """,
        re.MULTILINE | re.DOTALL | re.VERBOSE,
    )

    return re.findall(pattern, string)[0]


def get_content(string: str) -> list:
    r"""
    https://docs.python.org/3/library/re.html#regular-expression-syntax

    RE:
        - re.X (re.VERBOSE)     Allow us add command to explain the regular expression
        - re.M (re.MULTILINE)   Apply match to each line. If not specified, only match the first line.
        - re.S (re.DOTALL)      Allow to recognize '\n'
        - ^\|       String begin with |
        - ?         Causes the resulting RE to match 0 or 1 repetitions

        - *?        The '*' qualifier is greedy.
                    Adding ? after the qualifier makes it perform the match in non-greedy or minimal fashion; as few characters as possible will be matched.
                    e.g. <.*> is matched against '<a> b <c>'
                    e.g. <.*?> will match only '<a>'

        - (...)     Matches whatever regular expression is inside the parentheses,
        - (?=...)   Matches if ... matches next, but doesn’t consume any of the string. This is called a lookahead assertion.
                    For example, Isaac (?=Asimov) will match 'Isaac ' only if it’s followed by 'Asimov'.
        - (?:...)   A non-capturing version of regular parentheses.

    Input:
        - '|Nationaler Emblem-Link=([[Britisches nationales Emblem|Staatswappen]])'
    Return:
        - {'Nationaler Emblem-Link': '([[Britisches nationales Emblem|Staatswappen]])'}
    """
    pattern = re.compile(
        r"""
            ^\|         # '|'Zeilen beginnend mit
            (.+?)       #Erfassen Sie das Ziel (Feldname), ein oder mehrere Zeichen, nicht gierig
            \s*         #0 oder mehr Leerzeichen
            =
            \s*         #0 oder mehr Leerzeichen
            (.+?)       #Erfassen Sie ein Ziel (Wert), ein oder mehrere Zeichen, die nicht gierig sind
            (?:         #Starten Sie eine Gruppe, die nicht erfasst wird
                (?=\n\|)    #Neue Zeile+'|'Vorher (positive Vorausschau)
                |           #Oder
                (?=\n$)     #Neue Zeile+Vor dem Ende (bejahender Ausblick)
            )           #Gruppenende
            """,
        re.MULTILINE | re.DOTALL | re.VERBOSE,
    )
    result = re.findall(pattern, string)
    return {k: v for k, v in result}  # dict is ordered when using python 3.7


def remove_markup(target: str) -> str:
    # ans26
    # Remvoe highlight markup
    #Verwenden des "Großbritannien" als Ersatz "'''Großbritannien'''」
    pattern1 = re.compile(
        r"""
            (\'{2,5})   #2-5'(Beginn des Markups)
            (.*?)       #Ein oder mehrere Zeichen (Zielzeichenfolge)
            (\1)        #Entspricht der ersten Aufnahme (Ende des Markups)
        """,
        re.MULTILINE | re.VERBOSE,
    )
    target = re.sub(pattern1, r"\2", target)

    # and27
    # Remove link markup
    """
    [[London]] -> London
    [[britischer Premierminister|Premierminister]] -> Premierminister
    [[Datei:Royal Coat of Arms of the United Kingdom.svg|85px|Britisches nationales Emblem]] -> Britisches nationales Emblem

    [] -> Used to indicate a set of characters. [(+*)] will match any of the literal characters '(', '+', '*', or ')'.
    """
    pattern2 = re.compile(
        r"""
            \[\[        # '[['(Beginn des Markups)
            (?:         #Starten Sie eine Gruppe, die nicht erfasst wird
                [^|]*?  # '|'0 oder mehr Zeichen als nicht gierig
                \|      # '|'
            )*?          #Gruppe ist 0 oder mehr, nicht gierig
            ([^|]*?)    #Ziel erfassen,'|'Andere als 0 Zeichen, nicht gierig (Zeichenfolge, die angezeigt werden soll)
            \]\]        # ']]'(Ende des Markups)
        """,
        re.MULTILINE | re.VERBOSE,
    )
    target = re.sub(pattern2, r"\1", target)

    return target


# and20
uk_text = get_uk_text("jawiki-country.json")  # See uk_text.txt

# ans25
basic_info = get_basic_info(uk_text)
fields = get_content(basic_info)  # See 25_en_basic_info.json

# ans26, and27
result = {k: remove_markup(v) for k, v in fields.items()}  # See 26_no_markup.json
# "Nationales Emblembild": "[[Datei:Royal Coat of Arms of the United Kingdom.svg|85px|Britisches nationales Emblem]]",
print(result["Nationales Emblembild"])
utils.save_json(result, "27_no_link.json")


# Test for 27
data = [
    ("[[London]]", "London"),
    ("[[britischer Premierminister|Premierminister]]", "Premierminister"),
    ("[[Datei:Royal Coat of Arms of the United Kingdom.svg|85px|Britisches nationales Emblem]]", "Britisches nationales Emblem"),
    (
        "{{lang|fr|[[Dieu et mon droit]]}}<br />([[Französisch]]:[[Dieu et mon droit|Gott und meine Rechte]])",
        "{{lang|fr|Dieu et mon droit}}<br />(Französisch:Gott und meine Rechte)",
    ),
]


pattern2 = re.compile(
    r"""
            \[\[        # '[['(Beginn des Markups)
            (?:         #Starten Sie eine Gruppe, die nicht erfasst wird
                [^|]*?  # '|'0 oder mehr Zeichen als nicht gierig
                \|      # '|'
            )*?          #Gruppe ist 0 oder mehr, nicht gierig
            ([^|]*?)    #Ziel erfassen,'|'Andere als 0 Zeichen, nicht gierig (Zeichenfolge, die angezeigt werden soll)
            \]\]        # ']]'(Ende des Markups)
        """,
    re.MULTILINE | re.VERBOSE,
)

for target, answer in data:
    assert answer == re.sub(pattern2, r"\1", target)

Recommended Posts

100 Sprachverarbeitungsklopfen 03 ~ 05
100 Sprachverarbeitungsklopfen (2020): 40
100 Sprachverarbeitungsklopfen (2020): 32
100 Sprachverarbeitungsklopfen (2020): 35
100 Sprachverarbeitungsklopfen (2020): 47
100 Sprachverarbeitungsklopfen (2020): 39
100 Sprachverarbeitungsklopfen (2020): 26
100 Sprachverarbeitungsklopfen (2020): 34
100 Sprachverarbeitungsklopfen (2020): 42
100 Sprachverarbeitungsklopfen (2020): 49
100 Sprachverarbeitungsklopfen 06 ~ 09
100 Sprachverarbeitungsklopfen (2020): 43
100 Sprachverarbeitungsklopfen (2020): 24
100 Sprachverarbeitungsklopfen (2020): 10-19
100 Sprachverarbeitungsklopfen (2020): 30
100 Sprachverarbeitungsklopfen (2020): 31
100 Sprachverarbeitungsklopfen (2020): 48
100 Sprachverarbeitungsklopfen (2020): 44
100 Sprachverarbeitungsklopfen (2020): 41
100 Sprachverarbeitungsklopfen (2020): 37
100 Sprachverarbeitungsklopfen (2020): 25
100 Sprachverarbeitungsklopfen (2020): 23
100 Sprachverarbeitungsklopfen (2020): 33
100 Sprachverarbeitungsklopfen (2020): 20
100 Sprachverarbeitungsklopfen (2020): 27
100 Sprachverarbeitungsklopfen (2020): 46
100 Sprachverarbeitungsklopfen (2020): 21
100 Sprachverarbeitungsklopfen (2020): 36
100 Amateur-Sprachverarbeitungsklopfen: 41
100 Amateur-Sprachverarbeitungsklopfen: 71
100 Amateur-Sprachverarbeitungsklopfen: 56
100 Amateur-Sprachverarbeitungsklopfen: 50
100 Amateur-Sprachverarbeitungsklopfen: 59
100 Amateur-Sprachverarbeitungsklopfen: 70
100 Amateur-Sprachverarbeitungsklopfen: 62
100 Amateur-Sprachverarbeitungsklopfen: 60
100 Amateur-Sprachverarbeitungsklopfen: 30
100 Amateur-Sprachverarbeitungsklopfen: 06
100 Amateur-Sprachverarbeitungsklopfen: 84
100 Amateur-Sprachverarbeitungsklopfen: 81
100 Amateur-Sprachverarbeitungsklopfen: 33
100 Amateur-Sprachverarbeitungsklopfen: 46
100 Amateur-Sprachverarbeitungsklopfen: 88
100 Amateur-Sprachverarbeitungsklopfen: 89
100 Amateur-Sprachverarbeitungsklopfen: 40
100 Amateur-Sprachverarbeitungsklopfen: 45
100 Amateur-Sprachverarbeitungsklopfen: 43
100 Amateur-Sprachverarbeitungsklopfen: 55
100 Amateur-Sprachverarbeitungsklopfen: 22
100 Amateur-Sprachverarbeitungsklopfen: 61
100 Amateur-Sprachverarbeitungsklopfen: 94
100 Amateur-Sprachverarbeitungsklopfen: 54
100 Amateur-Sprachverarbeitungsklopfen: 04
100 Amateur-Sprachverarbeitungsklopfen: 63
100 Amateur-Sprachverarbeitungsklopfen: 78
100 Amateur-Sprachverarbeitungsklopfen: 12
100 Amateur-Sprachverarbeitungsklopfen: 14
100 Amateur-Sprachverarbeitungsklopfen: 08
100 Amateur-Sprachverarbeitungsklopfen: 42
100 Sprachverarbeitungsklopfen ~ Kapitel 1
100 Amateur-Sprachverarbeitungsklopfen: 19