"""
27.Entfernung interner Links
Entfernen Sie zusätzlich zu den 26 Prozessen das interne Link für MediaWiki-Links aus dem Vorlagenwert und konvertieren Sie es in Text (Referenz).:Markup-Diagramm).
"""
import json
import re
import utils
def get_uk_text(path):
with open(path) as f:
for line in f:
line_data = json.loads(line)
if line_data["title"] == "England":
data = line_data
break
return data["text"]
def get_basic_info(string: str) -> str:
"""Get basic information section
"""
pattern = re.compile(
r"""
^\{\{Grundinformation.*?$ # '{{Grundinformation'Zeilen beginnend mit
(.*?) #Ziel erfassen, 0 oder mehr Zeichen, nicht gierig
^\}\}$ # '}}'Zeilen, die mit enden
""",
re.MULTILINE | re.DOTALL | re.VERBOSE,
)
return re.findall(pattern, string)[0]
def get_content(string: str) -> list:
r"""
https://docs.python.org/3/library/re.html#regular-expression-syntax
RE:
- re.X (re.VERBOSE) Allow us add command to explain the regular expression
- re.M (re.MULTILINE) Apply match to each line. If not specified, only match the first line.
- re.S (re.DOTALL) Allow to recognize '\n'
- ^\| String begin with |
- ? Causes the resulting RE to match 0 or 1 repetitions
- *? The '*' qualifier is greedy.
Adding ? after the qualifier makes it perform the match in non-greedy or minimal fashion; as few characters as possible will be matched.
e.g. <.*> is matched against '<a> b <c>'
e.g. <.*?> will match only '<a>'
- (...) Matches whatever regular expression is inside the parentheses,
- (?=...) Matches if ... matches next, but doesn’t consume any of the string. This is called a lookahead assertion.
For example, Isaac (?=Asimov) will match 'Isaac ' only if it’s followed by 'Asimov'.
- (?:...) A non-capturing version of regular parentheses.
Input:
- '|Nationaler Emblem-Link=([[Britisches nationales Emblem|Staatswappen]])'
Return:
- {'Nationaler Emblem-Link': '([[Britisches nationales Emblem|Staatswappen]])'}
"""
pattern = re.compile(
r"""
^\| # '|'Zeilen beginnend mit
(.+?) #Erfassen Sie das Ziel (Feldname), ein oder mehrere Zeichen, nicht gierig
\s* #0 oder mehr Leerzeichen
=
\s* #0 oder mehr Leerzeichen
(.+?) #Erfassen Sie ein Ziel (Wert), ein oder mehrere Zeichen, die nicht gierig sind
(?: #Starten Sie eine Gruppe, die nicht erfasst wird
(?=\n\|) #Neue Zeile+'|'Vorher (positive Vorausschau)
| #Oder
(?=\n$) #Neue Zeile+Vor dem Ende (bejahender Ausblick)
) #Gruppenende
""",
re.MULTILINE | re.DOTALL | re.VERBOSE,
)
result = re.findall(pattern, string)
return {k: v for k, v in result} # dict is ordered when using python 3.7
def remove_markup(target: str) -> str:
# ans26
# Remvoe highlight markup
#Verwenden des "Großbritannien" als Ersatz "'''Großbritannien'''」
pattern1 = re.compile(
r"""
(\'{2,5}) #2-5'(Beginn des Markups)
(.*?) #Ein oder mehrere Zeichen (Zielzeichenfolge)
(\1) #Entspricht der ersten Aufnahme (Ende des Markups)
""",
re.MULTILINE | re.VERBOSE,
)
target = re.sub(pattern1, r"\2", target)
# and27
# Remove link markup
"""
[[London]] -> London
[[britischer Premierminister|Premierminister]] -> Premierminister
[[Datei:Royal Coat of Arms of the United Kingdom.svg|85px|Britisches nationales Emblem]] -> Britisches nationales Emblem
[] -> Used to indicate a set of characters. [(+*)] will match any of the literal characters '(', '+', '*', or ')'.
"""
pattern2 = re.compile(
r"""
\[\[ # '[['(Beginn des Markups)
(?: #Starten Sie eine Gruppe, die nicht erfasst wird
[^|]*? # '|'0 oder mehr Zeichen als nicht gierig
\| # '|'
)*? #Gruppe ist 0 oder mehr, nicht gierig
([^|]*?) #Ziel erfassen,'|'Andere als 0 Zeichen, nicht gierig (Zeichenfolge, die angezeigt werden soll)
\]\] # ']]'(Ende des Markups)
""",
re.MULTILINE | re.VERBOSE,
)
target = re.sub(pattern2, r"\1", target)
return target
# and20
uk_text = get_uk_text("jawiki-country.json") # See uk_text.txt
# ans25
basic_info = get_basic_info(uk_text)
fields = get_content(basic_info) # See 25_en_basic_info.json
# ans26, and27
result = {k: remove_markup(v) for k, v in fields.items()} # See 26_no_markup.json
# "Nationales Emblembild": "[[Datei:Royal Coat of Arms of the United Kingdom.svg|85px|Britisches nationales Emblem]]",
print(result["Nationales Emblembild"])
utils.save_json(result, "27_no_link.json")
# Test for 27
data = [
("[[London]]", "London"),
("[[britischer Premierminister|Premierminister]]", "Premierminister"),
("[[Datei:Royal Coat of Arms of the United Kingdom.svg|85px|Britisches nationales Emblem]]", "Britisches nationales Emblem"),
(
"{{lang|fr|[[Dieu et mon droit]]}}<br />([[Französisch]]:[[Dieu et mon droit|Gott und meine Rechte]])",
"{{lang|fr|Dieu et mon droit}}<br />(Französisch:Gott und meine Rechte)",
),
]
pattern2 = re.compile(
r"""
\[\[ # '[['(Beginn des Markups)
(?: #Starten Sie eine Gruppe, die nicht erfasst wird
[^|]*? # '|'0 oder mehr Zeichen als nicht gierig
\| # '|'
)*? #Gruppe ist 0 oder mehr, nicht gierig
([^|]*?) #Ziel erfassen,'|'Andere als 0 Zeichen, nicht gierig (Zeichenfolge, die angezeigt werden soll)
\]\] # ']]'(Ende des Markups)
""",
re.MULTILINE | re.VERBOSE,
)
for target, answer in data:
assert answer == re.sub(pattern2, r"\1", target)
Recommended Posts