output

<tr>
<th><a href="/wiki/Microprocessor" title="Microprocessor">Processor</a>
</th>
<th data-sort-type="number"><a class="mw-redirect" href="/wiki/MOS_transistor" title="MOS transistor">MOS transistor</a> count
</th>
<th>Date of<br/>introduction
</th>
<th>Designer
</th>
<th data-sort-type="number"><a href="/wiki/MOSFET" title="MOSFET">MOS</a><br/><a href="/wiki/Semiconductor_device_fabrication" title="Semiconductor device fabrication">process</a>
</th>
<th data-sort-type="number">Area
</th></tr>

Schauen wir uns andererseits das 0. nächste Element der erfassten Zeilenkomponenten an.

print(rows[1])

Wie unten gezeigt, gibt es eine Hierarchie von \

columns = [v.text for v in rows[0].find_all('th')]
print(columns)

Das Ergebnis ist wie folgt, aber \ n zeigt an, dass ein Zeilenumbruch ein Hindernis darstellt.

output

['Processor\n', 'MOS transistor count\n', 'Date ofintroduction\n', 'Designer\n', 'MOSprocess\n', 'Area\n']

Ändern wir also den obigen Code wie folgt:

columns = [v.text.replace('\n', '') for v in rows[0].find_all('th')]
print(columns)

Das Ergebnis ist wie folgt. Nur der Spaltenname konnte sauber extrahiert werden.

output

['Processor', 'MOS transistor count', 'Date ofintroduction', 'Designer', 'MOSprocess', 'Area']

Bereiten wir nun einen leeren Datenrahmen vor, indem wir den obigen Spaltennamen angeben.

df = pd.DataFrame(columns=columns)
df

Das Ergebnis ist wie folgt. Im Kopfteil wird nur der Spaltenname angezeigt, und Sie können den leeren Datenrahmen sehen.

Nachdem die Spalten extrahiert wurden, extrahieren wir jede Datenkomponente der Tabelle.

#Über eine bestimmte Zeilenkomponente aller Zeilen
for i in range(len(rows)):
    #Alle<td>Holen Sie sich Tags (Zellendaten), speichern Sie sie in tds und listen Sie sie auf
    tds = rows[i].find_all('td')
    #Schließen Sie Fälle aus, in denen die Anzahl der tds-Daten nicht mit der Anzahl der Spalten (leer) usw. übereinstimmt.
    if len(tds) == len(columns):
        #Speichern und listen Sie alle Zellendaten (einer bestimmten Zeilenkomponente) als Textkomponenten in Werten auf
        values = [ td.text.replace('\n', '').replace('\xa0', ' ') for td in tds ]
        #Werte pd.In Seriendaten konvertieren, in Datenrahmen kombinieren
        df = df.append(pd.Series(values, index=columns), ignore_index= True)

Lassen Sie uns den erstellten Datenrahmen ausgeben.

df

Das Ergebnis sollte wie im Bild unten aussehen. Ich konnte den Tisch mit Beautiful Soup sauber abkratzen.

Übrigens, wenn der obige td.text.replace ('\ n', ''). Replace ('\ xa0', '') einfach als td.text ausgeführt wird, lauten die Werte wie folgt. (Eine Komponente von Werten wird als Beispiel gezeigt).

output

['Intel 4004 (4-bit, 16-pin)\n', '2,250\n', '1971\n', 'Intel\n', '10,000\xa0nm\n', '12\xa0mm²\n']

Wie bei der Kopfzeile sind der Zeilenvorschubcode \ n und der Leerzeichencode \ xa0 enthalten. Daher ist es notwendig, jedes durch die replace () -Methode zu ersetzen.

Speichern Sie den erstellten Datenrahmen entsprechend im CSV-Format.

#Geben Sie ohne Kopfzeile die Registerkarte für das Trennzeichen an
df.to_csv('processor.csv', index=False, sep='\t' )

Codeübersicht

import requests
from bs4 import BeautifulSoup
import csv
import pandas as pd

url = 'https://en.wikipedia.org/wiki/Transistor_count'
page = requests.get(url)

soup = BeautifulSoup(page.text, 'html.parser')
table = soup.find('table', {'class':'wikitable'}).tbody

rows = table.find_all('tr')
columns = [v.text.replace('\n', '') for v in rows[0].find_all('th')]

df = pd.DataFrame(columns=columns)

for i in range(len(rows)):
    tds = rows[i].find_all('td')

    if len(tds) == len(columns):
        values = [ td.text.replace('\n', '').replace('\xa0', ' ') for td in tds ]
        df = df.append(pd.Series(values, index=columns), ignore_index= True)

df.to_csv('processor.csv', index=False, sep='\t' )