Ich habe versucht, das Ranking des Qiita-Adventskalenders mit Python zu kratzen
Qiits Adventskalender hat ein öffentliches Ranking. Gesamtkalender-Rangliste
Zuerst habe ich es mir angesehen, um einen interessanten Kalender zu finden, aber als ich genau hinschaute, wurden wir auch eingestuft! : Klatsch Klatsch ::
Selbst wenn die Anzahl der Likes 1 ist, wird sie eingestuft, so dass es natürlich ist.
Es war der dritte Tag zum ersten Mal, seit ich wusste, dass es bewertet wurde ** "Was ist das Ranking heute?" **. Das ist ein Ärger ...
Ich beschloss, die Erfassung des Rankings zu automatisieren und sagte: "Da Qiita über eine API verfügt, können Sie das Ranking damit erhalten."
Scraping, wenn Sie keine API haben!
Qiita hat eine API. Hier → Qiita API v2-Spezifikationen Selbst wenn Sie sich die Dokumentation ansehen, gibt es keine Adventskalender-API: sob:
Wenn es keine API gibt, habe ich mich für Python entschieden. Als ich nach "Python Scraping" suchte, fand ich viele Schöne Suppe, also entschied ich mich für ** Schöne Suppe **.
Schaben ist einfach
Der Zweck ist klar. Um das Ranking Ihres Unternehmens zu erhalten. Ich habe die HTML-Tags nachgeschlagen.
Um die Rangliste zu erhalten, sollten Sie über den Kalenderlink "" zwei nach oben gehen und den Text abrufen.
Ich habe versucht, mit BeautifulSoup zu codieren.
from urllib import request
from bs4 import BeautifulSoup
targethref = '/advent-calendar/2019/fork'
def main():
url = 'https://qiita.com/advent-calendar/2019/ranking/feedbacks/all'
targetclass = 'adventCalendarRankingListItem_calendarName'
response = request.urlopen(url)
soup = BeautifulSoup(response,features="html.parser")
ranking = soup.find('a',class_=targetclass,href=targethref).parent.parent.contents[0].text
response.close()
print(ranking)
if __name__ == "__main__":
main()
So einfach ist das! ** BeautifulSoup ** Großartig! (Es ist mein Gefühl, weil ich keine anderen Bibliotheken kenne, die abgekratzt werden können)
- Wenn Sie das Ranking Ihres Lieblingskalenders erhalten möchten, schreiben Sie
target href =in die 4. Zeile. * *
abschließend
Ich führe diese Logik einmal am Tag auf AWS Lambda aus. Das Ergebnis der Ausführung wurde an das Chat-Tool im Unternehmen gesendet, um die Informationen weiterzugeben.
Es war ein Tag, an dem mir klar wurde, dass ich Scraping durchführen kann, auch wenn die API nicht veröffentlicht wurde: sunny:
:fork_and_knife: FORK Advent Calendar 2019 Der Adventskalender-Artikel, den ich geschrieben habe, ist hier
Recommended Posts