[PYTHON] Grattage de bande sur une seule ligne avec du tsé

introduction

C'est le 23e jour du Calendrier de l'Avent Crawler / Web Scraping 2015. Il sert également de [Perfume Advent Calendar 2015] de l'Aventer (http://www.adventar.org/calendars/887) m (_ _) m

Je voudrais présenter le raclage Web à une ligne en utilisant l'outil de formatage de texte "tse" de Python.

Qu'est-ce que la tsé?

Pour plus de détails, je pense que vous pouvez comprendre en regardant la diapositive présentée par M. Ishimoto au PyCon JP 2015 de cette année. tse - Utilitaire de formatage de texte par Python

J'ai écrit un article d'introduction sur tse l'autre jour, alors veuillez vous y référer également. tse - Introduction à l'éditeur de flux de texte en Python

Recevez les dernières nouvelles de Parfum

Jetons un coup d'œil aux dernières nouvelles de Music Natalie pour organiser nos esprits afin que nous puissions profiter de la performance de Parfum dans la bataille de la chanson rouge et blanche la semaine prochaine.

Essayez en fait

curl http://natalie.mu/music/news/list/artist_id/217 | tse -ms 'bs4' -b 'for dt in BeautifulSoup(sys.stdin.read(), "lxml").find_all("dt", class_="NA_title", limit=30):{{print(dt.string)}}'

production


V6 en rouge et blanc&Parfum co-stars avec Mickey et d'autres, Arashi tag avec "Star Wars"
Annonce de la chanson "M Ste Super Live" d'ARASHI, AKB, Babymeta, X JAPAN et autres
"Red and White Song Battle" Annonce de la chanson du chanteur participant, Sachiko Kobayashi montre "Senbon Sakura"
Numéro spécial du Nouvel An CDTV aiko, Areki, KANA-BOON、T.M.R., Parfum, Gen Hoshino et al.
Le parfum lève l'interdiction du teaser pour la collection de vidéos en direct Anniversary Budokan
Projection de documentaire sur les parfums, BiS Cano et autres lors d'événements musicaux et de films sous-caloriques
48 & 46, Stada, mélange mixte Halo Pro! 16e OA "FNS Kayosai" spécialisée en direct
Des gens magnifiques célèbrent l'anniversaire de Kawatani Eon, le plus grand succès individuel d'Indigo la End de l'histoire
42 groupes magnifiques tels que Mischil, Larque, YUKI, Babymeta, Arashi, X JAPAN à la fin de l'année SP de "M Ste"
Concours Parfum x Karuta, nouvelle chanson soulevée dans la bande-annonce du film "Chihayafuru"
«Trois fausses filles» sont également venues! Parfum, pornographie, Ryunosuke Kamiki et autres magnifiques co-stars de la 23e année "AAA"
Auteur original et Suzu Hirose impressionnés, la chanson thème de Parfum nouvellement écrite pour le film "Chihayafuru"
Il y a des larmes, des rires et des imitations! La 66e interview du concurrent rouge et blanc de Delight
BUMP, Nogizaka, Gen Hoshino, Guess, μ en rouge et blanc's et al.10 groupes première apparition! X JAPAN est le premier en 18 ans
Le parfum devient le personnage de Mercedes-Benz, conçu par Yoshiyuki Sadamoto
Le parfum Budokan en direct est visualisé, le résumé de 10 jours et toutes les performances de la première édition
Parfum, KANA pour le projet de chat "Konason Festival"-BOON, Theatre Brook
29 groupes dont aiko, Ikimono, Kyary, Sekaowa, etc.
Arashi, Parfum, 3e génération, Momokuro, Hoshino Gen et al. À «FNS Kayosai»
Les gagnants de "MTV VMAJ" incluent Gen Hoshino, JSB III, Amuro et d'autres
La semaine prochaine "M Ste" Ikimono, NMB, Sakurako Ohara, Jani Seki, bknb, Parfum
"Parfumeur incroyable" à nouveau! Rule Porsche et Watanabe, soeur Asagaya
Parfum, 5 albums de l'ère Tokuma sont convertis en analogique
Crevettes dans le prochain "Kai", TOKIO, Parfum, KANA-BOON, Gudomo est apparu
Parfum, Prix du ministre de l'Intérieur et des Communications/Vainqueur du Grand Prix ACC "Je suis heureux que l'équipe ait été évaluée"
Yahoo du parfum!Rechercher Kisekae "STAR TRAIN" Ver.Apparence
Parfum, Ikimonokari et TOKIO apparaîtront sur le prochain "CDTV"
"Grand fan depuis plusieurs années" Ken Shimura nomme Parfum comme partenaire de conversation, à l'antenne avec E-tele
"Trois personnes ensemble tout le temps" Le parfum révèle les rêves d'avenir au festival du film
Perfume, Paruru, ELT, Mamoru Miyano, GACKT et d'autres apparaissent sur le tapis rouge du Festival international du film de Tokyo

Article vedette

"V6 & Perfume co-stars avec Mickey et d'autres en rouge et blanc, Arashi étiquette avec" Star Wars ""

Cette nouvelle est terrible! Collaboration entre Perfume et Disney! !! 2013/08/14 L'excitation de NHK General TV "La mélodie magique qui relie tout le monde" Le chef-d'œuvre de Disney & Ghibli "" est de retour! !! !! https://www.youtube.com/watch?v=qdPDeG_XxaU

Commentaire

tse -ms-Importation avec <format de nom de module * -b --Action à prendre immédiatement après le démarrage {{}} --Spécifiez le bloc à indenter

Grâce à l'option -ms de tse, j'ai pu exécuter BeautifulSoup en une seule doublure!

en conclusion

Jusqu'à présent, nous avons introduit la technique de grattage Web à une seule ligne utilisant la tse.

tse est très pratique car vous pouvez appliquer la description en Python à laquelle vous êtes habitué à un seul liner! Veuillez l'utiliser dans des scènes autres que Parfum.

Au fait, Crawler / Web Scraping Advent Calendar 2015 approche à grands pas! Faisons attention à ne pas être exposé comme un non-poster du calendrier de l'Avent par @ jz5 le dernier jour.

Recommended Posts

Grattage de bande sur une seule ligne avec du tsé
Collection d'images avec scraping Web
raclage Web
grattage Web (prototype)
Premiers pas avec le Web Scraping
Web scraping avec python + JupyterLab
API Web EXE par Python
Enregistrez des images avec le web scraping
Technologie de grattage WEB et préoccupations
Compromis dans le scraping et l'exploration Web
Grattage Web facile avec Scrapy
Web scraping avec Selenium (Python)
Web scraping à l'aide d'AWS lambda
Web scraping débutant avec python
Ne collectez que des images faciales d'une personne spécifique grâce au grattage Web
Obtenez le lien de téléchargement Splunk en grattant
Grattage WEB avec BeautifulSoup4 (page en couches)
Gratter le classement Web d'Alexa avec pyQuery
Web scraping avec Python Première étape
J'ai essayé webScraping avec python.
GAN: DCGAN Part1 - Scraping d'images Web
Une collection de serveurs Web à une seule ligne
Web scraping pour les débutants en Python (1)
Grattage Web pour les notifications d'avertissement météo.
Web scraping pour les débutants en Python (4) -1
J'ai essayé de collecter des serveurs Web à une seule ligne
10 questions à vérifier avant le web scraping