[LINUX] Comment extraire la chaîne de caractères souhaitée à partir d'une ligne 4 commandes

Python Crawling & Scraping-Practical Development Guide for Data Collection and Analysis- https://www.amazon.co.jp/dp/B01NGWKE0P/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1

Du livre 1.4.1 Obtenir le nombre total de livres électroniques Ce que j'ai appris du chapitre

Opération pour extraire uniquement la chaîne de caractères avec une expression régulière du code html extrait par grep Quatre méthodes sont introduites

1.Extraire la partie qui correspond à l'expression régulière avec la commande sed
2.Supprimez la partie correspondante avec la commande sed et supprimez la partie restante
3.Utilisez la commande cut pour extraire le nième d'une chaîne séparée par un caractère spécifique
4.Extrayez le nième d'une chaîne justifiée par un espace à l'aide de la commande awk

Je ne connais pas la commande en premier lieu. .. .. Cependant, il y avait une explication de sed et coupé à la page précédente.

sed (abréviation de Stream EDitor)

Quand l'utiliser: peut remplacer ou supprimer des lignes qui correspondent à des conditions spécifiques Utilisation: 's / expression régulière à rechercher / chaîne à remplacer / option'

【Exemple d'utilisation】

# .Peut être généré en remplaçant par un espace/g équivaut à remplacer toutes les expressions régulières à rechercher sur une seule ligne, même si elles apparaissent plusieurs fois.
XX | sed 's/./ /g'

cut Timing of use: Utilisé pour extraire certaines colonnes de texte séparées par des caractères spécifiques 【Exemple d'utilisation】

# ,Affiche uniquement les première et deuxième colonnes séparées par.-Délimiteur avec d,-Spécifiez le numéro de colonne avec f.
XX | cut -d , -f 1,2

Je voudrais jeter un œil aux processus d'extraction par les méthodes 1 à 4 du sujet principal un par un.

1. Extrayez la partie qui correspond à l'expression régulière avec la commande sed

Utilisation: * sed -E's /. \ * (Expression régulière qui correspond à la partie que vous souhaitez extraire). * / \ 1 / ' Décryptage: . Correspond à n'importe quel caractère

• Répète le motif précédent 0 fois ou plus () Modèles de groupe inclus dans () Exemple: (hello) correspond à hello-world ou world-hello \ 1 remplace (capture) le tout par l'expression régulière que vous souhaitez extraire

【Exemple d'utilisation】

echo hello_world | sed -E 's/.\*(hello.).*/\1'
#Résultat de sortie
  hello

2. Utilisez la commande sed pour supprimer la partie correspondante et supprimer la partie restante

Décryptage: ^ In [] indique un refus

• Répète le motif précédent 0 fois ou plus → Laissez un motif comme vide = Supprimez l'endroit entouré par <>

【Exemple d'utilisation】

echo'<li class="pagingnumber">130/2098</li>' | sed -E 's/<[^>]*>//g'

3. Utilisez la commande cut pour extraire la nième chaîne de la chaîne séparée par un caractère spécifique.

Moment d'utilisation: lors de l'extraction d'une chaîne de caractères à partir de csv Décryptage: '-d, -f 2' est un délimiteur, le deuxième élément de la chaîne délimitée

echo '1,base-ball,Hanshin' | cut -d , -f 2
#Résultat de sortie
base-ball

4. Utilisez la commande awk pour extraire le nième de la chaîne justifiée par un espace

Il peut être utilisé lorsque les chiffres sont alignés avec des espaces et que les délimiteurs sont consécutifs. (la coupe ne convient pas lorsque les délimiteurs sont consécutifs) Si vous donnez la chaîne de caractères {print $ n}, vous pouvez extraire la nième chaîne de caractères.

echo 'A B C D E' | awk '{print $4}'
#Résultat de sortie
　D