30 exemples Grep pour les administrateurs système

L'apprentissage des langages formels et des expressions régulières est un sujet passionnant. Apprendre grep a beaucoup plus à faire que les regex. Pour commencer et voir la beauté et l'élégance de grep, vous devez d'abord voir quelques exemples du monde réel.

Des exemples pratiques et qui vous facilitent un peu la vie. Voici 30 de ces cas d'utilisation et options courants de grep.

1. ps aux | grep

Le ps aux liste tous les processus et leurs pid associés. Mais souvent, cette liste est trop longue pour qu'un humain puisse l'inspecter. En redirigeant la sortie vers une commande grep, vous pouvez répertorier les processus en cours d'exécution avec une application très spécifique à l'esprit. Par exemple, le pourrait être sshd ou nginx ou httpd.

2. Saisir vos adresses IP

Dans la plupart des systèmes d'exploitation, vous pouvez répertorier toutes vos interfaces réseau et l'adresse IP attribuée à cette interface en utilisant la commande ifconfig ou ip addr. Ces deux commandes généreront de nombreuses informations supplémentaires. Mais si vous souhaitez imprimer uniquement l'adresse IP (par exemple pour les scripts shell), vous pouvez utiliser la commande ci-dessous :

La commande ip addr obtient tous les détails (y compris les adresses IP), elle est ensuite redirigée vers la deuxième commande grep inet qui ne sort que les lignes contenant inet. Ceci est ensuite redirigé dans awk print l'instruction qui imprime le deuxième mot de chaque ligne (pour le dire simplement).

P.S : Vous pouvez également le faire sans grep si vous savez très bien.

3. Examiner les échecs des tentatives SSH

Si vous avez un serveur Internet, avec une adresse IP publique, il sera constamment bombardé de tentatives SSH et si vous autorisez les utilisateurs à avoir un accès SSH basé sur un mot de passe (une politique que je ne recommanderais pas), vous pouvez voir toutes ces tentatives infructueuses en utilisant le commande grep suivante :

4. Raccorder Grep à Uniq

Parfois, grep produira beaucoup d'informations. Dans l'exemple ci-dessus, une seule adresse IP a peut-être tenté d'entrer dans votre système. Dans la plupart des cas, il n'y a qu'une poignée d'adresses IP incriminées que vous devez identifier et mettre sur liste noire de manière unique.

La commande uniq est censée n'imprimer que les lignes uniques. Uniq -f 3 saute les trois premiers champs (pour ignorer les horodatages qui ne sont jamais répétés) puis commence à rechercher des lignes uniques.

5. A la recherche de messages d'erreur

L'utilisation de Grep pour les journaux d'accès et d'erreurs n'est pas limitée à SSH uniquement. Les serveurs Web (comme Nginx) enregistrent les erreurs et les journaux d'accès assez méticuleusement. Si vous configurez des scripts de surveillance qui vous envoient des alertes lorsque grep 404 renvoie une nouvelle valeur. Cela peut être très utile.

L'expression régulière peut ne pas être 404 mais un autre filtrage d'expression régulière uniquement pour les clients mobiles ou uniquement pour les appareils Apple affichant une page Web. Cela vous permet d'avoir un aperçu plus approfondi des performances de votre application.

6. Liste des colis

Pour les systèmes basés sur Debian, dpkg -l liste tous les paquets installés sur votre système. Vous pouvez le diriger dans une commande grep pour rechercher des packages appartenant à une application spécifique. Par exemple:

7. grep -v nom_fichier

Pour lister toutes les lignes qui ne pas contiennent un motif donné, utilisez le drapeau -v. C'est fondamentalement l'opposé d'une commande grep régulière.

8. grep -l

Il répertorie tous les fichiers qui contiennent au moins une occurrence du modèle fourni. Ceci est utile lorsque vous recherchez un modèle dans un répertoire contenant plusieurs fichiers. Il n'imprime que le nom du fichier, et non la ligne spécifique avec le motif.

9. Option de mot unique -w

L'indicateur -w indique à grep de rechercher le motif donné en tant que mot entier et pas seulement une sous-chaîne d'une ligne. Par exemple, plus tôt, nous avons recherché l'adresse IP et le modèle inet imprimé les lignes avec les deux inet et inet6 répertoriant les adresses IPv4 et IPv6. Mais si nous utilisions -w marquer uniquement les lignes avec inet car un mot précédé et suivi d'espaces blancs est une correspondance valide.

10. Expression régulière étendue

Vous constaterez souvent que les expressions régulières natives de Grep sont un peu limitatives. Dans la plupart des scripts et des instructions, vous trouverez l'utilisation du drapeau -E et cela vous permettra d'entrer un motif dans ce qu'on appelle le mode étendu.

Voici les commandes grep et grep -E pour rechercher les mots Superman et Spiderman.

Comme vous pouvez le voir, la version étendue est beaucoup plus facile à lire.

11. Grep pour vos conteneurs

Si vous avez un grand groupe de conteneurs en cours d'exécution sur votre hôte, vous pouvez les récupérer par nom d'image, statut, ports qu'ils exposent et de nombreux autres attributs. Par exemple,

12. Grep pour vos pods

Alors que nous sommes sur le sujet des conteneurs. Kubernetes a souvent tendance à lancer plusieurs pods dans le cadre d'un déploiement donné. Bien que chaque pod ait un nom unique, dans un espace de noms donné, ils commencent généralement par le nom du déploiement. Nous pouvons le saisir et répertorier tous les pods associés à un déploiement donné.

13. Prise en main des mégadonnées

Souvent, la soi-disant analyse Big Data implique une simple recherche, tri et comptage de modèles dans un ensemble de données donné. Les utilitaires UNIX de bas niveau comme grep, uniq, wc sont particulièrement efficaces pour cela. Ce billet de blog montre un bel exemple d'une tâche accomplie en quelques secondes à l'aide de grep et d'autres utilitaires Unix alors que Hadoop a pris près d'une demi-heure.

Par exemple, cet ensemble de données a une taille supérieure à 1,7 Go. Il contient des informations sur une multitude de matchs d'échecs, y compris les coups joués, qui a gagné, etc. Nous ne sommes intéressés que par les résultats, nous exécutons donc la commande suivante :

Cela a pris environ 15 secondes sur un processeur 2 cœurs/4 fils de 4 ans. Donc, la prochaine fois que vous résolvez un problème de Big Data. Pensez si vous pouvez utiliser grep à la place.

14. grep –couleur=auto

Cette option permet à grep de mettre en évidence le motif à l'intérieur de la ligne où il a été trouvé.

15. grep -je

La correspondance de modèle Grep est intrinsèquement sensible à la casse. Mais si vous ne vous en souciez pas, l'utilisation de l'indicateur -i rendra grep insensible à la casse.

16. grep -n

L'indicateur -n affichera les numéros de ligne afin que vous n'ayez pas à vous soucier de trouver la même ligne plus tard.

17. git grep

Git, le système de contrôle de version, possède lui-même une commande grep intégrée qui fonctionne à peu près comme votre grep habituel. Mais il peut être utilisé pour rechercher des modèles sur n'importe quel arbre validé à l'aide de l'interface de ligne de commande git native, au lieu de tuyaux fastidieux. Par exemple, si vous êtes dans la branche principale de votre référentiel, vous pouvez parcourir le référentiel en utilisant :

18. grep -o

L'indicateur -o est vraiment utile lorsque vous essayez de déboguer une expression régulière. Il n'imprimera que la partie correspondante de la ligne, au lieu de la ligne entière. Donc, au cas où vous auriez trop de lignes indésirables pour un modèle fourni, et vous ne pouvez pas comprendre pourquoi cela se produit. Vous pouvez utiliser l'indicateur -o pour imprimer la sous-chaîne incriminée et expliquer votre regex à l'envers à partir de là.

19. grep -x

L'indicateur -x imprimerait une ligne, si et seulement si, la ligne entière correspond à votre regex fournie. Ceci est quelque peu similaire à l'indicateur -w qui imprimait une ligne si et seulement un mot entier correspondait à l'expression régulière fournie.

20. grep -T

Lorsque vous traitez des journaux et des sorties à partir de scripts shell, vous êtes plus que susceptible de rencontrer des onglets durs pour différencier les différentes colonnes de sortie. L'indicateur -T alignera soigneusement ces onglets afin que les colonnes soient soigneusement disposées, rendant la sortie lisible par l'homme.

21. grep -q

Cela supprime la sortie et exécute silencieusement la commande grep. Très utile lors du remplacement de texte ou de l'exécution de grep dans un script démon.

22. grep -P

Les personnes habituées à la syntaxe des expressions régulières perl peuvent utiliser l'indicateur -P pour utiliser exactement cela. Vous n'avez pas besoin d'apprendre les expressions régulières de base, que grep utilise par défaut.

23. grep -D [ACTION]

Sous Unix, presque tout peut être traité comme un fichier. Par conséquent, n'importe quel périphérique, socket ou flux de données FIFO peut être envoyé à grep. Vous pouvez utiliser l'indicateur -D suivi d'une ACTION (l'action par défaut est LIRE). Quelques autres options sont SKIP pour ignorer silencieusement des périphériques spécifiques et RECURSE pour parcourir de manière récursive les répertoires et les liens symboliques.

24. Répétition

Si vous recherchez un motif donné qui est une répétition d'un motif plus simple connu, utilisez des accolades pour indiquer le nombre de répétitions

Cela imprime des lignes contenant des chaînes de 10 chiffres ou plus.

25. Raccourcis de répétition

Certains caractères spéciaux sont réservés à un type spécifique de répétition de motif. Vous pouvez les utiliser à la place des accolades, si elles correspondent à vos besoins.

? : Le motif précédant le point d'interrogation doit correspondre à zéro ou une fois.

* : Le motif précédant l'étoile doit correspondre à zéro ou plusieurs fois.

+ : Le motif précédant le plus doit correspondre une ou plusieurs fois.

25. Décalages d'octets

Si vous voulez savoir voir le décalage d'octets des lignes où se trouve l'expression correspondante, vous pouvez également utiliser l'indicateur -b pour imprimer les décalages. Pour imprimer le décalage de la partie correspondante d'une ligne uniquement, vous pouvez utiliser l'indicateur -b avec l'indicateur -o.

Offset signifie simplement, après combien d'octets à partir du début du fichier la chaîne correspondante commence-t-elle.

26. egrep, fgrep et rgerp

Vous verrez souvent l'invocation de egrep, pour utiliser la syntaxe d'expression régulière étendue dont nous avons parlé plus tôt. Cependant, il s'agit d'une syntaxe déconseillée et il est recommandé d'éviter de l'utiliser. Utilisez plutôt grep -E. De même, utilisez grep -F au lieu de fgrep et grep -r au lieu de rgrep.

27. grep -z

Parfois, les entrées de grep ne sont pas des lignes se terminant par un caractère de nouvelle ligne. Par exemple, si vous traitez une liste de noms de fichiers, ils peuvent provenir de différentes sources. L'indicateur -z indique à grep de traiter le caractère NULL comme fin de ligne. Cela vous permet de traiter le flux entrant comme n'importe quel fichier texte normal.

28. grep -a [nom_fichier]

L'indicateur -a indique à grep de traiter le fichier fourni comme s'il s'agissait de texte normal. Le fichier peut être un binaire, mais grep traitera le contenu à l'intérieur, comme s'il s'agissait de texte.

29. grep -U [nom_fichier]

L'indicateur -U indique à grep de traiter les fichiers fournis comme s'il s'agissait de fichiers binaires et non de texte. Par défaut, grep devine le type de fichier en regardant les premiers octets. L'utilisation de ce drapeau annule le travail de devinette.

Grep -m NUM

Avec des fichiers volumineux, la recherche d'une expression peut prendre une éternité. Cependant, si vous souhaitez vérifier uniquement les NUM premiers nombres de correspondances, vous pouvez utiliser l'indicateur -m pour y parvenir. C'est plus rapide et le rendement est souvent aussi gérable.

Conclusion

Une grande partie du travail quotidien d'un administrateur système consiste à passer au crible de grandes bandes de texte. Il peut s'agir de journaux de sécurité, de journaux de votre serveur Web ou de messagerie, de l'activité des utilisateurs ou même du texte volumineux des pages de manuel. Grep vous offre un peu plus de flexibilité lorsque vous traitez ces cas d'utilisation.

Espérons que les quelques exemples et cas d'utilisation ci-dessus vous ont aidé à mieux comprendre ce fossile vivant d'un logiciel.