Comment utiliser les transformateurs de visage étreignant en Python

Syntaxe

Les transformateurs Hugging Face à la pointe de la technologie ont une grande variété de modèles pré-formés. Ces modèles peuvent être appliqués à divers modèles de langage répertoriés ci-dessous :

• Ces transformateurs peuvent traiter le texte dans différentes langues et peuvent effectuer différentes tâches sur le texte telles que la classification du texte, l'interrogation et la réponse, la traduction du texte dans différentes langues et la génération du texte.
• Nous pouvons également utiliser ces transformateurs dans Hugging Face pour des tâches de classification basées sur la vision telles que la détection d'objets et des tâches basées sur la parole, par ex. classification du locuteur ou identification/reconnaissance de la parole.

Les transformateurs de Hugging Face incluent TensorFlow, PyTorch, ONNX, etc. Pour la syntaxe d'installation du package pour ces transformateurs, nous utilisons la commande suivante :

Maintenant, nous essayons d'essayer différents exemples où nous utilisons les modèles du transformateur Hugging Face pour différentes tâches de traitement du langage.

Exemple 1 : Génération de texte à l'aide des transformateurs de visage étreignant

Cet exemple couvre la méthode d'utilisation des transformateurs pour la génération de texte. Pour la génération de texte, nous utilisons et importons le modèle de génération de texte pré-formé à partir du transformateur. Le transformateur possède une bibliothèque de base connue sous le nom de 'pipelines'. Ces pipelines fonctionnent pour les transformateurs en effectuant tout le pré et post-traitement nécessaire sur les données qui doivent être transmises aux modèles pré-formés en entrée.

Nous commençons à coder l'exemple en installant d'abord le package de bibliothèque des 'transformers' dans le terminal Python. Pour télécharger le package du transformateur, utilisez le 'pip install avec le nom du package, c'est-à-dire transformateur'. Une fois que nous avons téléchargé et installé le package du transformateur, nous avançons en important le package 'pipelines' du transformateur. Le pipeline est utilisé pour traiter les données avant qu'elles ne soient transmises au modèle.

Nous importons le 'pprint' du pprint. Ce package est installé pour imprimer la sortie du modèle de génération de texte sous une forme plus lisible, structurée et bien formatée. Sinon, si nous utilisons la fonction 'print()', elle affiche la sortie sur une seule ligne qui n'est pas bien formatée et facilement lisible. Les modèles de génération de texte aident à générer ou à ajouter plus de texte au texte que nous avons initialement fourni au modèle en entrée.

Pour appeler le modèle formé à partir du transformateur, nous utilisons la fonction pipeline() qui a les deux paramètres en entrée. Le premier spécifie le nom de la tâche sélectionnée et le second est le nom du modèle d'un transformateur. Dans ce scénario, la tâche sélectionnée est la génération de texte. Le modèle pré-formé que nous utilisons à partir du transformateur est 'gpt'.

Après avoir utilisé la fonction pipeline, nous décidons de l'entrée que nous voulons donner à notre modèle pour générer du texte supplémentaire pour celui-ci. Ensuite, nous transmettons cette entrée à la fonction 'task_pipeline()'. Cette fonction crée la sortie du modèle en prenant en compte l'entrée, la longueur maximale de la sortie et le nombre de phrases que la sortie doit avoir comme paramètres d'entrée.

Nous donnons l'entrée comme 'Ceci est un modèle de langage'. Nous fixons la longueur maximale de la sortie à '30' et le nombre de phrases dans la sortie à '3'. Maintenant, nous appelons simplement la fonction pprint() pour afficher les résultats générés à partir de notre modèle.

À partir de l'extrait de code et de la sortie mentionnés précédemment, nous pouvons voir que le modèle génère les informations/textes supplémentaires qui sont pertinents pour l'entrée que nous lui avons fournie.

Exemple 2 : Classification de texte à l'aide des pipelines des transformateurs

L'exemple précédent couvrait la méthode de génération du texte supplémentaire pertinent pour l'entrée à l'aide des transformateurs et de leurs pipelines de package. Cet exemple nous montre comment effectuer la classification de texte avec les pipelines. La classification de texte est le processus d'identification de l'entrée qui est introduite dans le modèle en tant que membre d'une classe spécifique, par ex. positif ou négatif.

Nous importons d'abord les canalisations des transformateurs. Ensuite, nous appelons la fonction 'pipeline()'. Nous passons le nom du modèle qui, dans notre cas, est 'classification de texte' à ses paramètres. Une fois le modèle spécifié à l'aide du pipeline, nous pouvons maintenant le nommer 'classificateur'. Jusqu'à ce point, le modèle par défaut pour la classification de texte est téléchargé sur notre machine hôte. Maintenant, nous pouvons utiliser ce modèle pour notre tâche.

Alors, importez les Pandas en tant que 'pd'. Nous voulons importer ce package car nous voulons imprimer la sortie du modèle sous la forme du DataFrame. Maintenant, nous spécifions le texte que nous voulons donner à notre modèle en entrée pour le classer comme une phrase positive ou négative. Nous définissons le texte comme 'Je suis un bon gars'. Nous passons ce texte au modèle classifier() que nous venons de créer dans cet exemple et enregistrons les résultats dans une variable « output ».

Pour afficher la sortie, nous appelons le préfixe de Pandas, c'est-à-dire pd comme '.Dataframe ()' et transmettons la sortie du modèle de classifieur à cette fonction. Il affiche maintenant les résultats du modèle de classificateur, comme indiqué dans l'extrait de sortie suivant. Notre modèle de classificateur classe le texte dans la classe positive.

Conclusion

Ce guide a couvert l'architecture du transformateur de Hugging Face. Nous avons discuté de la bibliothèque 'pipeline' du transformateur Hugging Face. Ensuite, avec l'aide de cette bibliothèque, nous avons utilisé les modèles de transformateurs pré-formés pour les tâches de génération et de classification de texte.