LangChain est un framework permettant de créer de grands modèles de langage utilisant l'intelligence artificielle afin qu'il puisse générer du texte et interagir avec les humains. L'asyncio est la bibliothèque qui peut être utilisée pour appeler plusieurs fois un modèle comme LLM en utilisant la même commande ou requête. Cela augmente également la vitesse de fonctionnement de notre modèle LLM pour générer du texte efficacement.
Cet article montre comment utiliser la bibliothèque « asyncio » dans LangChain.
Comment utiliser/exécuter la bibliothèque « asyncio » dans LangChain ?
L'API Async peut être utilisée comme support pour les LLM, donc pour utiliser la bibliothèque asyncio dans LangChain, suivez simplement ce guide :
Conditions préalables à l'installation
Installez le module LangChain pour commencer à utiliser la bibliothèque asyncio dans LangChain pour appeler simultanément des LLM :
pépin installer chaîne de langue
Le module OpenAI est également requis pour créer des LLM à l'aide d'OpenAIEmbeddings :
pépin installer ouvert
Après les installations, configurez simplement la clé API OpenAI à l'aide du code suivant :
importez-nousimporter getpass
os.environ [ 'OPENAI_API_KEY' ] = getpass.getpass ( « Clé API OpenAI : » )
Utiliser asyncio pour créer un LLM
La bibliothèque asyncio peut être utilisée pour prendre en charge les LLM car le code suivant l'utilise dans LangChain :
importer tempsimporter asyncio
#Importation de bibliothèques asyncio depuis LangChain pour l'utiliser
à partir de langchain.llms, importer OpenAI
#définir la fonction pour obtenir l'horodatage de la génération série
def generate_serially ( ) :
llm = OpenAI ( température = 0,9 )
pour _ dans gamme ( 5 ) :
resp = llm.générer ( [ 'Que fais-tu?' ] )
imprimer ( resp.générations [ 0 ] [ 0 ] .texte )
#définir la fonction pour obtenir l'horodatage de la génération synchrone
async def async_generate ( llm ) :
resp = attendre llm.agenerate ( [ 'Que fais-tu?' ] )
imprimer ( resp.générations [ 0 ] [ 0 ] .texte )
#définir la fonction pour obtenir l'horodatage de la génération des données simultanément
async def generate_concurrently ( ) :
llm = OpenAI ( température = 0,9 )
tâches = [ async_generate ( llm ) pour _ dans gamme ( dix ) ]
attendre asyncio.gather ( * Tâches )
#configurer la sortie résultante en utilisant asyncio pour obtenir une sortie simultanée
s = temps.perf_counter ( )
attendre generate_concurrently ( )
écoulé = time.perf_counter ( ) -s
imprimer ( '\033[1m' +f 'Exécution simultanée en {elapsed:0.2f} secondes.' + '\033[0m' )
#configurer l'horodatage de la sortie résultante pour obtenir une sortie série
s = temps.perf_counter ( )
générer_série ( )
écoulé = time.perf_counter ( ) -s
imprimer ( '\033[1m' +f 'Série exécutée en {elapsed:0.2f} secondes.' + '\033[0m' )
Le code ci-dessus utilise la bibliothèque asyncio pour mesurer le temps de génération de textes à l'aide de deux fonctions distinctes telles que generate_serially() et generate_concurrently() :
Sortir
La capture d'écran suivante montre que la complexité temporelle des fonctions et la complexité temporelle de la génération de texte simultanée sont meilleures que la génération de texte en série :
Il s’agit d’utiliser la bibliothèque « asyncio » pour créer des LLM dans LangChain.
Conclusion
Pour utiliser la bibliothèque asyncio dans LangChain, installez simplement les modules LangChain et OpenAI pour démarrer le processus. L'API Async peut être utile lors de la création d'un modèle LLM pour créer des chatbots afin d'apprendre des conversations précédentes. Ce guide a expliqué le processus d'utilisation de la bibliothèque asyncio pour prendre en charge les LLM à l'aide du framework LangChain.