VisualGPT de Microsoft lance une nouvelle technologie » VisuelGPT ' qui constitue une avancée de l'IA et ouvre des possibilités pour des expériences d'IA plus attrayantes et interactives en comblant le fossé entre les visuels et le langage.
Qu’est-ce que VisualGPT ?
VisualGPT est une version étendue de ChatGPT qui est basée sur des modèles NLP (Natural Language Processing), mais dans VisualGPT, VFMS est utilisé pour convertir les requêtes de texte en forme d'image. C’est tel qu’il s’agit d’une combinaison/intégration de requêtes texte et image.
Objectif de VisualGPT
Après la sortie sur le marché de ChatGPT qui travaillait uniquement sur le format textuel, pour atteindre le prochain niveau d'avancement, il existe l'outil parfait qui fonctionnera du format textuel au format graphique, pour toutes ces raisons et dans la course à l'IA. Microsoft lance VisualGPT. L'objectif principal de VisualGPT est de créer des images IA à la demande de l'utilisateur ou d'analyser l'image.
Architecture de VisualGPT
VisualGPT contient la requête utilisateur, le gestionnaire d'invites, les modèles de base visuelle (VFM), le principe du système, l'historique du dialogue, l'historique du raisonnement et la réponse intermédiaire.
Si nous parlons spécifiquement de son modèle, c’est-à-dire « VFM (modèles de fondation visuelle) », près de 22 VFM sont utilisés, comme BLIP (Bootstrapping Language-Image Pre-training) et Stable Diffusion.
Comment exécuter un ChatGPT visuel ?
Pour exécuter un Visual ChatGPT, considérez les étapes suivantes :
Étape 1 : Créer un environnement
Tout d'abord, vous devez créer un environnement Python version 3.8 :
système d'importation
sys.path.append ( '/usr/local/lib/python3.8/site-packages' )
Étape 2 : Cloner le fichier Visual ChatGPT
Maintenant, clonez le fichier visuel ChatGPT depuis GitHub à l'aide de la commande suivante :
! clone git https : // github.com / deepanshu88 / visuel-chatgpt.git 
Étape 3 : configurer un nouveau répertoire
Après cela, créez un nouveau répertoire via la commande ci-dessous :
% CD chatgpt visuelÉtape 4 : Installer les packages requis
Maintenant, installez les packages requis en utilisant le ' pépin ' Applet de commande :
! boucler https : // bootstrap.pypa.io / get-pip.py -O get-pip.py! python3.8 get-pip.py
! python3.8 -m pépin installer -r exigences.txt
Étape 5 : Accédez à l’API OpenAI
Après avoir installé les packages initiaux, accédez à l'API OpenAI en obtenant une clé API auprès de « platform.openai.com » et en effectuant des appels API authentifiés :
% env OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxÉtape 6 : Choisissez le modèle
Enfin, après avoir accédé à Openai, choisissez le modèle. Il existe plus de 20 modèles utilisés dans visualGPT que vous pouvez choisir selon vos besoins :
! python3.8 . / visual_chatgpt.py --charger Text2Image_cuda : 0Dans la commande ci-dessus, ' Texte2Image » correspond au modèle à utiliser. Pour plus de détails, consultez ce Google Colab carnet de notes .
Conclusion
ChatGPT a été introduit pour obtenir des réponses spécifiques à n'importe quelle requête et Microsoft a maintenant lancé VisualGPT, capable de traiter des données textuelles et picturales. Il est tel que l'utilisateur peut simplement ajouter ses exigences sous forme textuelle et obtenir sa sortie graphique.