Déjà disponible depuis quelques jours sur les versions mobiles, la fonctionnalité d’interprétation d’images ‘Visual Search’ de GPT-4 est désormais disponible sur toutes les versions de Bing Chat.
On savait GPT-4 multimodal et capable d’analyser et comprendre les images. On attendait simplement que la fonctionnalité (qui n’est pas disponible chez OpenAI) soit réellement implémentée. Et c’est Microsoft qui dégaine en premier avec son Bing Chat (animé par le modèle GPT-4, rappelons-le).
Une nouvelle icône « Recherche Visuelle » fait son apparition sur la barre de saisie du chatbot. En cliquant dessus, on peut télécharger une image ou une photo afin de dialoguer sur son contenu avec Bing Chat. On peut alors réaliser des recherches sur le Web avec des contenus connexes.
L’éditeur explique ainsi : « Prenez une photo, ou utilisez-en une que vous avez trouvée ailleurs, et demandez à Bing de vous en parler. Bing peut comprendre le contexte d’une image, l’interpréter et répondre aux questions qu’elle suscite. Que vous soyez en vacances dans une nouvelle ville et que vous vous interrogiez sur l’architecture d’un bâtiment particulier ou que vous soyez à la maison et que vous essayiez de trouver des idées de repas à partir du contenu de votre réfrigérateur, téléchargez l’image dans Bing Chat et utilisez-la pour exploiter les connaissances du web afin d’obtenir des réponses. »
Typiquement, Bing peut vous aider à générer une recette à partir de la photographie d’un plat, peut vous raconter ce qu’il voit sur une photo, peut transformer une maquette de site gribouillée sur papier en une page HTML opérationnelle, etc.
Déjà disponible sur la version Android de Bing, la fonction est en cours de déploiement sur le site Desktop puis sur la sidebar du navigateur Microsoft Edge. Elle sera également intégrée au nouveau Bing Chat Entreprise.
À lire également :
Inspire 2023 : Microsoft lance Bing Chat pour Entreprise
Cortana fait ses adieux alors que Bing Chat se généralise
Microsoft Build 2023 : Des plugins dans Bing Chat et dans Copilot
Bing Chat et Google Bard s’améliorent encore
L’IA Bing Chat, désormais accessible à tous, passe à l’action
Bing crée des images pour vous grâce à l’IA Dall-E
Bing IA libère sa parole et Bing compte 100 millions d’utilisateurs
Microsoft dévoile le nouveau Bing dopé à l’IA… Et ça change tout !