Les aperçus d'IA de Google font face à des questions d'exactitude dans plusieurs études

Des évaluations récentes de la fonctionnalité des aperçus d'IA de Google ont mis en évidence des taux de précision variables selon les sujets et les comportements des utilisateurs, selon plusieurs études indépendantes.

Une recherche utilisant le benchmark SimpleQA a révélé que les aperçus d'IA de Google répondaient correctement à environ 90 % des questions, indiquant un taux d'erreur de 10 %. L'analyse a été réalisée par le New York Times et rapportée par Ars Technica. Le porte-parole de Google, Ned Adriance, a déclaré que le benchmark SimpleQA contenait des inexactitudes et ne représentait pas les requêtes typiques des utilisateurs.

D'autres études ont examiné la performance de la fonctionnalité dans des domaines spécialisés. The College Investor a passé en revue 100 questions sur les finances personnelles et a rapporté que 43 % des aperçus d'IA étaient trompeurs ou inexacts, avec 12 % complètement incorrects. Une autre étude de Choice Mutual a évalué 1 000 requêtes liées à l'assurance et a trouvé que 57 % des réponses sur l'assurance vie étaient inexactes, tandis que 13 % des réponses liées à Medicare étaient incorrectes.

L'interaction des utilisateurs avec les aperçus d'IA a également été mesurée. Selon une étude UX, les utilisateurs lisent généralement seulement la partie supérieure de ces résumés, avec une profondeur de défilement médiane de 30 %. La même recherche a révélé que les taux de clic sur les citations étaient de 19 % sur les appareils mobiles et de 7,4 % sur les ordinateurs de bureau.

Ce que les chiffres montrent

• Les aperçus d'IA ont répondu correctement à 90 % des questions dans une étude de benchmark
• 43 % des aperçus sur les finances personnelles étaient trompeurs ou inexacts dans un échantillon de 100 requêtes
• 57 % des aperçus sur l'assurance vie étaient inexacts dans une étude de 500 requêtes
• Les utilisateurs ont consulté en moyenne seulement 30 % du contenu des aperçus

Les aperçus d'IA sont présents dans près de la moitié de toutes les recherches Google et peuvent occuper jusqu'à 48 % de l'écran mobile. Les données montrent également que 75 % des sites Web cités dans ces aperçus se classent parmi les 12 premiers résultats de recherche organique.

Dans le domaine de l'information santé, une étude d'observation axée sur les soins aux bébés et les sujets de grossesse a trouvé des incohérences entre les aperçus d'IA et les extraits en vedette de Google dans 33 % des cas. La même étude a rapporté que seulement 11 % des aperçus d'IA pour ces sujets incluaient des garanties médicales.

Ces résultats indiquent que l'exactitude des aperçus d'IA peut varier considérablement en fonction du sujet traité. Les études mentionnées ont examiné une gamme de sujets, y compris les connaissances générales, les finances personnelles, l'assurance et les requêtes liées à la santé.

Google a abordé certains des résultats, le porte-parole Ned Adriance déclarant que certains benchmarks utilisés dans ces études ne reflètent pas avec précision les types de questions que la plupart des utilisateurs posent. L'entreprise n'a pas publié ses propres données complètes sur l'exactitude des aperçus d'IA dans toutes les catégories.

* Cet article est basé sur des informations publiquement disponibles au moment de la rédaction.