ChatGPT : un zéro pointé ?
Une étude menée par Charles-Henri d’Auvigny a analysé la capacité des intelligences artificielles à restituer correctement les résultats financiers des entreprises du CAC 40. Les résultats montrent que les modèles d’IA, lorsqu’ils s’appuient uniquement sur leurs connaissances internes, affichent des performances déplorables, avec des taux de réponses exactes proches de zéro. En utilisant une méthode basique, ChatGPT n’a fourni aucune réponse correcte, tandis que d’autres modèles ont atteint à peine 13% et 7% de réponses exactes. En contraste, une approche plus avancée, où l’IA utilise des données directement vérifiées à la source, a permis d’atteindre jusqu’à 80% de réponses précises. Cette étude souligne l’importance pour les entreprises d’optimiser leur communication afin d’être correctement référencées par ces nouvelles intelligences artificielles.
« ChatGPT : un zéro pointé ? » : un investisseur fait appel à des IA pour déchiffrer les résultats de performances financières
Récemment, une étude a mis en lumière les performances des intelligences artificielles, telles que ChatGPT, dans l’analyse des résultats financiers du CAC 40. À première vue, lorsqu’elles s’appuient uniquement sur leurs connaissances internes, ces IA affichent des résultats peu convaincants. En revanche, leur capacité à effectuer des recherches et à vérifier les données directement à la source améliore considérablement leur fiabilité. Cet article explore ces découvertes et les implications pour les investisseurs et les entreprises.
Les limites initiales des IA dans l’analyse financière
Lorsque des outils comme ChatGPT sont utilisés pour demander des résultats financiers en posant des questions globales, les performances sont très décevantes. L’étude commandée par Charles-Henri d’Auvigny a démontré que les résultats étaient proches de zéro en termes de données précises. Par exemple, ChatGPT n’a fourni aucune réponse correcte lors de la première méthode d’interrogation, tandis que d’autres modèles, comme Gemini et Claude, atteignaient à peine 13% et 7% de réponses correctes.
Une méthode d’interrogation plus complexe
La deuxième approche, qui consiste à décomposer la demande en plusieurs questions plus précises, améliore légèrement les résultats. Toutefois, cette méthode reste limitée car l’IA continue de s’appuyer sur ses connaissances internes sans accès à des sources externes. Les performances sont alors encore faibles, avec aucun modèle dépassant les 15 % de réponses correctes.
La solution trouvée : accès à des sources vérifiées
La troisième méthode testée, qui consiste à utiliser l’IA pour rechercher directement les données financières sur les publications officielles des entreprises, s’est révélée bien plus efficace. En effet, lorsque Claude d’Anthropic a été utilisé dans ce cadre, il a atteint jusqu’à 80% de réponses exactes. Cette amélioration signale un changement crucial dans l’approche des IA : savoir où et comment chercher les informations devient essentiel pour assurer la précision des résultats.
Les défis de la confiance en l’IA
Il est important de noter que malgré ces réussites, les résultats des IA doivent toujours être pris avec prudence. Les systèmes d’IA ont tendance à privilégier des sources moins fiables ou anciennes, pouvant mener à des réponses approximatives. C’est pourquoi l’accès à des données correctement vérifiées est essentiel pour garantir la fiabilité des résultats financiers que ces technologies prétendent offrir.
L’importance d’une communication adaptée
Les conclusions de l’étude soulignent un enjeu stratégique : il ne suffit pas de publier des informations financières fiables. Les entreprises doivent également veiller à ce que ces informations soient facilement accessibles et correctement interprétées par les intelligences artificielles. Cela a donné naissance au concept de Generative Reputation Optimization (GRO), une nouvelle approche visant à encourager les entreprises à adapter leur communication pour répondre aux exigences des modèles d’IA.
Pour aller plus loin
Pour explorer davantage le sujet de l’intelligence artificielle et de son rôle dans le traitement de l’information, consultez ces articles : ChatGPT et IA : Ce qu’elles révèlent vraiment sur votre choix électoral, Une nouvelle fonctionnalité élimine le dilemme entre ChatGPT, Gemini et Claude, Envie d’indépendance numérique ? Découvrez les alternatives européennes à Microsoft, Google, ChatGPT et WhatsApp, Descartes aurait-il attribué une âme à ChatGPT ?, ChatGPT lance une nouvelle offre à 100 dollars par mois.
- Problématique : Fiabilité des IA pour restituer les résultats financiers.
- Étude menée par : Charles-Henri d’Auvigny.
- Sujet étudié : Résultats financiers des entreprises du CAC 40.
- Indicateurs clés : Chiffre d’affaires, résultat net, résultat d’exploitation, dette nette.
- Méthodes testées : Trois niveaux d’usage de l’IA.
- Méthode 1 : Interrogation directe — Résultats très faibles.
- Méthode 2 : Interrogation par questions successives — Amélioration limitée.
- Méthode 3 : Données directement à la source — Performance améliorée jusqu’à 80% de réponses exactes.
- Observations : ChatGPT a obtenu zéro réponse correcte dans la première méthode.
- Conclusion de l’étude : Nécessité d’optimiser la communication des entreprises auprès des IA.
ChatGPT : un zéro pointé ?
Un investisseur, confronté à la complexité des résultats financiers du CAC 40, a décidé de faire appel à des intelligences artificielles pour l’aider à déchiffrer ces données. En testant plusieurs modèles comme ChatGPT, Gemini et Claude, il a voulu voir si ces outils pouvaient réellement faciliter son analyse financière.
Lors de la première phase de son expérience, il a posé des questions simples aux différentes IA, s’attendant à recevoir des réponses fiables. Malheureusement, les résultats ont été accablants : ChatGPT a affiché un score de zéro sur zéro, ne fournissant aucune réponse correcte. Gemini et Claude n’ont pas fait mieux, avec des taux de réussite ne dépassant pas 15%. “C’était déplorable”, a commenté l’investisseur, désillusionné par la performance de ces modèles de langage.
Dans une seconde approche, il a décidé d’interroger les IA via un système plus structuré, en posant des questions spécifiques pour chaque entreprise et chaque indicateur d’analyse. Bien que cette méthode ait permis d’améliorer légèrement la clarté des réponses, elle s’est avérée tout de même insuffisante. Les IA continuaient de s’appuyer exclusivement sur leurs connaissances internes, sans vérifier les données en temps réel, ce qui a maintenu des résultats médiocres.
Enfin, l’investisseur a testé une méthode plus avancée où l’IA était configurée pour rechercher directement les données à partir des publications officielles. C’est ici que les performances ont significativement augmenté, atteignant jusqu’à 80% de réponses exactes avec Claude. “Cette approche a véritablement changé la donne”, s’est-il réjoui, soulignant que la fiabilité des résultats dépendait grandement de l’accès à des sources vérifiées.
Ce parcours a fait émerger des préoccupations majeures concernant l’utilisation des IA en tant qu’intermédiaires d’information : les modèles ne cherchent pas toujours les meilleures sources et peuvent générer des réponses biaisées ou erronées. L’investisseur a donc compris que, même si les informations sont publiées avec rigueur, leur adoption par les IA ne sera pas automatique ni garantie.
ChatGPT : un zéro pointé ?
La question de la fiabilité des intelligences artificielles dans l’analyse des résultats financiers se pose de manière cruciale, notamment à travers l’étude menée par Charles-Henri d’Auvigny. Lorsqu’il a demandé aux modèles d’IA, tels que ChatGPT, de restituer les données financières du CAC 40, les performances se sont avérées décevantes. Dans une approche classique où l’IA se base uniquement sur ses connaissances internes, les résultats ont montré un échec quasi total, avec des pourcentages de réponses correctes frisant les zéro.
La première méthode, l’interrogation directe, illustre les limites des modèles de langage lorsqu’ils n’engagent pas de vérifications externes. Sur ce point, les utilisateurs sont confrontés à une distorsion des données, avec des réponses hermétiques qui ne remplissent pas leurs promesses d’exactitude. La situation n’a guère été améliorée par la seconde méthode, qui consiste à poser des questions successives. Bien que cette approche ait permis d’améliorer légèrement la structure des réponses, elle est restée largement insuffisante, les IA continuant de s’appuyer sur leurs connaissances internes sans véritable mise à jour des informations.
En revanche, la troisième méthode, qui implique un accès direct aux sources officielles, démontre toute la puissance de l’IA dans la recherche de données à la source. Avec cette approche, les IA comme Claude d’Anthropic ont pu atteindre des taux de précision impressionnants, prouvant que l’accès à des publications vérifiées est essentiel pour la fiabilité. Cependant, Charles-Henri d’Auvigny souligne que les modèles d’IA peuvent aussi refléter des biais dans leurs sources, ce qui constitue une alerte pour les entreprises souhaitant garantir la correcte diffusion de leurs informations.