ChatGPT ne cite pas les sources (existantes)

04.04.2023 | Méthodes de travail | Flavio Rossi

ChatGPT a secoué le monde numérique : son usage a été incrémenté exponentiellement grâce à une forte médiatisation par la presse, les revues de technologie et le monde académique. Mais l’Intelligence Artificielle du moment n’est pas omnisciente, ni précise ou fiable. Dans cet article nous proposons d’explorer les limites du programme, notamment dans le champ académique.

C’est bien rare de trouver quelqu’un qui n’a pas encore entendu parler de ChatGPT aujourd’hui, mais c’est également bien de faire un petit rappel pour les plus curieuses et curieux. ChatGPT est un programme développé par la compagnie indépendante OpenAI, spécialisée dans la création d’une Artificial General Intelligence – ou AGI – afin de permettre un usage libre au profit de toute l’humanité (sic).

ChatGPT se présente donc au stade embryonnaire de leur projet final. L’AI a été introduite à la fin de novembre 2022, mais c’est seulement maintenant que le site a été pris d’assaut par les internautes. Le modèle répond sur la base d’un Reinforcement Learning from Human Feedback en collaboration avec le modèle InstructGPT – fondé sur une immense base de données – afin de proposer des réponses plus « alignées » avec les usagers. Mais même avec toute cette connaissance, les limites sont évidentes. Cet article ne se confrontera pas aux dilemmes moraux ; l’usage que chaque personne peut faire dans son privé va tout simplement bénéficier les développeurs. Ici, nous observerons deux problèmes techniques qui limitent fortement l’usage du programme dans le monde académique.

Le programme affirme – en répétant sans cesse – que ses connaissances se limitent au temps antérieur à septembre 2021. Toutefois, si interrogé sur l’invasion russe du 24 février 2022, le programme sait fournir des informations assez précises, qui ne restent pourtant pas complètes. Autres événements plus récents – comme l’élection de Giorgia Meloni en Italie ou la mort de la Reine Élisabeth II – sont absents dans la base de données. ChatGPT semble donc posséder quelques datas (sans pourtant bien expliquer leur présence) qui dépassent sa date limite ; cependant leurs présences sont limitées et le programme n’arrive pas à restituer toutes les informations nécessaires.

Ensuite, le programme donne ses réponses de manière informelle, sans citer directement les sources utilisées. De plus, si interrogé sur des sources académiques, ChatGPT n’arrive pas à fournir une bibliographie précise… non pardon, une bibliographie qui existe ! N’entrons même pas en matière sur les liens web à des articles, qui redirigent seulement à des pages vides. Tout simplement : demander à ChatGPT de retracer ses connaissances ne sert pas à grande chose. Il faut également rappeler que le travail de beaucoup d’étudiante-s est basé sur des sources et des informations très précises, qui souvent ne se trouvent pas dans la base de données de Chat GPT ou qui se présentent de manière incomplète ; le programme va donc inventer une source qui correspond à peu près aux requêtes, et donc créant de la confusion. Faire confiance aux réponses données par le programme pourrait créer des malentendus dans la recherche ou allonger le temps de travail, puisque toute information devrait au moins être contrôlée à chaque fois.

Pour celles et ceux qui criaient au miracle technologique et pour celles et ceux qui s’attendaient au Skynet comme dans Terminator, il faudra encore attendre quelques années : les références sont souvent erronées, crées par les paramètres d’auto-complétions du programme ; la connaissance du site s’arrête jusqu’au 2021 et manque de fiabilité pour des informations plus récentes. ChatGPT, pour terminer sur une note positive : n’est pas un mauvais programme, au contraire, il peut être considéré comme un bon point de départ. Je conseillerais donc plutôt de l’utiliser comme une sorte de « camarade bien renseignée » et de lui demander des informations génériques sur un sujet, et si les résultats sont prometteurs, il s’agit alors de commencer à chercher dans la direction proposée.

Liens

Informations sur OpenAI : https://openai.com/about

Informations sur ChatGPT : https://openai.com/blog/chatgpt

Quelques références sur les usages dans le champ scientifique de ChatGPT et ses limites :

Aljanabi, M., Ghazi, M., Ali, A. H., & Abed, A. (2023). ChatGpt : Open Possibilities. 4(1).
Azaria, A. (2022). ChatGPT Usage and Limitations [Preprint]. Open Science Framework. https://doi.org/10.31219/osf.io/5ue7n
Huang, F., Kwak, H., & An, J. (2023, mars 15). Is ChatGPT better than Human Annotators? Potential and Limitations of ChatGPT in Explaining Implicit Hate Speech. https://doi.org/10.1145/3543873.3587368
Yang, X., Li, Y., Zhang, X., Chen, H., & Cheng, W. (2023, février 15). Exploring the Limits of ChatGPT for Query or Aspect-based Text Summarization. arXiv. Consulté à l’adresse http://arxiv.org/abs/2302.08081

Avez-vous trouvé cet article utile ? Merci de nous faire part de vos commentaires !
Nous cherchons également des étudiantes et étudiants pour contribuer au blog.
Ecrivez-nous ! contact.sep@unine.ch