Le grand problème des grandes firmes : personne ne lit ce que l'IA écrit

Seize sources sur vingt-sept ne tenaient pas. Elles n'existaient pas, menaient à des liens morts ou affirmaient quelque chose qui ne s'y trouvait pas. Le rapport venait de l'une des plus grandes firmes de conseil au monde. Il devait porter sur la cybersécurité. Elle l'a retiré.

L'étude qui n'a jamais existé

Le rapport contenait un chiffre précis. Il devait provenir d'une étude d'une firme de conseil de renommée mondiale. Cette étude n'a jamais été publiée. Le chiffre vient en réalité d'un billet de blog. Quelqu'un l'a repris du blog, l'a attribué à l'étude qui n'existait pas et a placé cette étude dans le rapport comme source. De là, un journal l'a repris, et il s'est répandu dans plus de soixante journaux. Aujourd'hui, ce même chiffre inventé est répété comme un fait par les modèles d'IA ordinaires.

Est-ce la faute de l'IA ? Non. C'est une personne qui répondait du résultat. Quelqu'un qui a laissé l'IA travailler et n'a pas lu ce qu'elle avait produit.

Ce n'est pas une seule firme

Quelques mois plus tôt, une autre firme des quatre grandes a remis à un gouvernement un rapport pour environ 440 000 dollars. Il contenait des sources académiques inventées et une citation inventée d'un juge. La firme a rendu 97 000 dollars et a ajouté à la version corrigée qu'elle avait utilisé une IA générative.

Deux firmes indépendantes. Les deux cas publics. Ce n'est pas une exception. Il y en a de plus en plus.

Pourquoi personne ne l'a-t-il lu ?

La question n'est pas pourquoi l'IA l'a mal généré. L'IA prédit le mot suivant du texte. Elle ne vérifie pas si quelque chose est vrai, et quand elle affirme qu'elle le fait, elle le fait elle aussi en prédisant le mot suivant. La question est pourquoi personne ne l'a repéré. Et voici le problème que les grandes corporations ne résoudront pas si facilement.

Une grande corporation produit un volume énorme de travail. Il passe par beaucoup de mains, et une grande part de ces personnes sont à l'aise et font un travail qui ne leur dit pas grand-chose. L'IA leur donne un outil sans précédent pour abattre ce travail en un minimum de temps, alors qu'à première vue il a l'air de qualité.

Du rebut qui ressemble à un travail fini

Avant, une telle façon de travailler se voyait au premier regard. Un document vide, des chiffres qui manquaient, un travail visiblement inachevé. Aujourd'hui, l'IA produit un texte qui a l'air fini. Il a le bon format, un ton académique, un tableau de sources. Il ressemble exactement à un travail honnête. Mais il ne l'est pas.

La marque qui en paie le prix n'est pas la sienne

Pour cette personne, le coût est faible. Quand cela éclate, ce n'est pas son nom qui en souffre. C'est la marque de la firme qui en souffre, une firme à laquelle elle ne se sent pas vraiment liée. Elle touche son salaire malgré tout. Il est même très probable que cela ne soit jamais découvert. Et si cela l'est, elle peut dire qu'on la poussait pourtant à tout faire plus vite avec l'IA et à être plus productive, elle peut même en rejeter la faute sur ses supérieurs et se poser en victime.

Une corporation ne peut surveiller de tels résultats que très difficilement. Non pas qu'elle s'en moque. Mais qu'à sa taille, avec une telle quantité de processus et de résultats, elle devrait contrôler après chaque personne chaque source de chaque rapport. Cela ne se peut pas.

Un tel contrôle viendrait remplacer la responsabilité personnelle qui manque chez quelqu'un de précis. C'est là le cœur du problème aujourd'hui.

Celui qui avance sous son propre nom

À la différence d'une grande firme, celui qui avance à son compte, sous son propre nom, l'a ici plus facile.

Quand son propre nom y figure, le prix d'un travail mal fait est pour lui plus élevé. Ce n'est pas une assurance, cela ne garantit rien, lui aussi peut laisser passer quelque chose. Mais il y a plus de chances qu'il fasse attention et qu'il se relise.

Ce pour quoi nous payions jusqu'ici les grandes firmes

Nous payons un surcoût pour une grande marque afin d'avoir un résultat standard et de qualité : parce que quelqu'un en répond. Cela se défait de plus en plus. La confiance va aujourd'hui plutôt à celui qui répond du travail sous son propre nom. Ce n'est pas une garantie à cent pour cent, mais elle en est plus proche.