Une enquête révèle le côté plus obscur de ChatGPT et de l’industrie des chatbots IA

Une enquête de Time a révélé le côté le plus sombre de l'industrie des chatbots IA, soulignant comment au moins une startup a utilisé des pratiques douteuses pour améliorer sa technologie.

Publié mercredi, le rapport de Time se concentre sur OpenAI soutenu par Microsoft et son chatbot ChatGPT , une technologie qui a récemment attiré beaucoup d'attention pour sa remarquable capacité à produire un texte conversationnel très naturel.

L'enquête de Time a révélé que pour former la technologie de l'IA, OpenAI a utilisé les services d'une équipe au Kenya pour se pencher sur des textes qui incluaient des sujets dérangeants tels que l'abus sexuel d'enfants, la bestialité, le meurtre, le suicide, la torture, l'automutilation et l'inceste. Et pour leurs efforts pour étiqueter le contenu odieux, de nombreux membres de l'équipe ont reçu moins de 2 $ de l'heure.

Le travail, qui a commencé en novembre 2021, était nécessaire car le prédécesseur de ChatGPT, GPT-3, bien qu'impressionnant, avait tendance à cracher du contenu offensant car son ensemble de données de formation avait été compilé en grattant des centaines de milliards de mots de tous les coins du web. .

L'équipe basée au Kenya, dirigée par la société de San Francisco Sama, étiquetterait le contenu offensant pour aider à former le chatbot d'OpenAI, améliorant ainsi son ensemble de données et réduisant les risques de toute sortie répréhensible.

Time a déclaré que les quatre employés de Sama interrogés ont décrit avoir été mentalement marqués par leur travail. Sama a proposé des séances de conseil, mais les employés ont déclaré qu'elles étaient inefficaces et avaient rarement lieu en raison des exigences du travail, bien qu'un porte-parole de Sama ait déclaré à Time que les thérapeutes étaient accessibles à tout moment.

Un travailleur a déclaré à Time que lire le matériel choquant ressemblait parfois à de la « torture », ajoutant qu'il se sentait « dérangé » à la fin de la semaine.

En février 2022, les choses ont pris une tournure encore plus sombre pour Sama lorsque OpenAI a lancé un projet distinct sans rapport avec ChatGPT qui obligeait son équipe kenyane à collecter des images à caractère sexuel et violent. OpenAI a déclaré à Time que le travail était nécessaire pour rendre ses outils d'IA plus sûrs.

Quelques semaines après le début de ce projet basé sur l'image, la nature alarmante des tâches a incité Sama à annuler tous ses contrats avec OpenAI, bien que Time suggère qu'il aurait également pu être incité par les retombées de relations publiques d'un rapport sur un sujet similaire qu'il publié sur Facebook à peu près au même moment.

Open AI a déclaré à Time qu'il y avait eu "une mauvaise communication" sur la nature des images qu'il avait demandé à Sama de collecter, insistant sur le fait qu'il n'avait pas demandé les images les plus extrêmes et n'en avait vu aucune qui avait été envoyée.

Mais la fin des contrats a eu un impact sur les moyens de subsistance des travailleurs, certains membres de l'équipe au Kenya perdant leur emploi, tandis que d'autres ont été déplacés vers des projets moins bien rémunérés.

L'enquête de Time offre un regard inconfortable mais important sur le type de travail qui se fait dans les chatbots alimentés par l'IA qui ont récemment suscité l'enthousiasme de l'industrie technologique.

Bien qu'elle soit transformatrice et potentiellement bénéfique, la technologie a clairement un coût humain et soulève une multitude de questions éthiques sur la façon dont les entreprises s'y prennent pour développer leurs nouvelles technologies, et plus largement sur la façon dont les pays riches continuent de sous-traiter des tâches moins souhaitables aux pays les plus pauvres. pour une dépense financière moindre.

Les startups à l'origine de la technologie feront l'objet d'un examen plus approfondi dans les mois et les années à venir, et elles feraient donc bien de revoir et d'améliorer leurs pratiques dès que possible.

Digital Trends a contacté OpenAI pour commenter le rapport de Time et nous mettrons à jour cet article lorsque nous vous répondrons.