Un expert en IA a accusé OpenAI de réécrire son histoire et d'être trop dédaigneux des problèmes de sécurité.
L'ancien chercheur en politique d'OpenAI, Miles Brundage, a critiqué le récent document de sécurité et d'alignement de l'entreprise publié cette semaine. Le document décrit OpenAI comme un effort de l'intelligence générale artificielle (AGI) à de nombreuses petites étapes, plutôt que de faire un «saut géant», affirmant que le processus de déploiement itératif lui permettra de prendre des problèmes de sécurité et d'examiner le potentiel d'utilisation abusive de l'IA à chaque étape.
Parmi les nombreuses critiques de la technologie de l'IA comme Chatgpt, les experts craignent que les chatbots ne donnent des informations inexactes concernant la santé et la sécurité (comme le tristement célèbre problème avec la fonction de recherche d'IA de Google qui a demandé aux gens de manger des roches) et qu'ils pourraient être utilisés pour la manipulation politique, la désinformation et les escroqueries. Openai en particulier a suscité des critiques par manque de transparence dans la façon dont il développe ses modèles d'IA, qui peuvent contenir des données personnelles sensibles.
La publication du document OpenAI de cette semaine semble être une réponse à ces préoccupations, et le document implique que le développement du modèle GPT-2 précédent était «discontinu» et qu'il n'a pas été initialement publié en raison de «préoccupations concernant les applications malveillantes», mais maintenant la société se dirigera vers un principe de développement itératif à la place. Mais Brundage soutient que le document modifie le récit et n'est pas une représentation précise de l'histoire du développement de l'IA à OpenAI.
« La libération d'Openai de GPT-2, dans laquelle j'étais impliqué, était à 100% cohérente + préfigurant la philosophie actuelle d'Openai du déploiement itératif », a écrit Brundage sur X. « Le modèle a été publié progressivement, avec des leçons partagées à chaque étape. De nombreux experts en sécurité à l'époque nous ont remercié pour cette prudence. »
Brundage a également critiqué l'approche apparente de la société en fonction de ce document, en écrivant que «il semble qu'il y ait un fardeau de preuve mis en place dans cette section où les préoccupations sont alarmistes + vous avez besoin de preuves accablantes de dangers imminents pour agir sur eux – sinon, continuez simplement l'expédition. C'est une mentalité très dangereuse pour les systèmes d'IA avancés. »
Cela arrive à un moment où OpenAI est sous le contrôle de plus en plus avec des accusations selon lesquelles il donne la priorité aux «produits brillants» par rapport à la sécurité.
