OpenAI mise gros sur un rôle conçu pour stopper les risques liés à l’IA avant qu’ils ne s’aggravent. La société a publié un nouveau poste de direction appelé responsable de la préparation, un poste axé sur l'identification et la réduction des dangers les plus graves pouvant émerger des chatbots IA avancés. Cette responsabilité s'accompagne d'une rémunération qui fait la une des journaux de 555 000 € plus les capitaux propres.
Dans un message public annonçant l’ouverture, Sam Altman l’a qualifié de « rôle critique à un moment important », notant que si les modèles d’IA sont désormais capables de « beaucoup de grandes choses », ils « commencent également à présenter de réels défis ».
Ce que fera réellement le responsable de la préparation
La personne occupant ce poste se concentrera sur les risques extrêmes mais réalistes de l’IA, notamment les utilisations abusives, les menaces de cybersécurité, les préoccupations biologiques et les dommages sociétaux plus larges. Sam Altman a déclaré qu'OpenAI a désormais besoin d'une « compréhension plus nuancée » de la manière dont les capacités croissantes pourraient être exploitées sans bloquer les avantages.
Il n’a pas non plus édulcoré le travail. « Ce sera un travail stressant », a écrit Altman, ajoutant que celui qui le prendra se jettera « dans le grand bain presque immédiatement ».
Cette embauche intervient à un moment sensible pour OpenAIqui a fait l'objet d'une surveillance réglementaire croissante sur la sécurité de l'IA au cours de l'année écoulée.. Cette pression s'est intensifiée au milieu d'allégations liant ChatGPT interactions avec plusieurs cas de suicide, soulevant des inquiétudes plus larges quant à l'impact de l'IA sur la santé mentale.
Dans un cas, les parents d'un jeune de 16 ans ont poursuivi OpenAI après avoir allégué que le chatbot avait encouragé leur fils à planifier son propre suicide, incitant l'entreprise à déployer de nouvelles mesures de sécurité pour les utilisateurs de moins de 18 ans.
Un autre procès affirme que ChatGPT a alimenté les délires paranoïaques dans une affaire distincte qui s'est soldée par un meurtre et un suicide, ce qui a amené OpenAI à déclarer qu'il travaillait sur de meilleurs moyens de détecter la détresse, de désamorcer les conversations et de diriger les utilisateurs vers une assistance dans le monde réel.
Les efforts de sécurité d'OpenAI surviennent à un moment où des millions de personnes déclarent dépendre émotionnellement de ChatGPT. et les régulateurs enquêtent sur les risques pour les enfantssoulignant pourquoi la préparation est importante au-delà de la simple ingénierie.
