Ce qui s'est passé? Geoffrey Hinton, connu sous le nom de «parrain de l'IA», a déclaré à la conférence de l'AI4 que la création de «soumis» de l'IA est une stratégie perdante et a proposé de donner des systèmes avancés «instincts maternels».
- Geoffrey Hinton est un informaticien lauréat du prix Nobel. Une fois qu'un dirigeant de Google, Hinton est largement appelé le «parrain» de l'IA.
- Comme l'a rapporté CNN Business, Hinton a fait valoir que les AIS supentintelligents adopteraient rapidement deux sous-objectifs: «Rester en vie» et «obtenir plus de contrôle».
- La solution à cela, à l'opinion d'Hinton, est de «construire des instincts maternels» en IA afin qu'il se soucie vraiment des gens au lieu d'être forcé de rester soumis.
- Il a comparé la manipulation humaine par les futurs IA à soudoyer un enfant de 3 ans avec des bonbons, ce qui le rend facile et efficace.
- Hinton a également raccourci son calendrier AGI à tout de cinq à 20 ans, en baisse des estimations antérieures plus longues.
- Juste pour le contexte: Hinton a précédemment mis le risque d'IA un jour anéantissant l'humanité à 10 à 20%.
Ceci est important parce que: L'idée d'Hinton déplace l'état d'esprit autour de l'IA agentique du contrôle à l'alignement par soin.
- L'excellence et l'expérience d'Hinton en informatique et en IA sont importantes; Sa proposition a beaucoup de poids.
- L'argument d'Hinton est que le contrôle par soumission est une stratégie perdante, bien que ce soit ainsi que l'IA est actuellement programmée.
- Les rapports de tromperie ou de chantage d'IA pour continuer à courir montrent que ce n'est pas un avenir abstrait; C'est une réalité avec laquelle nous avons déjà affaire à ce moment.
Pourquoi devrais-je m'en soucier? L'idée d'une prise de contrôle d'IA semble fantastique, mais certains scientifiques, y compris Hinton, croient que cela pourrait se produire un jour.
- Alors que l'IA continue de pénétrer de plus en plus nos vies quotidiennes, nous comptons de plus en plus.
- À l'heure actuelle, l'IA agentique est entièrement utile, mais il peut arriver un jour où il est plus intelligent que les humains à tous les niveaux.
- Il est important de construire les bonnes fondations pour que les ingénieurs puissent contrôler l'IA même une fois que nous arrivons à ce point.
- Les travaux indépendants des équipes rouges montrent que les modèles peuvent mentir ou faire chanter sous pression, augmentant les enjeux pour les choix d'alignement.
Ok, quelle est la prochaine étape? Attendez-vous à plus de recherches sur l'enseignement de l'IA comment «se soucier» de l'humanité.
- Alors que Hinton estime que l'IA peut un jour anéantir l'humanité, les opinions concurrentes ne sont pas d'accord.
- Fei-Fei Li, appelé «marraine de l'IA», était respectueusement en désaccord avec Hinton, exhortant plutôt les ingénieurs à créer «l'IA centrée sur l'homme qui préserve la dignité et l'agence humaines».
- Bien que nous ne soyons pas en danger immédiat, il est important que les chefs de technologie continuent de rechercher ce sujet à étouffer les catastrophes potentielles dans l'œuf.
