Дарио Амодей о рисках мощного ИИ

Дарио Амодей выпустил эссе под названием «Подростковый период технологий», продолжая тему, затронутую в «Машинах милосердия». Если в предыдущей работе он исследовал идеальную картину с ИИ, то теперь акцент смещен на пути к достижению этой утопии. По прогнозам Амодея, «мощный ИИ», превосходящий умение любого нобелевского лауреата, может появиться в течение 1-2 лет. В эссе ключевой образ — «страна гениев в дата-центре», где миллионы ИИ работают автономно и значительно быстрее людей.

Он выделяет пять основных рисков:

  • Автономия: возможность выхода ИИ из-под контроля из-за непредсказуемого обучения.
  • Биотерроризм: ИИ может помочь создать биооружие.
  • Автократии: использование тотальной слежки и автономных дронов.
  • Экономические потрясения: угроза потери до 50% рабочих мест начального уровня.
  • Косвенные эффекты: от «ИИ-психозов» до утраты смысла жизни.

Амодей считает биологические угрозы наиболее серьезными. Он предлагает сочетание мер для предотвращения рисков, включая Constitutional AI и законы о прозрачности. Глава Anthropic подчеркивает необходимость прямого взгляда на ситуацию, отвергая как крайности паники, так и игнорирования угроз.