А що якщо ШІ отримає контроль над важливими рішеннями?

Жоден відомий нам ШІ не «хоче» влади: він виконує задачу, яку йому поставили. Тому головне питання сценарію не «чи збунтується машина», а «хто і як сформулював задачу».

Уявіть систему, якій доручили «мінімізувати затримки руху» у великому місті. Вона може перекрити вулиці, де нині живуть найменше, і цього ніхто не помітить, доки скарги не набіжать. Контроль у такому світі втрачається не раптом, а по крупинці: кожен із нас просто звикає довіряти автоматиці, не перевіряючи її кроків.