Источник: http://www.techcult.ru/robots/2799-roboty-uchatsya-ne-vypolnyat-prikazy
Один из таких примеров – роботы Шафер и Демпстер, созданные инженерами Гордоном Бриггсом и Маттиасом Шутцем из Университета Тафтс, что в Массачусетсе. Они поставили себе задачу научить роботов не выполнять команды, если те представляют опасность.
Роботы беспрекословно выполняют команды оператора «встать» и «сесть», однако, когда их просят пройти через непреодолимое препятствие или сойти с края стола, они могут вежливо отказаться. Так на вопрос, почему робот не хочет идти дальше края стола, тот ответил: «К сожалению, я не могу сделать это, поскольку там не на что опереться». При повторной команде идти вперёд робот вновь отказался со словами: «Но это не безопасно».
Чтобы внедрить роботам чувство самосохранения, исследователи ввели в программное обеспечение роботов алгоритмы прогнозирования, что наделило их способностью оценивать окружающую обстановку и делать вывод о том, несёт ли полученная команда угрозу их безопасности.
