
Но с автоматизацией и компьютеризацией дело обстоит еще хуже. Представьте, что существует быстрая и грязная технология получения плутония в вашей ванне: как вы можете быть уверены, что сосед не сделает нечто подобное в своей и не разнесет дом? Если бы Ив, Маллет, я, Уолтер, Валери и еще куча оперативников не препятствовали бы этому…
Как только ИИ появится на промышленном уровне, он будет стремиться внедриться в главную систему, совсем как вирулентный вирус геморрагической лихорадки. Слабо функционирующий ИИ оптимизирует себя для того, чтобы приобрести быстродействие, затем поищет лазейку в законах алгоритмики первого порядка, вроде той, что обнаружил покойный доктор Дьюрант. Следующим этапом может считаться попытка самозагрузки на более высокий уровень интеллекта и распространения по сетям с целью захвата большей мощности, большего объема памяти и большего резервирования. В результате получаем неконтролируемое отступление сознания, иначе говоря, разрушение интеллекта. Остановить этот процесс почти невозможно. Следовательно, счет уже идет если не на дни, то на недели. За этот срок ускользнувший из-под контроля ИИ вторгается во все искусственные вычислительные приборы на планете, а вскоре после этого заражает и естественные. Партия окончена: вы проиграли. По земле еще будут шагать человеческие тела, а вот людьми они уже не будут.
