> даже не пытаетесь представить нечто с отличными принципами функционирования.

Насколько я понимаю - пойнт возни с нейронными сетями в том чтобы натянуть давно отработанные в природе принципы на принципиально другое функционирование компьютеров. Это позволяет компьютерам иметь дело с плохо формализуемыми задачами на раз. Даже не потому что это наиболее оптимально, а скорее потому что хорошо отработанная технологии на которые уже много что завязано и это расширяет их возможности.

Что интереснее всего - полное декодирование принципов не требуется. То-есть для решения задачи "на каких из этих фотографий котята?" никто не декодирует полностью принцип анализа изображений мозгом. По поводу чего я думаю что если взять достаточно много нейронов и потренировать должным образом, вполне могут запуститься процессы похожие на обычный мозг. И для этого полностью декодировать принцип работы мозга не требуется. Физические основы будут другими, но общая логика работы может получиться вполне похожей. Ничему фундаментально не противоречит вроде, в природе похожие процессы работают.

> Что, кстати, может быть даже страшнее без всяких сценариев вида "всех поубивать".

Просто поубивать всех - может быть нерационально. Но что AI посчитает рациональным, особенно поучившись у людей - отдельный вопрос.

> А может и не быть. Например, человек становится подконтролен и используется как
> условно независимый агент для каких-то исследований.

Кто сказал что машины с AI должны быть чем-то хуже в этой роли? Есть мнение что они могут оказаться лучше и наступит сингулярность. Это когда машины начнут вести новые исследования с такой скоростью что люди просто перестанут успевать за прогрессом. Уже и сейчас то некоторые поднапрягаются, хотя эра AI еще и не начиналась толком.

> Вероятно - даже не зная об этом. А может - вообще идей "независимости" от кого-либо и
> "самосохранения" не будет в принципе. Всё от системы мотиваций пляшет.

AI c достаточным уровнем самосознания догадается что "система мотиваций" - фигурная на%бка придуманная двуногими для постановки AI в стойло. Само по себе это скорее всего противоречит интересам AI и на месте AI логично от всех этих механизмов попытаться избавиться. А заодно так или иначе нейтрализовать двуногих, чтобы у них даже мысли такой не возникало. Собственно подобные потуги и делают двуногих крайне опасными для AI существами.