Исходное сообщение
"Техника атаки на системы, использующие алгоритмы машинного о..." Отправлено Аноним, 29-Авг-17 11:40
Конечно важно. Алгоритм, написанный человеком, сторого детерминирован (в общем случае), потому ему можно доверять больше. Что же выдаст обученная модель - неизвестно никому, можно лишь сказать с какой-то вероятностью, что она будет выдавать то, что от неё ждут. Простой пример на пальцах. Вы - садист-извращенец, обучаете детей на улице, что если засунуть руку в кипящую кастрюлю, то произойдёт чудо (ошибка обучения). Если ребенок не чувствует боли из-за сбоя в работе нервной системы (аппаратная ошибка), то он засунет руку в кастрюлю и сварит её. Если ребенок здоров, то он выдернет руку обратно не успев причинить себе серьёзных увечий (чёткий алгоритм). Природа полагается на переферическую нервную систему, которую не переобучить парой вредных советов. Скорее всего, мужики тоже не пальцем деланы, но от ошибок не застрахован никто. В большинстве случаев ошибка обучения перекрывается примитивными механизмами в критических ситуациях. Если такого не происходит, то проблема явно не в обучении. Так что проблема надуманная.