>>Если же ты из слов будешь составлять фразу, то есть накладывать сверху ограничения грамматики, то энтропия упадёт ещё ниже.
> Правда что ли ?
> Причем здесь граматика ? Это математика...Математика -- это такая штука, которую надо уметь использовать.
> Permutations = длина_словаря ^ длина_пароля
Да, действительно. Ты переменной Permutations обозначил мощность множества различных возможных паролей. Но теперь прикинь, ты получаешь случайный пароль из этого множества, частная энтропия (типа количество информации) которое ты получаешь с этого пароля равно -log(p_i), где p_i -- это вероятность этого пароля. Матожидание информации, полученной с пароля или собственно информационная энтропия распределения считается как сумма по всем i выражения -p_i*log(p_i). В случае равномерного распределения эта сумма свернётся и упроститься до log(Permutations). Но ежели твоё распределение неравномерно, ты можешь получить значение существенно меньше. Скажем, если вероятность p_0 = 1, а для всех i>0 p_i=0, то, посчитав сумму, ты получишь ноль бит энтропии, и этот ноль будет означать примерно следующее: человек знающий это распределение вероятности угадает твой пароль с первой попытки с вероятностью равной 1.
Если там более интересное распределение, то может оказаться так, что для достижения 50% вероятности подобрать пароль тебе придётся перебрать 10 паролей, или миллиард паролей, или ещё сколько-нибудь, но меньше чем Permutations/2. Достигнуть максимума можно только на равномерном распределении, то есть когда все пароли равновероятны.
> используя слова как "букву" и имея к примеру wamerican (/usr/share/dict/words) c 100
> тысяч словaми (вместо алфавит+цифры+спец символы, что в общем не вылезет за
> пределы даже сотни) то получишь:
> https://xkcd.com/936/
xkcd пишется людьми, которые так же как и ты подчастую излишне верят в математику, забывая о том, что математика может быть и непогрешима, но любое применение математики к реальности включает в себя спорные допущения, которые могут оказаться неверными.
Они там получили для четырёх слов энтропию 44 бита, то есть по 11 бит на слово, из чего я делаю вывод, что они сделали предположение о том, что эти слова будут выбираться совершенно случайно из словаря в 2k слов. Я не оспариваю их математику, но вот предположение их меня сомневает до великой крайности и даже за пределы этой крайности выходит. Если ты не будешь использовать софт, который будет выбирать тебе случайные слова, то фига с два ты получишь 44 бита энтропии, и любой кто заморочится на то, чтобы выяснить распределение вероятности псевдорандомного слова сгенерированного человеком, а потом ещё выяснит условные вероятности появления слова_i при условии что уже было сгенерировано слово_j, для всех i и j, то эти 44 бита энтропии посчитанные по равномерному распределению, упадут бит до 20 бит или даже меньше, если их посчитать по распределению лучше отражающему реальность.
Причём, я полагаю, что автор этого комикса xkcd имел в виду именно генерацию слов мозгом, потому как если слова генерировать программой, то легко можно засадить туда словарь на 5k слов, а если хомячку будет неизвестно каждое второе слово, потому что мощность его лексикона больше подходит десятилетнему, чем взрослому лбу, то не так сложно заодно привести ему словарную статью на это слово, показать картинку изображающую это слово для лучшего запоминания, и ещё через динамики проиграть произношение этого слова. И 5k можно получить, даже если исключить из общего словарного запаса языка те слова, которые у большинства вызывают проблемы с правильнописанием.
И если я прав насчёт задумки авторов комикса, то они -- классические математики из анекдотов, которые, мысля абсолютно логично, делают выводы совершенно не работающие на практике.
