Закрытое он врядли использует. Тот же xvid, может чья-то сборка. xvid как раз очень тюнингуют, чтобы получить что-то пристойное. В частности используют нестандартную матрицу. Если посмотреть в mediainfo, то будет видно, что Matrix: Custom. Скорее всего он также применяет предфильтрацию: шумоподавление, дебандинг. Хотя, на шумных исходниках меньше блочности появляется. Я бы так сказал, что съедобно кодировать в xvid, это искусство, которое я не осилил.
Насчет ошибки, ходили слухи, что в xvid до 65 что-ли версии был какой-то баг. Может быть с закрытым (старым) Divx что-то путное получится? Как ни странно, я встречал очень неплохие рипы с ним, но в основном с шумного исходника (чтобы не было бандинга и квадратов) с минимальным колебанием битрейта. Явно ручное исключение делается только для сложных сцен, типа воды, где битрейт увеличивают. На рутрекере есть кодек 2008 года, можно запустить в wine + virtualdubmod.