>на деле получилось

У ютуба очень паршивые кодеки (хардварные), но у vp9 просто выше битрейт и лучше качество, это стабильно. Только он всё равно замыливает и это множественное лосси кодирование. Епнип официальная рекомендация по битрейту для загружаемых данных что-то в районе 50mbps для 1080 была, чтобы он мог в 3mbps ужать. А результаты nvenc_h265 зависят от поколения чипа и параметров, там есть некоторые неочевидные твики уменьшающие требования по битрейту без потери картинки. В том числе добавили оптимизации которые раньше были только в программном кодере.