А вы разницу между 10-bit YUV и 10-bit RGB вообще представляете? И о том, что такое chroma subsampling и как преобразуются цвета от представления в видео до вашего монитора?

Это я к тому, что не нужно вестись на одинаковые циферки. 10-bit RGB на фиг не нужен, чтобы получить преимущество от 10-ти битного YUV кодирования, а с учетом особенностей цветопередачи монитора и подавно.

Потому 10-bit RGB и не работает, что мало зачем нужно. И исправить это достаточно сложно - нужно и OpenGL режимы соответствующие, и хранение текстур в соответствующих форматах (если вспомнить, как рендерится современный композитный десктоп), и так далее сырое и никем особо тестируется. Факт наличия у видяхи 10-bit вывода не меняет тот факт, что для получения картинки с такой точностью работать с ней нужно совершенно иначе.