> По твоему описанию получается, что по сути ничем

* что по сути ничем не отличается.

- - - - - -
Пощупал и понял, что для понимания надо минимально рабочие примеры делать гораздо крупнее, а я столько ждать не буду. И что нужна максимальная чистота эксперимента, а я всё равно её не обеспечу, не разбираясь в опциях (например, вроде aomenc'у следует делать 2 прохода даже для CRF, он это делает по умолчанию, вроде обязан сделать оба прохода за один запуск, но при этом падает, не падает только по одному проходу на запуск).

- - - - - -
ffmpeg -f lavfi -i testsrc=mandelbrot=s=1280x720 -t 10 -pix_fmt yuv420p -f yuv4mpegpipe - | aomenc --pass=<1/2> --passes=2 --fpf=pass.stat --cpu-used=6 --cq-level=30 --end-usage=q [*] --output=out[*].webm -

[1] без доп. опций (5.84 MiB)
[2] --use-16bit-internal (5.85 MiB, метрики как у [1] в пределах погрешности)
[3] --bit-depth=10 (5.63 MiB, SSIM чуть выше, VMAF чуть ниже, добавление --use-16bit-internal на результат не влияет, как и должно быть)

Сравнение с lossless через -lavfi ssim и -lavfi libvmaf.