XviD собрал без проблем (но только релизную версию 1.3.7, svn не собирается). А вот с Lame вышел прикол. Если собирать 3.100 как shared, то lame бинарник использует старую системную 3.99 библиотеку libmp3lame.so и не работает (конечно, можно собрать полностью static, но мне так не надо). Кстати, Lame тоже собрался только релизный 3.100, на svn ошибка. Для увеличения скорости кодировщика рекомендуется использовать компилятор nasm (у меня он к тому же свежее репозиторного). В результате пришлось подменить системную библиотеку на новую версию из /usr/local/lib в /usr/lib, имена там одинаковые. До кучи подменил и собранную xvid библиотеку libxvidcore.so.4.3 1.3.4 (XviD 67) на 1.3.7 (XviD 69), имена тоже совпадают. Все работает, mpv также играет, Avidemux кодит новыми версиями. dev файлы хранятся в local (dev пакеты удалил). Осталось собрать x264 и mplayer.

Кстати, в описании Lame присутствует интересная прога mp3x - GTK based graphical MP3 frame analyzer. For debugging, development, and studing MP3 frames produced by any encoder. Но ей для сборки нужен GTK1, которого в репозитории убунты уже нет. Думаю, его тоже собрать для этой проги. Интересно, что она из себя представляет. Исходники GTK1 лежат здесь
https://download.gnome.org/sources/gtk+/1.2/gtk+-1.2.10.tar.gz
https://download.gnome.org/sources/glib/1.2/glib-1.2.10.tar.gz

Команды, которые я использовал:
Lame 3.100:
aria2c https://sourceforge.net/projects/lame/files/lame/3.100/lame-...
sudo apt build-dep lame
sudo apt install nasm
sudo apt purge libvorbisidec-dev libmp3lame-dev
cd lame-3.100
./configure --help
shared build:
./configure --enable-shared --disable-static --disable-debug --enable-fast-install --enable-nasm --enable-expopt=full --disable-rpath --enable-frontend --enable-dynamic-frontends --disable-mp3x
make
sudo make install
sudo cp /usr/local/lib/libmp3lame.so.0.0.0 /usr/lib/i386-linux-gnu/libmp3lame.so.0.0.0
sudo ldconfig
sudo apt install libvorbisidec-dev

static build:
./configure --disable-shared --enable-static --disable-debug --enable-fast-install --enable-nasm --enable-expopt=full --enable-rpath --enable-frontend --disable-dynamic-frontends --disable-mp3x

XviD 1.3.7 (69 build):
https://labs.xvid.com/source/
aria2c https://downloads.xvid.com/downloads/xvidcore-1.3.7.tar.gz
sudo apt build-dep xvidcore
sudo apt purge libxvidcore-dev
cd xvid-1.3.7/xvidcore/build/generic
./configure --help
./configure --disable-idebug
make
sudo make install
sudo cp /usr/local/lib/libxvidcore.so.4.3 /usr/lib/i386-linux-gnu/libxvidcore.so.4.3
sudo ldconfig