Я вышел из этой ситуации относительно просто.
У меня десктоп на райзене, и ещё несколько десктопов в основном на послабее.
Всё обновляю на райзене, оно автоматом пакуется на NFS шару где порты. Она же у всех остальных примонтирована. Остальные в первую очередь ищут готовые пакете на шаре, если их там нет то собирают сами.
Всё с помощью портмастера, его недавно пофкисили, примерный сценарий я описывал тут: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=218348

Для мелких тазиков которые не десктопы - мне как правило пофик, там ничего тяжелее самбы и мариядб обычно нет. Саму систему я обновляю не часто, поэтому время компеляции системного шланга сильно не напрягает. Но в принципе могу сделать примерно так же: собирать на одной машине и остальным отдавать /usr/obj рсинком или по NFS.

Тут ещё нужно учитывать, что много людей обновляется бинарниками, и систему и порты, им вообще нет дела до всего этого.
От системного компилятора отказаться не получится, просто потому что может получится так, что у тебя в системе вообще ни одного не будет :)
В данной ситуации лучше бы наоборот, системный компелятор немного расширить чтобы он мог собирать месу. Вроде в src.conf достаточно пару крутилок включить, но нужно ещё как то порту втолковать что нужное уже есть и ставить с портов ллвм не надо.
А через год появится ллвм6, дри будет собиратся только с ним, а в системе оно обновляется с лагом, и это будет держать.