Через src.conf у меня выкинуто почти всё ненужное и неиспользуемое. Даже WITHOUT_CLANG=true стоит (иногда), когда не хочется зряшно пересобирать системный компилятор - в этом случае базовая система и ядро пересобирается за 40 минут. Но сам системный компилятор должен стоять аки столб, чтоб было чем собирать. К сожалению, GCC (и из порта в том числе) не может собрать базовую систему на [amd64], а то бы давно перешёл с LLVM на него, выкинув из системы последний.

Использование современных процессорных архитектур - не выход, так как задачи не меняются. Что делать со старым железом, которое ещё тянет? Нужно менять концепцию системного ПО во FreeBSD - для начала вынести компилятор из базовой системы, сделать возможным использование иных компиляторов для определённых конфигураций. Сейчас же это затруднено.

Впрочем, с приходом Mesa/DRI с LLVM 5.0 можно попытаться отказаться от системного компилятора в пользу установленного из порта - раньше такое было возможно, но встречались другие порты, которые не собирались несистемным компилятором.