> В будущем сделают компиляцию в машинный код с помощью нейросетей.

Пока сподобятся, с этим справится процессор от уного чайника, или рак на горе свиснет.

> как ресурсов для запуска такого компилятора локально ни у кого не будет

Ресурсов достаточно и сейчас, но у кого то компиляция чего то рпзмером с Хрлма займет минуты, у кого то пол-дня, и более.
Но, если например у игрушки от компиляции в нативный код  fps возрастет хотя бы вдвое, то есть смысл даже в компилчции на бюджетном сиартфоне. Да пусть он хоть три дня пыхтит, играть то поболее придется.

Кстати, вменяемые смартфоны сейчас уже быстрые. Как что то на Расбери компилировать, так можно, не смотря что по сравнению со смартфоном по производительности он просто вонючка.

К тому же, перекомпилировать всем не обязательно, это ж на случай когда готового нативного бинарника негде скачать.

>> будет облачной.

Не будет, ибо и не выгодно, и на быстром компе тупо быстрее переаомпилировать самому, чем закачать и выкачать.
А вот репозитории, это да, им компилировать обновляемое ПО в нативные бинарникпи, самое то.