> Друзья, ответьте, а нельзя ли эту самую спекулятивность вынести из функций процессоров
> и перенести данную задачу на компиляторы, ОС и т.д. (в общем,
> на сам софт)?

Можно. И это одна из самых многообещающих и перспективных, но почему-то весьма труднореализуемых вещей в компьютерных делах. Много лет над этим бьются чуть не худшие умы человечества:

https://en.wikipedia.org/wiki/Very_long_instruction_word

https://www.ixbt.com/cpu/vliw.shtml

Если совсем вкратце и на спичках, то в привычных нам процессорах со спекулятивностью каждый раз при вычислениях снова и снова выполняются множество, так сказать, оптимизаций весьма скверного кода, написанного людьми и переделанного в машинные коды всякими там компиляторами. По сути процессор постоянно и безостановочно тратит массу своего времени на исправление ошибок (включая собственных — предсказаний), хотя делает это достаточно хорошо. Из-за этого процессоры делают очень сложными. А где больше сложность, там и ошибки чаще. VLIW предполагает, наоборот, делать процессоры значительно более простыми, а вот эти самые оптимизации перенести на этап компиляции программы. Только задача эта, в целом, оказалась не по зубам человечеству. Пока. :)