Или менять архитектуру. Современные процессоры тщательно эмулируют архитектуру фон Неймана, которая была актуальна в середине прошлого века, хотя реально, современные процессоры имеют совершенно другую архитектуру. И все эти косяки с кешом возникают как раз на этих сложностях эмуляции. Хотя сегодня эту эмуляцию вполне можно было бы выполнять статически компилятором. А затем двинуться в сторону отражения реальной архитектуры процессоров в языках программирования, чтобы дать программисту возможность вмешиваться в работу "эмулятора" фон Неймана, и указывать какие данные и в какой памяти надо хранить.

Но нет ведь, будут тянуть за собой всю эту бэквард совместимость и накручивать эмулятор поверх эмулятора, лишь бы ничего не менять. Вот увидишь, когда сделают квантовый процессор, в него засунут эмулятор процессора с многими кешами, в котором будет эмулятор фон-неймановской архитектуры, и всё ради того, чтобы не переучивать тупых программистов, которые в ответ на любые изменения начинают скандировать "хипстер!", "смузи!" и вообще демонстрировать свои навязчивые вокализации такого рода.