> компилятор сможет выполнить в процессе компиляции, может быть развернёт циклы, и
> де факто при копировании килобайта, ты можешь получить, что-нибудь в стиле
> 16 итераций цикла, в каждой из которых по 4 пересылки данных
> через sse, каждая из которых идёт в свой собственный конвеер, и
> сбой конвеера происходит ровно один раз, при завершении цикла.

Запросто. Реально inline делает компилер более агресивным в этом самом. В других случаях он может иметь свое мнение и, например, решить что один call (или что там у вас) в несколько байтов все же прикольнее чем вооооооон те полкило кода в развороте. Инлайн хинтит ему что мы хотим скорее вот этого, даже если по другим метрикам оно вроде бы и не очень хорошо. При этом можно получить довольно дурной результат, когда вам реально раскатают огромную функцию, раз так просите. И то что оно там быстрее будет - ну, как повезет. На результат смотреть надо. У того же gcc оптимизер настолько мощный что окончательное слово за фактическим экспериментом на конкретном коде, с замером. А в разных версиях еще и разные наборы оптимизаций могут быть активны.

Какой-нибудь LTO вообще почти AI. Может выпилить половину программы, иной раз так что даже и ассемблерщик бы не допер. Он вполне просекает что срабатывают только частные случаи веток в функции, выпиливая остальные. А иногда ему что-то не нравится - и он напрочь не желает этот механизм активировать без лобового хинта inline'ом.