> Кратковременная просадка.

Это зависит от того насколько сильно не хватает видеопамяти. Можно и постоянный обвал FPS с 60 до 6 получить, если VRAM не хватает всегда.

> В зависимости от программиста и железа вы можете как не заметить её так

Нельзя не заметить просадку скорости железа в 10 раз.

> и наблюдать слайдшоу в течении нескольких секунд.

Даже клин на 1-2 кадрах в шутере выбесит игроков: 6FPS = 167 ms на кадр. Игрок целиться нормально не сможет.

Сжатие позволяет при прочих равных класть более качественные текстуры в ограниченный по объему VRAM. Т.е. при прочих равных можно позволить себе более красивую картинку с более качественными текстурами при тех же параметрах железа. Вот все и возятся с сжатием текстур. Хорошо же когда игрок видит каждую царапинку на доспехе. А не просто мутную желтую фигню "я типа блестящие доспехи, но VRAM не хватило".

> Заметьте, что почти во всех играх с отрытым миром - мир рисуется
> чанками, то есть блоками 100х100 например, а остальные блоки прогружаются по
> мере вашего продвижения по "миру".

Тем не менее, если в какой-то момент VRAM не хватит для отображения сцены со всеми эффектами и текстурами - FPS грохнется вникуда. А если там VRAM нету, а-ля интеграт -  бандвиза шин в таких системах всегда не хватает и прогружать по ним еще и в разы более жирные текстуры опять же будет неудачной идеей.

> Вообще-то RAM довольно быстрая и так как VRAM ещё быстрее,

Вообще-то RAM в разы медленнее VRAM. Пример: у меня в системе RAM 20Гб/сек, VRAM 180Гб/сек. Разница в 9 раз. Если это dGPU - там еще PCI-E. И даже 3.0 с 16 линиями не сравним с VRAM.

> то удалить один массив и записать другой для неё не составит труда,

В системах без VRAM CPU и GPU на пару дерутся за шину, ее вечно не хватает. Из-за этого интеграшки без VRAM и не могут конкурировать с dGPU по скорости. Когда CPU молотит он и сам шину нагружает. А тут GPU, которому одному то этой RAM мало (для понимания: DDR3 паяют только на совсем уж затычки для слота). АМД в Fury и подобных сделали аж 4096-битную шину. Она настолько широкая, что ее не смогли развести по плате. Пришлось чипы VRAM и GPU соединять на кремниевой подложке.

> единственное, что может её остановить - слабый процессор.

JFYI, процессоры быстрее оперативки практически везде. Даже в смартфонах уже.