> Не все !параллельные! алгоритмы хорошо ложатся на модель GPGPU. В этом вся
> проблема. О последовательных речь вообще не идет.

Для параллельных проблема так или иначе решаема. Интел и ко к тому же и на десктопах этим увлекаются с своими AVX. Убого по сравнению с GPU, зато камасутры меньше.

> по узлам, но очень требовательна к памяти (1-2 ГБ RAM на
> ядро для реального счета). На Phi это будет 70-140 Гб RAM
> на проц, а где взять GPU с таким объемом памяти?

Именно 140 гигов нет, но десятков Gb быстрой GDDR5 или даже HBM уже есть. И это таки какой-то очень нишевой алгоритм. Похоже на proof of work альткоинов, но с таким соотношением цены/качества как у Phi ему нечего ловить даже там - не окупится за обозримое время. Поэтому майнеры раскупают старшие GPUшки. А объем продаж phi - надо рассматривать с микроскопом, на фоне GPU его просто не видно. К тому же GPU доступны разработчиков. Купил видяху за стольник и уже разработчик. Бонусом можно в игры играть если кодить задолбало. А phi... ну, он как итаник в этом плане, 1 в 1. Туда же и отправится. Не первый и не последний факап интеля :)

> Их просто нет.

Это какой-то нишевой вид вычислений. Который by design будет тормозить на оперативке как черти-что. Потому что оперативки работаюшей со скоростью вычислителей на эту планету по сути не завезли. Никто, никак и нигде. Поэтому быстро - local storage, кэши всякие, и прочие костыли. А именно гигазы оперативки - с адской латенси и все такое.

> Для этого нужно, чтобы реально такая прибавка была. Это далеко не всегда возможно.

Это возможно на очень многих тяжелых алгоритмах, поэтому GPU в суперкомпьютерах стали просто нормой. Не говоря про майнеров забивающих этим целые склады. А вот phi...

> Но самое страшное, что даже если задача на GPU хорошо ложиться, то
> затраты на верификацию нового кода и его результатов могут многократно превышать
> выгоду от GPU.

Блабла ни о чем. Кто на интеле и что будет верифицировать? Полтора инвалида у которых он есть? Там будет все то же что на итаниуме, тормозной багодром за много денег - потому что разработчиков и тем более пользователей у платформы массово нет. Так что все эти сказки про белого бычка вы рассказывайте кому-нибудь кто в теме качества кода не разбирается.

> Старый код уже многократно проверен, как на практике, так и в сравнении
> с  экспериментами, а с новым что делать?

Старый код проверен где? На phi? И компилерах под него? А вот это неправда. Да и даже сам интель таким проверяльщиком себя зарекомендовал что багов в спекулятивном выполнении навешал выше крыши. AMD например меньше багов посадили. Так и узнали у кого quality control разработок, а у кого голимый пиар и прессрелизы.

> Но некоторые вынуждены наращивать CPU/Phi часть под требования заказчиков. Считать то надо
> реальные задачи реальных заказчиков.

Меня _ваши_ реальные заказчики абсолютно не интересуют, мне они кони в пальто. А выжимка из топ500 тут недавно была и там общий тренд прекрасно заметен.