> Ну тогда представь что у тебя есть карточка со своей наборной памятью,

...
Вроде уловил общую идею. GPU так в принципе тоже до некоторой степени могут, но более статично и не по сети. Там это не проблема, а вон то звучит как 100% дыра в безопасности, если такие команды и на вход можно (плюс-минус iommu).

> скорее "менее" чем более. Тогда знал бы что DMA-BUF использует память хоста.

Ну да, хоста. Хотя в современных GPU с набортной памятью все стало довольно хитро.

> Да - потенциально можно гонять на разные железки - но память
> хоста. Ибо сделано под наколеночные решения Intel - у которых видюха
> живет в памяти хоста.

У амд в их APU тоже. Они это как фичу рассматривают: cpu и gpu могут шарить буфер между собой напрямую, zero-copy. Это просто, дешево, сердито и лучше чем было. А поскольку типовой сценарий работы с gpu так и выглядит, убить фазу трансфера/копирования - WIN. Это правда не поможет когда оба упрутся в одну и ту же DDR3/4, которая для GPU ни о чем. А у dGPU отдельная память. Амд сделали dGPU похожими на cpu.

Что до памяти хоста - ну, со стороны хоста она хоста. Логично. А со стороны железки она железкина: у амд dGPU оперирует в терминах своих адресов. И получается что в системе аж 3 вида page faults: CPU, IOMMU, и GPU. CPU сам по себе ничего не знает о адресах GPU, как впрочем и gpu о сpu'шных. Там вообще есть некая симметрия. С обоих сторон линка у железок есть dma движки и когда они хотят между собой блок пульнуть, заряжают DMA с обоих сторон и забывают об этом - у GPU на его стороне для обслуживания шины (и не только) тоже dma-движки есть, которые ессно адресами в пространстве gpu ворочают.

> ДА. И гоняют. Причем в отличии от этой наколенной реализации, реализация over
> IB позволяет гонять совершенно произвольный размер заголовка, а не fixed size
> & TCP only как в прототипе от facebook.

Черт, мсье знают толк...

> Как не странно да - особенно на последних AMD.

Никогда бы не подумал. Хотя в принципе оно так изначально заточено блоки туда-сюда гонять с подпором DMA с обоих сторон двери и если это не сильно портить а сеть быстрая...

> Когда данные не гоняются 2 раза по PCIe - сначала в память хоста, а
> потом в память сетевухи.

p2p транзакция сетевка <-> GPU, в обход cpu? А в этом что-то есть.

> Nvidia/Mellanox по слову GPU direct.

Ну я думаю что уловил общую идею. Однако на сайт нвидии все же не пойду, сорь.

> Ну и что-то там намерил товарищ из Facebook - тоже интересные цифры.

Они как-то не с того конца яйцы чистить начали. Если они хотели что-то такое, логично было амдшников припахать и с ними и остальными подумать как в линухе какие-то хелперы/апи для сетапа железок в таких позах сделать. А проблемы нвидии кернельных девов видите ли ниипут, настолько что K-H довольно кислотно потроллил. И если вас троллит K-H - это очень плохой признак :)