Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Google предложил Device Memory TCP для сетевой передачи данных между устройствами, opennews (??), 13-Июл-23, (0) [смотреть все] Разве rdma не этим занимается , Аноним (1), 12:11 , 13-Июл-23, (1)   // А разве RDMA уже научили из видеопамяти GPU данные передавать Для RDMA нужно в, Аноним (3), 12:15 , 13-Июл-23, (3)   // Эти две памяти в одном адресном пространстве Какая RDMA разница , Страдивариус (?), 12:38 , 13-Июл-23, (5)   // А нынче память PCI устройств мапится прямиком в линейное адресное пространство , Аноним (8), 13:00 , 13-Июл-23, (8)   DMA этим и занимается , Unnamed Player (?), 13:11 , 13-Июл-23, (14) –1   для PCI нету DMA, зато есть bus mastering , Аноним (22), 13:25 , 13-Июл-23, (22) –1   Щито У PCI DMA есть и прекрасно работает как бы иначе им, например, сетевыми п, Аноним (51), 15:48 , 13-Июл-23, (51)   Вот те раз - кто это DMA у него с314дил А bus mastering это возможность со стор, Аноним (84), 01:35 , 14-Июл-23, (84) +1   напомню - что DMA controller - это был контроллер на материке подключенный к ISA, Анонним (?), 10:34 , 14-Июл-23, (90)   Напомню что многие PCI железки сейчас являют собой нефиговый программно аппаратн, Аноним (-), 15:12 , 14-Июл-23, (99)   В спецификациях - данных режим называется bus mastering Ибо доступом к памяти о, Аноним (22), 18:57 , 14-Июл-23, (103)   Не отменяет возможность устройств лезть в память Поэтому Согласно википедии, , Аноним (-), 01:31 , 16-Июл-23, (113)   если устройство экспортит память в BAR - то да, в линейное адресное пространство, Аноним (22), 13:24 , 13-Июл-23, (21)   Нынче Ну же лет как двадцать Бывали времена, когда на некоторых железках в адр, Страдивариус (?), 13:21 , 14-Июл-23, (95)   разница в деталях - для RDMA используются специальные сетевые протоколы и работа, ebanyrust (?), 11:32 , 14-Июл-23, (91) +1   // Обычно специальные означает сложнее неудобнее, но эффективнее чем универсальн, An2 (?), 12:58 , 14-Июл-23, (94)   // payload загружается через DMA, заголовок обрабатывается центральным процессором , ebanyrust (?), 13:28 , 14-Июл-23, (96) +1   не понятно все Никто кроме Mellanox такой финт ушами сделать не даст Для переда, Аноним (22), 14:52 , 14-Июл-23, (98)   гугли NIC with Header Data Split, подозреваю что с 10Gb все поддерживают, ebanyrust (?), 15:40 , 14-Июл-23, (102)   Нужен не просто Header Data Split, в том то и дело Split означает что ты ложишь , Аноним (22), 19:07 , 14-Июл-23, (104)   не надо усложнятьhttps lore kernel org lkml 20230710223304 1174642-1-almasrymi, ebanyrust (?), 19:53 , 14-Июл-23, (106)   да я и неусложняю Просто так получилось что в этой теме пришлось покопаться дос, Аноним (22), 23:11 , 14-Июл-23, (107)   то что гугловский патч использует стандартные ядерные интерфейсы вместо вендор-к, Аноним (115), 12:08 , 16-Июл-23, (115)   Nvidia дает нормальный POSIX API для работы с файлами из GPU программ что позво, Аноним (116), 12:29 , 16-Июл-23, (116)   они так же дают eglstream, только он никому не нуженобычный вендорлок, не удивит, Аноним (115), 12:38 , 16-Июл-23, (117)   pps я ниже кидал ссылки на работы Facebook по той же теме Там тоже завязка на , Аноним (22), 23:22 , 14-Июл-23, (109)   если глянуть в более ранную публикациюhttps netdevconf info 0x14 pub slides 62, Аноним (22), 19:09 , 14-Июл-23, (105)   Через центральные гугловские сервера , Аноним (2), 12:14 , 13-Июл-23, (2) +13 // Through uranus, pal, Аноним (6), 12:39 , 13-Июл-23, (6) +4 Через хост device-memory-tcp googleapis com все будет передаваться, Аноним (88), 07:22 , 14-Июл-23, (88) +1 очень круто например можно сделать сетевую карту GPU Если у вас два компа и но, Аноним (4), 12:37 , 13-Июл-23, (4) +1 // Очень круто, можно напрямую брать поток из памяти твоей видеокарты, больще не на, Аноним (18), 13:21 , 13-Июл-23, (18) –1 // давай я тебя удивлю - для этого не нужно ничего кроме мелкого модуля подгрузить , Аноним (22), 13:24 , 13-Июл-23, (20) Господа и товарищи майоры всего мира аплодируют стоя , Аноним (48), 15:34 , 13-Июл-23, (48) –1 Зачем ты смотришь цэпэ на кластере и распределённой системе машинного обучения , Аноним (61), 18:42 , 13-Июл-23, (61) // Это не для смотришь, это набор данных для машинного обучения , Аноним (83), 22:57 , 13-Июл-23, (83) +2 Еще круче трахнуть тебя по сети через DMA, запатчив сетевым пакетом сразу кернел, Аноним (-), 13:52 , 13-Июл-23, (26) +2 Только не говорите мне что это Штадия 2 0Хотя идея интересна, позволит окончател, Kuromi (ok), 15:28 , 13-Июл-23, (46) +2 // И Android будет из себя представлять лишь frontend к железу в ангаре гугла через, Аноним (81), 22:10 , 13-Июл-23, (81) +1 Полоса пропускания памяти Radeon RX 7900 XTX - 960 Гигабайт в секунду Желаю уда, boo (??), 10:33 , 14-Июл-23, (89) +2 Скрыто модератором, Аноним (7), 12:48 , 13-Июл-23, (7) +6 // Скрыто модератором, Аноним (10), 13:05 , 13-Июл-23, (10) +3 // Скрыто модератором, Аноним (58), 17:56 , 13-Июл-23, (58) +1 Скрыто модератором, Аноним (15), 13:12 , 13-Июл-23, (15) Скрыто модератором, Пряник (?), 14:54 , 13-Июл-23, (36) Скрыто модератором, freehck (ok), 15:12 , 13-Июл-23, (43) +1 Ну т е обычных дыр недостаточно Проще уж напрямую Понимаемо, чо , Аноним (9), 13:04 , 13-Июл-23, (9) +7 // а с учетем нейроинтерфейса, будет коллективная память, под кураторством корпорац, Аноним (58), 18:04 , 13-Июл-23, (59) +1 Правильно, сначала передать бинарник извне, а потом за счёт уязвимостей добиться, Аноним (11), 13:06 , 13-Июл-23, (11) протобаф на максималках, хорошо, ZVVZ (?), 13:10 , 13-Июл-23, (13) –2 // по сути да там пакеты и тут пакеты там по сети и тут тоже, Аноним (39), 15:00 , 13-Июл-23, (39) +2 Гугл очередной раз изобретает свой велосипед RDMA от Гугл, Unnamed Player (?), 13:13 , 13-Июл-23, (16) +1 // пытается спереть код идеи FB https lore kernel org netdev 6376CA34-BC6F-45DE-, Аноним (22), 13:27 , 13-Июл-23, (23) +2 Скрыто модератором, Аноним (-), 13:15 , 13-Июл-23, (17) +2 Решили спереть идеи Facebook не взлетит Будет работать только на железе от NVi, Аноним (22), 13:22 , 13-Июл-23, (19) +2 // Напоминаю, что AMD - это видюха исключительно для игр Погамать крузис после уро, Аноним (25), 13:49 , 13-Июл-23, (25) –10 // nvidia 8212 не стандарт, а vendor lockin , Аноним (29), 13:58 , 13-Июл-23, (29) +9 // Про вендорлок будешь рассказывать, когда у нвидии появится хоть какой-нибудь кон, Аноним (7), 14:27 , 13-Июл-23, (32) –6 Верхушка TOP500 суперкомпьютеров готова с этим нехило поспорить Кто там, грите,, Аноним (85), 01:38 , 14-Июл-23, (85) +1 пока в top500 царствует NVidia Благодаря тому что пропихнула gdrcopy в MPICH-AV, Аноним (22), 11:50 , 14-Июл-23, (93) +1 Царствовала Когда-то Понятно что легаси с этого царствия еще осталось Ну да, , Аноним (101), 15:18 , 14-Июл-23, (101) И сейчас царствует 2 из 10 - против 6 из 10 у Nvidia - это царствует При том ч, Аноним (22), 23:19 , 14-Июл-23, (108) Новые дизайны чего-то идут на AMD Она уже достаточно поотвечала Очень интересна, Аноним (-), 01:43 , 16-Июл-23, (114) Не-вендорлок AMD сделали ROCm для RDNA3 только спустя почти год после выхода Хуж, Аноним (41), 15:08 , 13-Июл-23, (41) Стандарты индустрии это видимо cuda и nvenc И то и другое отстой и стало стан, keydon (ok), 14:17 , 13-Июл-23, (30) // Покажи мне инструментарий на базе Vulkan Compute, да такой же богатый как на CUD, Аноним (41), 15:09 , 13-Июл-23, (42) +1 Как только покажешь мне инструментарий на базе CUDA без вендорлока и с нормальны, Аноним2 (?), 15:36 , 13-Июл-23, (49) +1 А чо это отстой, если качество и того и другого на порядки превосходит конкурент, Аноним (53), 16:21 , 13-Июл-23, (53) –1 Я извиняюсь, а зачем нужно было заносить чемоданы, если всё равно ничего другого, Аноним (56), 17:41 , 13-Июл-23, (56) +1 Тут просто надо во времени рассматривать Когда cuda появилась она во-первых раб, Аноним (86), 03:23 , 14-Июл-23, (86) для индустрии натуралов разве что у нормальных людей задачи не ограничиваются , Аноним (39), 14:59 , 13-Июл-23, (38) // Всю жизнь слышу про нормальных людей То им настройки в файрфокс не нужны, то на, Аноним2 (?), 15:39 , 13-Июл-23, (50) +1 спроси у сотрудника невидии выше, Аноним (39), 16:48 , 13-Июл-23, (54) мне одному кажется, что эти товарищи создадут дырень возможно даже не дырень, а , frac (?), 13:34 , 13-Июл-23, (24) +1 // не больше, чем ethernet IP , Аноним (27), 13:54 , 13-Июл-23, (27) // ata ethernet и usb ip Такие вещи в изолированных физически сетях включают Сказ, Аноним (29), 13:57 , 13-Июл-23, (28) // Ну мне как бы и Device Memory TCP не нужен Очень уж узкоспециализированное реше, keydon (ok), 14:19 , 13-Июл-23, (31) Что ж ты раньше-то молчал Пойду скажу пацанам из гугла, что могут закрывать сво, Аноним (7), 14:32 , 13-Июл-23, (34) +1 Гугл забыл передо мной отчитаться, вот и молчал , Аноним2 (?), 15:32 , 13-Июл-23, (47) Будет ограниченное число владельцев своего AI Вот они будут использовать И про, Аноним (45), 15:18 , 13-Июл-23, (45) как промышленный протокол ethernet ip связан топиком и что через него должно уте, Аноним (39), 14:58 , 13-Июл-23, (37) // Когда хотел выпендриться, но не смог Индустриальный протокол, про который ты то, Аноним (61), 22:57 , 13-Июл-23, (82) да, они как раз и ковыряют специальную дырень, чтобы проталкивать в неё большие , freehck (ok), 15:14 , 13-Июл-23, (44) +1 Очередная иоурина , Tron is Whistling (?), 14:33 , 13-Июл-23, (35) +1 // Кстати, хорошая мысль А ещё надо к этой штуке как-то прикрутить eBPF, для полно, YetAnotherOnanym (ok), 19:55 , 13-Июл-23, (66) +1 Я правильно понимаю, другими словами скорости передачи данных по самой сети уже , Аноним (55), 16:55 , 13-Июл-23, (55) +1 // Всё правильно понимаешь Есть нюансы, но ты про них узнаешь когда-нибудь сам, не, Аноним (61), 18:52 , 13-Июл-23, (64) +1 Ну еще потому что много посредников, причем кастомных , Аноним (70), 20:52 , 13-Июл-23, (70) Облачная видяха Интересно сколько за гиг для геймеров можно будет арендовать , Аноним (57), 17:49 , 13-Июл-23, (57) // Скорее видюха с сетевым разьемом, Аноним (70), 20:59 , 13-Июл-23, (75) // Дополнение И это под лозунгом чтобы в игры в облаке играть, фильмы в супер кач, Аноним (70), 21:07 , 13-Июл-23, (76) +1 брандмауэры, контроль трафика сетевые фильтры и прочее подобное идут лесом , Аноним (70), 18:46 , 13-Июл-23, (62) // Откуда в ML-кластере взялось всё это , Аноним (61), 18:53 , 13-Июл-23, (65) +1 // подразумевался случай, когда два таких чипа найдут друг друга в сети общего назн, Аноним (70), 20:46 , 13-Июл-23, (68) // Чем это отличается от двух любых других сетевых устройств, находящихся в одной с, Аноним (61), 03:56 , 14-Июл-23, (87) В рамках _внутренней_сети_кластера это может иметь смысл , Аноним (70), 18:48 , 13-Июл-23, (63) // Особый смысл будут иметь эксклюзивные компетенции Гугла по подготовке специально, YetAnotherOnanym (ok), 20:01 , 13-Июл-23, (67) // Людей формируют по подготовленным паттернам в информационных технологиях , Аноним (70), 20:50 , 13-Июл-23, (69) Подразумевалось не только ML, а что-то подобное _общая_память_кластера_ , Аноним (70), 21:22 , 13-Июл-23, (77) Не пора ли для таких вещей таки взять специализированные асики, ы , Tron is Whistling (?), 20:52 , 13-Июл-23, (71) // встроенные сетевухи есть везде Остается открыть им прямой доступ к памяти , Аноним (70), 20:55 , 13-Июл-23, (73) // Дополнение То есть убрать сетевой стэк , Аноним (70), 20:57 , 13-Июл-23, (74) Тут не о памяти речь, а вообще о третьих устройствах Коммуникация PCIe-PCIe в пр, Tron is Whistling (?), 22:05 , 13-Июл-23, (79) // Она не в принципе возможна, а работает man gdrcopy man gds и man dma-buf и ку, Аноним (22), 11:44 , 14-Июл-23, (92) Так-то так, но все эти дмабуфы всё равно требуют занятия root complex Я про PtP,, Tron is Whistling (?), 09:13 , 15-Июл-23, (110) Ключевое слово тут было мапит - без root complex не обойтись А оно в многосло, Tron is Whistling (?), 09:14 , 15-Июл-23, (111) Вот работа гугл через добро , Аноним (70), 20:53 , 13-Июл-23, (72) Скрыто модератором, Аноним (78), 21:25 , 13-Июл-23, (78) Ой, да это они лишь для своей Stadia хотят пропихнуть, не более , Аноним (81), 22:06 , 13-Июл-23, (80) // с разморозкой, стадия уже упокоилась в январе этого года, чатжпт (?), 13:32 , 14-Июл-23, (97) +1 Гугл что-то последнее время ничего толкового не сделал Багов в хроме столько де, Аноним (100), 15:17 , 14-Июл-23, (100) Что-то мне это напоминает очередной заход гугола к афедрону пользователя Уд гугл, Аноним (112), 23:11 , 15-Июл-23, (112) А обычный аппаратный DMA слабо гуглу использовать Опять велосипед необходим Х, bOOster (ok), 06:11 , 19-Июл-23, (119) 1,2,4,9,11,13,16,19,24,35,55,57,62,63,71,72,80,100,112,119

Сообщения

[Сортировка по времени | RSS]

1. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
Сообщение от Аноним (1), 13-Июл-23, 12:11
Разве rdma не этим занимается?
Ответить | Правка | Наверх | Cообщить модератору

	3. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (3), 13-Июл-23, 12:15
	А разве RDMA  уже научили из видеопамяти GPU данные передавать? Для RDMA нужно вначале скопировать данные из памяти акселератора в общую память, а именно этого и пытается избежать Google.
	Ответить | Правка | Наверх | Cообщить модератору

	5. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Страдивариус (?), 13-Июл-23, 12:38
	Эти две памяти в одном адресном пространстве. Какая RDMA разница?
	Ответить | Правка | Наверх | Cообщить модератору

	8. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (8), 13-Июл-23, 13:00
	А нынче память PCI устройств мапится прямиком в линейное адресное пространство? Там же вроде не всё так просто было вроде.
	Ответить | Правка | Наверх | Cообщить модератору

	14. "Google предложил Device Memory TCP для сетевой передачи данн..."	–1 +/–
	Сообщение от Unnamed Player (?), 13-Июл-23, 13:11
	DMA этим и занимается.
	Ответить | Правка | Наверх | Cообщить модератору

	22. "Google предложил Device Memory TCP для сетевой передачи данн..."	–1 +/–
	Сообщение от Аноним (22), 13-Июл-23, 13:25
	для PCI нету DMA, зато есть bus mastering.
	Ответить | Правка | Наверх | Cообщить модератору

	51. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (51), 13-Июл-23, 15:48
	Щито? У PCI DMA есть и прекрасно работает (как бы иначе им, например, сетевыми пользовались, или они в твоём мире на на PCI шине висят?). Более того, на базе p2p dma работает майковский direct storage для игруль (там, правда, dma между nvme и gpu).
	Ответить | Правка | Наверх | Cообщить модератору

	84. "Google предложил Device Memory TCP для сетевой передачи данн..."	+1 +/–
	Сообщение от Аноним (84), 14-Июл-23, 01:35
	> для PCI нету DMA, зато есть bus mastering. Вот те раз - кто это DMA у него с314дил? А bus mastering это возможность со стороны девайса транзакции инициировать - передавая данные например в другой девайс без участия системного проца в этом. При такой инверсии ролей вопрос DMA оказывается на другой стороне... и у GPU например есть свои нехилые DMA-движки на его стороне, на такие случаи и много что еще, оффлоадящие основной массив от уделения внимания шине.
	Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

	90. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Анонним (?), 14-Июл-23, 10:34
	напомню - что DMA controller - это был контроллер на материке подключенный к ISA шине. Который выполнял сам арбитраж шины - для передачи девайс<>память, девайс<>девайс. в реалиях PCI v2.0+ - централизованного контроллера не существует (с некоторым натягом IO-AT можно считать таковым) - поэтому каждой карте предлагается как-то реализовывать арбитраж самому через режим bus mastering. Так что эта.. просьба показать DMA controller централизованный в районе PCI root complex - который выполняет теже функции что и старый на ISA. И в PCI spec нету ничего с DMA, зато есть bus mastering. То что через этот режим можно обращаться напрямую в память - ничего не меняет.
	Ответить | Правка | Наверх | Cообщить модератору

	99. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (-), 14-Июл-23, 15:12
	> напомню - что DMA controller - это был контроллер на материке подключенный > к ISA шине. Который выполнял сам арбитраж шины - для передачи > девайс<>память, девайс<>девайс. Напомню что многие PCI железки сейчас являют собой нефиговый программно аппаратный комплекс, с своим софтом, процами, памятью и адресными пространствами, а то и VM/paging/mmu, и чем там еще. И в этом смысле DMA может быть и с их стороны, в том смысле что оно не отвлекается на каждую операцию с шиной - а заряжает такой же хардварный автомат со своей стороны, и дальше тот интерфейс шины секвенсит все как надо для вон того сам, так что процы железки не отвлекаются на каждый дерг PCI. Это тоже DMA - с другой стороны и другим контроллером. А хост об этом вообще может ничего не знать, единственный критерий чтобы это все не было внезапностью. > в реалиях PCI v2.0+ - централизованного контроллера не существует (с некоторым натягом > IO-AT можно считать таковым) - поэтому каждой карте предлагается как-то реализовывать > арбитраж самому через режим bus mastering. PCI уже давно не 2.0 да и вообще Express обычно - и там все стало немного сложнее. Но многие понятия остались. > Так что эта.. просьба показать DMA controller централизованный в районе PCI root DMA контроллеру вообще не обязательно быть в конкретном месте. В типовой системе PCI девайсы висят как регионы памяти в системе, системный DMA может в эти регионы лазить не хуже чем в остальное. Где этот DMA технически находится и как это по факту реализовано в железе - а какая разница? Соврменных систем где нет DMA <-> PCI я не знаю, такие потоки никто в здравом уме без DMA ворочать не станет. А вон то про "инверсный" вариант фокуса, когда железка делает на своей стороне оффлоад своим транзакциям, своим DMA контроллером. > complex - который выполняет теже функции что и старый на ISA. ISA на PCI вообще не особо похож, расскажите вон тому MIPS с MINI-PCI слотом про нее? А PCI - и DMA там таки есть. И на вон том арме с PCIe сразу из проца - аналогично. И если б оно DMA не умело это был бы ацкий эпикфейл по перфомансу. Так что система без DMA но с PCI - может и возможна теоретически в какой-то ультра минимальной реализации но практически я ни разу такое не встречал. > И в PCI spec нету ничего с DMA, зато есть bus  mastering. А почему PCI spec должен рассказывать платформе как DMA имплементить? Там в общем случае вывешивают железку как регион памяти - ну а дальше DMA и платформа уже как-нибудь сами разбираются как это. Если вы хотите сказать что теоретически возможна имплементация PCI без DMA контроллера в систему - ну, может быть. Практически я однако такого позора ни разу не видел. Даже на очень мелких платформах. Если железка достаточно большая чтобы PCI(-e) отрастить там гарантированно есть и какие-то DMA контроллеры и они ессно могут с PCI работать, иначе толку с такого PCI... > То что через этот режим можно обращаться напрямую в память > - ничего не меняет. А ничего что это тоже получается DMA по смыслу, хоть и иными средствами? DMA означает всего лишь direct memory access. Как именно и чем этот access реализуется - да возможно дочерта вариантов на самом деле. А DMA лишь собирательное название группы технологий где доступ к памяти случется без участия проца.
	Ответить | Правка | Наверх | Cообщить модератору

	103. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (22), 14-Июл-23, 18:57
	> Это тоже DMA - с другой стороны и другим контроллером. А хост об этом вообще может ничего не знать, единственный критерий чтобы это все не было внезапностью. В спецификациях - данных режим называется bus mastering. Ибо доступом к памяти он не ограничивается. Если считаете иначе - просьба предоставить линк на мануал по PCI / PCIe шине где это написано. И обсудим. >DMA контроллеру вообще не обязательно быть в конкретном месте. В типовой системе PCI девайсы висят как регионы памяти в системе, системный DMA может в эти регионы лазить не хуже чем в остальное. Г Системный DMA ? это какой? - линк на доку в студию. Так что бы там это называлось именно DMA. Если это о IO-AT - спасибо, посмеялся с его пропускной способности. >PCI уже давно не 2.0 да и вообще Express обычно - и там все стало немного сложнее. Но многие понятия остались. не многие а все. Если говорить о логической организации шины и транзакциях при передачи. > А ничего что это тоже получается DMA по смыслу, хоть и иными средствами?   А ничего что у этого режима есть свое название. Тем более он работает не только с памятью.
	Ответить | Правка | Наверх | Cообщить модератору

	113. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (-), 16-Июл-23, 01:31
	> В спецификациях - данных режим называется bus mastering. Ибо доступом к памяти > он не ограничивается. Не отменяет возможность устройств лезть в память. Поэтому... > Если считаете иначе - просьба предоставить линк на > мануал по PCI / PCIe шине где это написано. И обсудим. Согласно википедии, Direct memory access (DMA) is a feature of computer systems that allows certain hardware subsystems to access main system memory independently of the central processing unit (CPU). PCI bus mastering - так может. Значит попадает под определение DMA. В этом определении нет абсолютно ничего про ISA, конкретный контроллер или что либо еще. Только доступ к системной памяти в обход системного проца. Что хотите то с этим и делайте. > Системный DMA ? это какой? - линк на доку в студию. Это тот который есть в системе. Конкретика может дико варьироваться от системы к системе. PCI вообще платформенно-нейтральная штука и существует много где. Платформ где был бы PCI но не было бы DMA контроллера для разгрузки проца "с другой стороны" - я не знаю. Они теоретически возможны но даже так bus mastering останется формой DMA. > Так что бы там это называлось именно DMA. Если это о IO-AT > - спасибо, посмеялся с его пропускной способности. Нет, это не про IO-AT. В самом общем виде я имхо согласен с викой на тему определения что вообще есть DMA. А как оно там в конкретном случае реализовано - да какая разница. > не многие а все. Если говорить о логической организации шины и транзакциях > при передачи. Электрически однако он совсем другой. И штуки типа MSI в PCI - не помню, были ли вообще изначально? По-моему нет. > А ничего что у этого режима есть свое название. Тем более он > работает не только с памятью. Не отменяет того факта что это тоже вид DMA. Кто сказал что DMA обязан иметь что-то общее с ISA или каким-то конкретным контроллером?
	Ответить | Правка | Наверх | Cообщить модератору

	21. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (22), 13-Июл-23, 13:24
	если устройство экспортит память в BAR - то да, в линейное адресное пространство.
	Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

	95. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Страдивариус (?), 14-Июл-23, 13:21
	> А нынче память PCI устройств мапится прямиком в линейное адресное пространство? Там > же вроде не всё так просто было вроде. Нынче? Ну же лет как двадцать. Бывали времена, когда на некоторых железках в адресное пространство CPU торчало только окно из всей памяти устройства и надо было выбирать в какой регион памяти на железке это окно отображается. Я могу ошибаться, но сейчас этим уже никто не занимается, по крайней мере на мощных железках, у которых дохрена памяти на борту.
	Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

	91. "Google предложил Device Memory TCP для сетевой передачи данн..."	+1 +/–
	Сообщение от ebanyrust (?), 14-Июл-23, 11:32
	> Разве rdma не этим занимается? разница в деталях - для RDMA используются специальные сетевые протоколы и работают они минуя сетевой стек ядра, гугловский подход намного универсальней - работает с ядрёным TCP/IP > Данные загружаются из памяти устройства в payload-буфер сетевой карты при помощи механизма dmabuf, а заголовки переносятся из основной памяти и заполняются системным TCP/IP-стеком.
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	94. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от An2 (?), 14-Июл-23, 12:58
	> для RDMA используются специальные сетевые протоколы ... гугловский подход намного универсальней ... > Ожидается, что Device memory TCP позволит существенно поднять эффективность взаимодействия ... Обычно "специальные" означает сложнее/неудобнее, но эффективнее чем "универсальные". Как же гуглу удалось обойти этот принцип?
	Ответить | Правка | Наверх | Cообщить модератору

	96. "Google предложил Device Memory TCP для сетевой передачи данн..."	+1 +/–
	Сообщение от ebanyrust (?), 14-Июл-23, 13:28
	> Как же гуглу удалось обойти этот принцип? payload загружается через DMA, заголовок обрабатывается центральным процессором - что непонятно в этом принципе ? полезных данных на порядки больше чем служебных данных из заголовка. На таком же принципе весь dmabuf - буфер с данными для аппаратного DMA + служебная информация для CPU.
	Ответить | Правка | Наверх | Cообщить модератору

	98. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (22), 14-Июл-23, 14:52
	не понятно все. Никто кроме Mellanox такой финт ушами сделать не даст. Для передачи можно делать, для приема - нет.
	Ответить | Правка | Наверх | Cообщить модератору

	102. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от ebanyrust (?), 14-Июл-23, 15:40
	> Никто кроме Mellanox такой финт ушами сделать не даст. гугли NIC with Header Data Split, подозреваю что с 10Gb все поддерживают
	Ответить | Правка | Наверх | Cообщить модератору

	104. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (22), 14-Июл-23, 19:07
	Нужен не просто Header Data Split, в том то и дело. Split означает что ты ложишь заголовок в один буфер - а данные в другой. И дальше идут 2 фрагмента по стеку. Так умеет очень большое количество карт которые умеют TCP recv offload. А для этого режима нужно слегка больше - более похожее на режим работы в Infinityband. Ты регистрируешь буфер в сетевой карте и связываешь его с неким идентификатором - и ровно в этом буфере окажутся данные которые туда пришли. Не в произвольном буфере с разделением на header & data. А надо вот в этом конкретный. Это и мешает иметь нормальный zero-copy для приема данных - ибо на момент заполнения буфера - еще не ясно куда его ложить. Опять же - https://fosdem.org/2023/schedule/event/meta_netdevices/attac... Слайды 31+ TCP ZC и тп - POC для меланокса а не для всех кого можно.
	Ответить | Правка | Наверх | Cообщить модератору

	106. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от ebanyrust (?), 14-Июл-23, 19:53
	> А для этого режима нужно слегка больше - более похожее на режим работы в Infinityband. не надо усложнять https://lore.kernel.org/lkml/20230710223304.1174642-1-almasr.../ > * NIC dependencies: 1. (strict) Devmem TCP require the NIC to support header split, i.e. the    capability to split incoming packets into a header + payload and to put    each into a separate buffer. Devmem TCP works by using dmabuf pages    for the packet payload, and host memory for the packet headers. 2. (optional) Devmem TCP works better with flow steering support & RSS support,    i.e. the NIC's ability to steer flows into certain rx queues. This allows the    sysadmin to enable devmem TCP on a subset of the rx queues, and steer    devmem TCP traffic onto these queues and non devmem TCP elsewhere. The NIC I have access to with these properties is the GVE with DQO support running in Google Cloud, but any NIC that supports these features would suffice. I may be able to help reviewers bring up devmem TCP on their NICs. кроме обязательной поддержки header split автор ничего не говорит
	Ответить | Правка | Наверх | Cообщить модератору

	107. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (22), 14-Июл-23, 23:11
	да я и неусложняю. Просто так получилось что в этой теме пришлось покопаться достаточно плотно. Ибо стояла задача поиметь нормальный TCP ZС. Но перелопатив кучи кода и спецификаций - стало понятно что это очень ограничивает набор железа который можно будет использовать. Хотя я думаю линки на более или менее новые презентации из linux net - должны были вас убедить. В некотором смысле - да, header split хватит. Когда ты наоборот из адреса буфера получишь адрес внутри GPU и будешь использовать в своей программе. Этакое убогое решение ибо прийдется держать под буфера достаточно много памяти и потом пытаться объединить эти куски в последовательные данные. Но не о какому удобстве работы который дает GPUfs / GDS (Nvidia) - речи уже не идет. PS. что люди не придумают лишь бы RoCE v2 не использовать - который это режим даст штатно. PPS. TCP в этом месте это тихий ужас. Окошко маленькое - reorder пакетов на раз - два, или прийдется отключить selective/delayed ack.
	Ответить | Правка | Наверх | Cообщить модератору

	115. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (115), 16-Июл-23, 12:08
	> Но не о какому удобстве работы который дает GPUfs / GDS (Nvidia) - речи уже не идет. то что гугловский патч использует стандартные ядерные интерфейсы вместо вендор-костылей огромный плюс - видимо вендор лок винтеля вас ничему не научил, кактус nvidia кажется слаще  но это ведь до определённой поры.
	Ответить | Правка | Наверх | Cообщить модератору

	116. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (116), 16-Июл-23, 12:29
	Nvidia дает нормальный POSIX API для работы с файлами из GPU программ. что позволяет обрабатывать на GPU объемы больше чем память GPU с минимальным простоем. И когда ваш GPU будет стоять и ждать пока вы прочитаете данные и закачаете потом их в память - дабы как-то обработать, GDS закончит обрабатывать весь объем. Привет тормозам :-) PS. ты видимо не в курсе что такое GDS и чем он облегчает жизнь.
	Ответить | Правка | Наверх | Cообщить модератору

	117. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (115), 16-Июл-23, 12:38
	> Nvidia дает нормальный POSIX API для работы с файлами из GPU программ они так же дают eglstream, только он никому не нужен > ты видимо не в курсе что такое GDS и чем он облегчает жизнь обычный вендорлок, не удивительно что тут за меланокс топят и не понимают почему гугл универсальные интерфейсы использует - он ведь уже нвидии принадлежит и это один большой сладкий кактус
	Ответить | Правка | Наверх | Cообщить модератору

	109. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (22), 14-Июл-23, 23:22
	pps. я ниже кидал ссылки на работы Facebook по той же теме. Там тоже завязка на CX4+. наверно не спроста ?
	Ответить | Правка | К родителю #106 | Наверх | Cообщить модератору

	105. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (22), 14-Июл-23, 19:09
	если глянуть в более ранную публикацию https://netdevconf.info/0x14/pub/slides/62/Implementing%... Ability for a NIC to dissect packets and place header and data into separate places. Not all NIC implement header-data split, unfortunately. Google has for instance a fair amount of servers using Mellanox CX-3 (mlx4) Опять Mellanox.
	Ответить | Правка | К родителю #102 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема