https://opennet.dev/openforum/vsluhforumID3/138840.html Опубликован релиз кластерной файловой системы Lustre 2.17, используемой в большей части крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты. Код проекта распространяется под лицензией GPLv2...<br><br>Подробнее: https://www.opennet.ru/opennews/art.shtml?num=64533<br> https://opennet.dev/openforum/vsluhforumID3/138840.html#50 Fri, 02 Jan 2026 15:13:14 GMT Я смотрю, это просто поражение мозга какое-то писать разлельно "не" там, где это не нужно. Неужели самому не видно, что в данном случае пишется "несложно" и "недорого"? Или реально мозг поражён чем-то?<br> https://opennet.dev/openforum/vsluhforumID3/138840.html#49 Thu, 01 Jan 2026 21:03:24 GMT &gt; - NFS Ganesha запрос получил.<br>&gt; - Дёрнул RadosGW (для простоты они на одной машине)<br><br>Посмотрел вообще что за зверь такой этот NFS в RadosGW - и как я и подумал, это встроенный адаптер S3-FUSE, чтобы на клиенте не ставить FUSE прослойку, а смонтировать вместо неё NFS сервер<br><br>NFS сервер тут однако не внешний процесс, а просто ещё один протокол предоставляемый RadosGW, сервер ganesha in-process, никого ему дёргать не надо<br><br>&gt; Each NFS RGW instance is an NFS-Ganesha server instance embedding a full Ceph RGW instance.<br>&gt; Therefore, the RGW NFS configuration includes Ceph and Ceph Object Gateway-specific configuration in a local ceph.conf, as well as NFS-Ganesha-specific configuration in the NFS-Ganesha config file, ganesha.conf.<br><br>Что собственно и делает его лучше чем внешний S3-FUSE<br> https://opennet.dev/openforum/vsluhforumID3/138840.html#48 Thu, 01 Jan 2026 20:41:32 GMT Если коротко - то CephFS работает именно так, как ты описал работу люстры.<br><br>Однако клиент CephFS присутствует в mainline ядре, а клиент люстры - out-of-tree модуль<br> https://opennet.dev/openforum/vsluhforumID3/138840.html#47 Thu, 01 Jan 2026 20:27:45 GMT &gt; не похоже на ceph от слова совсем.<br>&gt; самое простое - разный механизм востановления после сбоя.<br>&gt; ceph надеется на сетевые реплики.<br>&gt; lustre работает как сетевая журналируемая fs и надеется что backend - уже <br>&gt; с рейдом.<br><br>Мне кажется ты и другой комментатор тоже про NFS и RadosGW говорите, а не про CephFS<br><br>У CephFS файловая система (реализованная на MDS) тоже журналируемая (метаданные), а сами данные бечатся в OSD, который либо работает с голым диском и имеет WAL (bluestore), либо тоже файловая система с опциональным журналированием (filestore)<br><br>Короче никто не надеется на сетевые реплики, но по дефолту обычно всегда стоит ожидание что несколько реплик доступны, это да.<br> https://opennet.dev/openforum/vsluhforumID3/138840.html#46 Thu, 01 Jan 2026 20:22:30 GMT не для того, но заявления о том что какаято там фс может сотни тысяч петабайт, это смешно, потому что никому не надо, прямо сейчас перед вами отличный пример, виртуализация железа проиграла, все эти супер кластеры от вмваре больше никому не нужны, их заменили садовые тележки от прокмокса, ну не полностью, но тренд очевиден,..не знаю нужны ли комуто карьерные самосвалы, разрабатывать двигатель, кузов, решать проблемы с логистикой негабаритных частей, чтобы он отработал Х времени, и снова решать кучу проблем чтобы его починить,..в чем проблема заменить его сотней тележек.<br><br>и линукс и виндовс вознамерились выбросить С, и писать все на расте, потому что нету достаточного кол-ва людей способных управлять памятью. А уж упихивание в контейнеры превратилось в какойто фетиш.<br><br>да, наверное, люстра это очень круто и быстро, но лично мне доводилось сталкиваться с тем, что изза сбойного диска, приходилось ребутать ноду, потому что ядро не хотело удалять связанные ресурсы nfs, хотя аппаратно горячная замена поддерживае https://opennet.dev/openforum/vsluhforumID3/138840.html#45 Thu, 01 Jan 2026 20:21:44 GMT Если ты доверяешь своему железу - то можешь не ждать двух реплик, это ж не то чтобы что-то необычное, неужели lustre по дефолту позволяет потерять единственную актуальную реплику?<br> https://opennet.dev/openforum/vsluhforumID3/138840.html#44 Thu, 01 Jan 2026 20:18:30 GMT &gt; Как ребалансировка Ceph повлияет на производительность? Вы готовы ждать пока она закончится?<br><br>Примерно никак, Ceph очень слабо централизован, посмотри на архитектуру CRUSH/OSD что там используется для объектного хранилища, и как устроены сервера MDS для CephFS<br><br>Только эти сервисы нужны для cephfs клиентов, при перебалансировке нагружаются только отдельные OSD, и ceph достаточно хорошо нагрузку по ним распределяет чтобы не было такого что все реплики всех объектов оказались плохо доступны<br> https://opennet.dev/openforum/vsluhforumID3/138840.html#43 Thu, 01 Jan 2026 20:14:41 GMT &gt; Речь шла про CephFS, RadosGW это S3 интерфейс для ceph, и NFS <br>&gt; я тут вообще не понял каким боком, потому что RadosGW это <br>&gt; S3, а не NFS <br><br>Окей, пардон, надо было загуглить, RadosGW действительно имеет NFS интерфейс, однако это точно не то что рекомендуется кому-либо использовать, судя по всему это просто встроенный адаптер наподобие S3-FUSE, лол<br> https://opennet.dev/openforum/vsluhforumID3/138840.html#42 Thu, 01 Jan 2026 20:10:54 GMT &gt; Если вы решите выбрать Ceph, то вам никто не может запретить, но между "бакетами ceph" и файловой структурой будет стоять RadosGW, после чего вам понадобится один или несколько NFS Ganesha, который работает в пространстве пользователя, со всеми вытекающими накладными расходами и вносимыми задержками.<br><br>Речь шла про CephFS, RadosGW это S3 интерфейс для ceph, и NFS я тут вообще не понял каким боком, потому что RadosGW это S3, а не NFS<br><br>Оно далеко не так топорно работает как ты описал, в CephFS у тебя есть сервера метаданных MDS, и сервера дисков (блочное хранилище rados) OSD<br><br>Клиенту нужно стучать в MDS для получения информации о структуре ФС, а для изменения файлов он уже может стучать напрямую во все OSD согласно CRUSH карте, тут нет никакой централизации, промежуточных серверов, и уж тем более NFS<br>