The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Выпуск распределенной файловой системы GlusterFS 3.5, opennews (??), 03-Май-14, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


5. "Выпуск распределенной файловой системы GlusterFS 3.5"  +2 +/
Сообщение от Аноним (-), 03-Май-14, 01:05 
Ceph круче, точка.
Ответить | Правка | Наверх | Cообщить модератору

7. "Выпуск распределенной файловой системы GlusterFS 3.5"  +2 +/
Сообщение от AnonymousRex (ok), 03-Май-14, 01:24 
> Ceph круче, точка.

это другой подход. и скорее всего скоро их объединят в один продукт, где можно выбирать то как оно будет работать

Ответить | Правка | Наверх | Cообщить модератору

9. "Выпуск распределенной файловой системы GlusterFS 3.5"  +/
Сообщение от Аноним (-), 03-Май-14, 01:50 
> Ceph круче

Чем?

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

10. "Выпуск распределенной файловой системы GlusterFS 3.5"  +2 +/
Сообщение от nonym (?), 03-Май-14, 02:31 
Чем GlusterFS
Ответить | Правка | Наверх | Cообщить модератору

11. "Выпуск распределенной файловой системы GlusterFS 3.5"  +1 +/
Сообщение от Аноним (-), 03-Май-14, 02:43 
Скоростью как минимум. Архитектура лучше, перспективы гораздо лучше. Не зря редхатовцы его выкупили, а не сделали ставку на свой glusterfs
Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

20. "Выпуск распределенной файловой системы GlusterFS 3.5"  +1 +/
Сообщение от аноном (?), 03-Май-14, 12:06 
Глустер имеет фатальный недостаток, система распределяет запись файлов не учитывая размер файла и размер хранилища, тупо пихает последовательно на каждую ноду. В итоге хранилища на нодах забиваются неравномерно и нужно следить сторонними средствами за забитостью винтов и подпихивать новые объемы. Перераспределить данные нельзя, так как в названии файла хэшируется путь к нему, тоесть нода на которой лежит файл.
Ответить | Правка | Наверх | Cообщить модератору

28. "Выпуск распределенной файловой системы GlusterFS 3.5"  +/
Сообщение от anonymous (??), 03-Май-14, 13:58 
> Глустер имеет фатальный недостаток, система распределяет запись файлов не учитывая размер
> файла и размер хранилища, тупо пихает последовательно на каждую ноду. В
> итоге хранилища на нодах забиваются неравномерно и нужно следить сторонними средствами
> за забитостью винтов и подпихивать новые объемы. Перераспределить данные нельзя, так
> как в названии файла хэшируется путь к нему, тоесть нода на
> которой лежит файл.

ребаланс не работает?

Ответить | Правка | Наверх | Cообщить модератору

40. "Выпуск распределенной файловой системы GlusterFS 3.5"  +/
Сообщение от t28 (?), 04-Май-14, 02:05 
> ребаланс не работает?

Типа работает, но работы его я не увидел.

Ответить | Правка | Наверх | Cообщить модератору

12. "Выпуск распределенной файловой системы GlusterFS 3.5"  +1 +/
Сообщение от Добрый Дохтур (?), 03-Май-14, 04:16 
>> Ceph круче
> Чем?

глустер на операциях с метаданными медленный как чёрт знает что.
и это не лечится. вообще никак.

Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

13. "Выпуск распределенной файловой системы GlusterFS 3.5"  +/
Сообщение от AnonymousRex (ok), 03-Май-14, 04:21 
> глустер на операциях с метаданными медленный как чёрт знает что.
> и это не лечится. вообще никак.

багрепорт есть?

Ответить | Правка | Наверх | Cообщить модератору

41. "Выпуск распределенной файловой системы GlusterFS 3.5"  +/
Сообщение от t28 (?), 04-Май-14, 02:06 
> багрепорт есть?

Багрепорты не спасают. Почитайте их список рассылки.

Ответить | Правка | Наверх | Cообщить модератору

19. "Выпуск распределенной файловой системы GlusterFS 3.5"  +/
Сообщение от zed_0xffemail (?), 03-Май-14, 10:38 
если backend-fs ext4 - то да
на reiserfs, zfs, xfs - быстрее в 100500 раз.
Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

42. "Выпуск распределенной файловой системы GlusterFS 3.5"  +/
Сообщение от t28 (?), 04-Май-14, 02:07 
> на reiserfs, zfs, xfs - быстрее в 100500 раз.

Поначалу кажется, что быстро, но при заполнении хранилища возвращаются старые тормоза.

Ответить | Правка | Наверх | Cообщить модератору

46. "Выпуск распределенной файловой системы GlusterFS 3.5"  +1 +/
Сообщение от Добрый Дохтур (?), 04-Май-14, 12:50 
> если backend-fs ext4 - то да
> на reiserfs, zfs, xfs - быстрее в 100500 раз.

фс тут роли не играет.

на глустерной шаре:

for i in `seq 0 255`; do mkdir $i; done
for i in `seq 0 10`; do time ls; done


и вы увидите, что время за которое отрабатывает ls никак не меняется, т.к. ничего не кешируется.
глустер на каждый ls обходит все брики, получает содержимое каталогов и потом "склеивает" результаты. если сделать еще второй уровень каталогов, глустер превращается в тыкву, а find по такому дереву всегда выполняется минуты.

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

58. "Выпуск распределенной файловой системы GlusterFS 3.5"  +/
Сообщение от Dmitry77email (ok), 05-Май-14, 14:29 
мне кажется использование не правильное.
в распределённых ФС потенциально миллиарды файлов и вызывать ls не стоит.

к примеру у HadoopFS ограничение на количество файлов - размер оперативной памяти ответствееоного за метаданные узла. у GlusterFS как я понимаю такого ограничения нет.

Ответить | Правка | Наверх | Cообщить модератору

64. "Выпуск распределенной файловой системы GlusterFS 3.5"  +/
Сообщение от Добрый Дохтур (?), 07-Май-14, 02:23 
> мне кажется использование не правильное.
> в распределённых ФС потенциально миллиарды файлов и вызывать ls не стоит.

т.е. вот если в каталоге у нас 10 файлов, то всё, readdir() - низя?

и то, что тормознутость readdir() зависит от того, в каком каталоге вы это делаете - это вообще зачёт.


Ответить | Правка | Наверх | Cообщить модератору

65. "Выпуск распределенной файловой системы GlusterFS 3.5"  +/
Сообщение от Dmitry77email (ok), 07-Май-14, 09:21 
>т.е. вот если в каталоге у нас 10 файлов, то всё, readdir() - низя?

можно. но если файлов так мало, то может распределённую фс делать не надо? можно конечно раскидывать по директориям,то как я понимаю  Ceph будет лучше.

Я сам (да и не только я)в программах делаю так: в базе данных записи содержащие ссылки на файл(напимер картинки, видео), все файлы в одной директории. ls не нужно- вместо этого select с нужными критериями.


а если файлов в директории от сотен тысяч, то любая фс будет тормозить при ls, даже локальная

Ответить | Правка | Наверх | Cообщить модератору

18. "Выпуск распределенной файловой системы GlusterFS 3.5"  +/
Сообщение от Аноним (-), 03-Май-14, 10:25 
> Ceph круче, точка.

Чем грузины?

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру