The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4.0, opennews (??), 29-Мрт-18, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


1. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  –4 +/
Сообщение от Anonim (??), 29-Мрт-18, 23:35 
https://habrahabr.ru/company/oleg-bunin/blog/313364/

Поначалу мы паниковали, пробовали расставлять по коду leofs метрики, пробовали понять, что происходит, коллега Чистяков не спал ночами. Мы пытались выяснить, не хочет ли кто-нибудь из питерских Erlang’истов потрогать это палочкой. Питерские Erlang’исты оказались разумными людьми, они не стали трогать это палочкой.

Ответить | Правка | Наверх | Cообщить модератору

4. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +12 +/
Сообщение от Аноним (-), 30-Мрт-18, 01:27 
> Этот доклад — расшифровка одного из лучших выступлений на профессиональной конференции по эксплуатации и devops

Как испоганилось айти, если это -- лучший  доклад. Это бред сумасшедшего, а не доклад. "Все дерьмо, я мы дартаньяны, несмотря на то, что много лет доим заказчика и за его счёт играемся с тем, о чём понятия не имеем". Тьфу. Басни про хетцнер это про танцора, у которого сплошные проблемы в жизни.

Ответить | Правка | Наверх | Cообщить модератору

7. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +7 +/
Сообщение от Stax (ok), 30-Мрт-18, 04:05 
Даже комментировать противно. Где багрепорт в списке рассылки или официальном гитхабе https://github.com/leo-project/leofs/issues ? Что вообще делать пытались, кроме как "трогать палочкой"? Если не было желания писать багрепорт или как-то разбираться в проблеме - почему не попытались тупо на месяц арендовать N самых простых серверов в том же датацентре, создать там второй кластер, перенести туда данные, грохнуть имеющийся и пересоздать с нужным количеством узлов, скопировать данные назад и отдать железку?

Вместо очевидных действий занимались какой-то фигней (нанимали переводчика, серьезно?? пусть английский разработчиков не идеален, но они на нем ведут и разработку, и рассылку и всегда готовы ответить) и ждали, пока все навернется. Ну-ну.

PS эксплуатирую LeoFS в продакшене и *крайне* доволен простотой, надежностью и производительностью. Хотя по результатам тестирования и внедрения пришлось написать несколько багрепортов, чтобы лучше автоматически разруливались некоторые нестандартные ситуации. Все критичное разработчики поправили достаточно оперативно. С ними очень легко общаться, хоть большинство и японцы.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

15. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  –1 +/
Сообщение от RudW0lfemail (?), 30-Мрт-18, 09:44 
Сразу видно что комментаторы выше доклад не смотрели. Цитата вырвана из контекста. Минутой ранее в докладе говорилось, что ребята пошли в саппорт этого самого проэкта, где их просто послали, а поскольку они его держали в проде они испытали неюллюзорный батхерт. После этого попытались обратиться к знакомым с языком специалистам и те вежливо отказали.
Вообще насколько я понимаю исходный посыл первого комментария - опенсорц проэкт без комьюнити - это уг,и ставить его себе на прод то еще приключение. Есть люди которые используют это в проде на хотябы 100+ узлов?
Ответить | Правка | Наверх | Cообщить модератору

17. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +3 +/
Сообщение от Аноним (-), 30-Мрт-18, 10:53 
Кластер поехал. Эти спецы начали отключать-подключать ноды в надежде, что "само пройдёт". Я б их ещё дальше послал
Ответить | Правка | Наверх | Cообщить модератору

19. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +3 +/
Сообщение от Stax (ok), 30-Мрт-18, 12:15 
> Сразу видно что комментаторы выше доклад не смотрели. Цитата вырвана из контекста.

Читал - и как уже написал, комментировать противно.

> Минутой ранее в докладе говорилось, что ребята пошли в саппорт этого
> самого проэкта, где их просто послали, а поскольку они его держали

Ну-ка а давайте теперь проверим их слова. Официально саппорт есть в списке рассылки https://groups.google.com/forum/#!forum/leoproject_leofs , и еще, разумеется, есть багтрекер (еще с 2013 года) https://github.com/leo-project/leofs/issues - где же багрепорты от этих товарищей? Или их так "послали", что вычистили и следы от заведенных ими багов?

> в проде они испытали неюллюзорный батхерт. После этого попытались обратиться к
> знакомым с языком специалистам и те вежливо отказали.
> Вообще насколько я понимаю исходный посыл первого комментария - опенсорц проэкт без
> комьюнити - это уг,и ставить его себе на прод то еще

Какой именно комьюнити требуется? В список рассылки пишут, но не много, в основном с вопросами, связанными с первыми установками. Кто-то сразу пишет в issue tracker вопросы по установке. Но в целом (особенно в текущих версиях) там все очень гладко и ставится без вопросов. Поддержка заявлена и в рассылке, и на багтрекере.

Еще есть комьюнити Project FiFO (http://project-fifo.net/). Там для хранения данных используется LeoFS. Некоторые используют LeoFS в его составе как готовый продукт и общаются чисто в рамках того комьюнити.

> приключение. Есть люди которые используют это в проде на хотябы 100+
> узлов?

Тут, похоже, есть некоторое непонимание, зачем данная штука. Она НЕ предназначена для хранения данных на 100+ узлов. Хотя вполне может обслуживать 100+ узлов, обрабатывающих данные, но хранить их предполагается на меньшем количестве. Строго говоря, явного ограничения нет - но я бы делал на ней кластеры на 6-12 узлов, может до 20. При большом количестве узлов будут некоторые неприятности как минимум при их обслуживании, но я не хочу заострять на этом внимание (проблемы известны, со временем поправят).
(это я про узлы хранения - для обслуживания 100+ узлов обработки данных, вероятно, еще потребуется немаленькая пачка узлов-шлюзов. Именно они держат нагрузку по запросам, к счастью, их очень легко масштабировать)

Это штука, когда вам надо хранить (раздавать, использовать) большое количество объектов, в том числе маленьких (картинки, документы), при этом нужна производительность и отказоустойчивость.  В отличие от конкурирующих решений, она очень проста, надежна и высокопроизводительна на маленьких объектах. Т.е. туда можно кидать и 100 МБ объекты, и 10 КБ объекты, и все будет хорошо. Нужно закинуть миллиард объектов со средним размером 50 КБ - не вопрос, все будет достаточно быстро. Чуть подробнее отпишу ниже, где спрашивают про сравнение с lustre.
Работать с ней на уровне PUT/GET/DELETE через обычный REST API либо же получая всю функциональность (пользователи/бакеты и т.п.) через S3-совместимый API. Хорошие биндинги для S3 есть для всех популярных языков, есть интеграция с другими системами (напр. Hadoop умеет обращаться к S3), многие продукты либо нативно, либо через s3cmd или s3-fuse позволяют "просто подключить" это хранилище и хранить в нем данные. Локально и значительно дешевле амазона.

Был вот у вас NAS, на котором находятся данные, с которыми работают приложения, вы его переросли - перестало хватать места/скорости/захотелось отказоустойчивости. Вы убеждаетесь, что все ваши приложения умеют обращаться или по REST, или имеют биндинги к S3, ставите эту штуку и наслаждаетесь. (NFS-доступ по ряду причин я бы не назвал production-ready, там есть много ограничений, в которые можно упереться).

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

20. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  –1 +/
Сообщение от XoRe (ok), 30-Мрт-18, 12:28 
> Ну-ка а давайте теперь проверим их слова. Официально саппорт есть в списке рассылки https://groups.google.com/forum/#!forum/leoproject_leofs , и еще, разумеется, есть багтрекер (еще с 2013 года) https://github.com/leo-project/leofs/issues - где же багрепорты от этих товарищей? Или их так "послали", что вычистили и следы от заведенных ими багов?

Они позвонили по телефону в техподдержку компании Rakuten, которая пишет этот leofs.
Тут лучше подойдет другая цитата с того доклада:

> Технический руководитель команды setup нанял переводчика с японского, и мы позвонили в Токио. В 8 утра. Поговорить с компанией Rakuten. Компания Rakuten поговорила с нами час, и простите меня, я буду ее ругать, потому что так со мной еще не обращались в моей жизни, а я 20 лет в бизнесе… Компания Rakuten поговорила с нами час, выслушала внимательно наши проблемы, почитала наши баг-репорты в их трекере, после чего сказала: «Знаете, у нас закончилось время, спасибо, извините».

Ответить | Правка | Наверх | Cообщить модератору

22. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +3 +/
Сообщение от Аноним (-), 30-Мрт-18, 12:35 
Не понимаю, как у них вообще хватило наглости звонить (!) в техподдержку компании, не имея контракта, по которому им должны были предоставить эту поддержку. Может их там ещё в седалище должны были облобызать? Как только начал используешь чужой софт за здорово живём — ты сам себе техподдержка.
Ответить | Правка | Наверх | Cообщить модератору

84. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +/
Сообщение от XoRe (ok), 02-Апр-18, 09:43 
> Не понимаю, как у них вообще хватило наглости звонить (!) в техподдержку
> компании, не имея контракта, по которому им должны были предоставить эту
> поддержку. Может их там ещё в седалище должны были облобызать? Как
> только начал используешь чужой софт за здорово живём — ты сам
> себе техподдержка.

А почему вы решили, что у них не было контракта?

Ответить | Правка | Наверх | Cообщить модератору

24. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +/
Сообщение от Stax (ok), 30-Мрт-18, 12:45 
Я видел эту цитату. Еще раз. Багрепорт в трекере где???

Не говоря уж про то, что Rakuten - огромный холдинг.
Конкретно финансированием разработки LeoFS занимается Технологический Институт Rakuten (RIT). Поддержкой напрямую они не занимаются! За поддержкой нужно обращаться к разработчикам. Которые, в принципе, конечно, работают в RIT, но это все-таки разные понятия.

Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

46. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +2 +/
Сообщение от 1 (??), 30-Мрт-18, 15:31 
>почитала наши баг-репорты в их трекере
Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

55. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +/
Сообщение от Аноним (-), 30-Мрт-18, 16:31 
С опенсорсным проектом вам никто ничего не должен даже при наличии комьюнити, а шанс, что из этого комьюнити кто-то шарит менее 1%, и естественно они заняты полезным делом и на форуме не сидят.
Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

34. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +/
Сообщение от Николай Гаврилов (?), 30-Мрт-18, 13:20 
Это опенсорс, дружище. Хочешь чтоб дело сдвинулось с места - выдели ресурсы. Деньги дай, или сам помоги, своими руками. Когда мне надо продвинуть и решить какой-то баг, то я сам занимаюсь этим. Почему другие горазды только на форумах ныть?
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

36. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +/
Сообщение от Аноним (-), 30-Мрт-18, 13:24 
Согласен. Эксплуататор продакшонов блин. Хоть раз донат кинул, или только эксплуатирует и клянчит?
Ответить | Правка | Наверх | Cообщить модератору

14. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +2 +/
Сообщение от asand3r (?), 30-Мрт-18, 09:10 
Слушал я доклад этого дядьки вместе с еще каким-то толстяком на Highload'e. Вещали они про MySQL и PostreSQL. Даже досмотреть сил не хватило - невозможно такое г* слушать.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

50. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +/
Сообщение от Аноним (-), 30-Мрт-18, 16:17 
Они некомпетентны? Позорят отрасль?
Ответить | Правка | Наверх | Cообщить модератору

18. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +/
Сообщение от Аноним (-), 30-Мрт-18, 11:10 
Anonim пишется через "y"

Это пост рекламы своей неинтересной статьи или ненужной компании?

Спасибо.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

26. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +/
Сообщение от Аноним (-), 30-Мрт-18, 13:00 
> мастер-нода теперь не знает, где у нее какие файлы лежат.

Хмммм... Как-то это странно. Такое может быть в какой-нибудь пре-альфа версии, но чтобы японцы выкатили такое в продакшон - не могу в это поверить.  

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

39. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +/
Сообщение от Stax (ok), 30-Мрт-18, 13:34 
>> мастер-нода теперь не знает, где у нее какие файлы лежат.
> Хмммм... Как-то это странно. Такое может быть в какой-нибудь пре-альфа версии, но
> чтобы японцы выкатили такое в продакшон - не могу в это
> поверить.

Я вам секрет открою - в LeoFS *ВСЕ* узлы знают, где какие файлы лежат. Без каких-либо внеших запросов. Просто потому, что узел определяется функцией над именем файла, использующей хэш (RING). И "мастер-нода" требуется только для запуска узла и распространения новой версии RING при изменениях узлов, ну и статистику с узлов собирает - а в остальном в обработке данных никак не участвует. Текущий RING знают все узлы, при добавлении/убирании узлов он меняется и новая версия распространяется. После чего выполняется операция rebalance, во время которой объекты перемещаются между узлами для соответствия новому RING'у. Перемещения, по возможности, минимальные, т.к. это consistent hash. Все узлы всегда знают не только текущий, но и предыдущий RING, что позволяет до окончания операции корректно обслуживать чтение / запись.

Думаю, "мастер-нода теперь не знает, где у нее какие файлы лежат" надо понимать как - добавив новый узел, мы создали новый RING, но или еще не распространили его на другие узлы (тут надо смотреть, почему. В принципе, это неплохо логируется и показывется, где какая дата и версия RING, плюс есть ручные инструменты типа команды dump-ring - можно на всех узлах сдампить его в текстовые файлы и хоть вручную посмотреть), или еще не сделали rebalance. Но в любом случае, мастер-нода знает, где что лежит :) Просто команда whereis, показывающая "где что лежит" (по факту просто применяющая хэш к имени и спрашивающая статус этого объекта на полученных узлах) использует новый созданный RING, а не предыдущий, согласно которому данные еще могут лежать (до окончания rebalance). Это вообще мелочи и особо ничего не значит.

Ответить | Правка | Наверх | Cообщить модератору

29. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."  +4 +/
Сообщение от Не олег (?), 30-Мрт-18, 13:07 
Этот ваш олег, мягко говоря, не самый авторитетный источник...
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру