Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4.0, opennews (??), 29-Мрт-18, (0) [смотреть все] https habrahabr ru company oleg-bunin blog 313364 Поначалу мы паниковали, проб, Anonim (??), 23:35 , 29-Мрт-18, (1) –4 // Как испоганилось айти, если это -- лучший доклад Это бред сумасшедшего, а не д, Аноним (-), 01:27 , 30-Мрт-18, (4) +12 Даже комментировать противно Где багрепорт в списке рассылки или официальном ги, Stax (ok), 04:05 , 30-Мрт-18, (7) +7 // Сразу видно что комментаторы выше доклад не смотрели Цитата вырвана из контекст, RudW0lf (?), 09:44 , 30-Мрт-18, (15) –1   // Кластер поехал Эти спецы начали отключать-подключать ноды в надежде, что само , Аноним (-), 10:53 , 30-Мрт-18, (17) +3   Читал - и как уже написал, комментировать противно Ну-ка а давайте теперь провер, Stax (ok), 12:15 , 30-Мрт-18, (19) +3   Они позвонили по телефону в техподдержку компании Rakuten, которая пишет этот le, XoRe (ok), 12:28 , 30-Мрт-18, (20) –1   Не понимаю, как у них вообще хватило наглости звонить в техподдержку компани, Аноним (-), 12:35 , 30-Мрт-18, (22) +3   А почему вы решили, что у них не было контракта , XoRe (ok), 09:43 , 02-Апр-18, (84)   Я видел эту цитату Еще раз Багрепорт в трекере где Не говоря уж про то, что , Stax (ok), 12:45 , 30-Мрт-18, (24)   Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..., 1 (??), 15:31 , 30-Мрт-18, (46) +2   С опенсорсным проектом вам никто ничего не должен даже при наличии комьюнити, а , Аноним (-), 16:31 , 30-Мрт-18, (55)   Это опенсорс, дружище Хочешь чтоб дело сдвинулось с места - выдели ресурсы Ден, Николай Гаврилов (?), 13:20 , 30-Мрт-18, (34) // Согласен Эксплуататор продакшонов блин Хоть раз донат кинул, или только эксплу, Аноним (-), 13:24 , 30-Мрт-18, (36) Слушал я доклад этого дядьки вместе с еще каким-то толстяком на Highload e Веща, asand3r (?), 09:10 , 30-Мрт-18, (14) +2 // Они некомпетентны Позорят отрасль , Аноним (-), 16:17 , 30-Мрт-18, (50) Anonim пишется через y Это пост рекламы своей неинтересной статьи или ненужной , Аноним (-), 11:10 , 30-Мрт-18, (18) Хмммм Как-то это странно Такое может быть в какой-нибудь пре-альфа версии, н, Аноним (-), 13:00 , 30-Мрт-18, (26) // Я вам секрет открою - в LeoFS ВСЕ узлы знают, где какие файлы лежат Без каких, Stax (ok), 13:34 , 30-Мрт-18, (39) Этот ваш олег, мягко говоря, не самый авторитетный источник , Не олег (?), 13:07 , 30-Мрт-18, (29) +4 Скоро Amazon заблочат на территории РФ с помощью blackhole, что вызовет сбои в р, Roskompozor atakuet (?), 02:30 , 30-Мрт-18, (5) +24 // Ну да, во всем мире, на территории определенного государства , Аноним (6), 03:52 , 30-Мрт-18, (6) // Статью не читал да https en wikipedia org wiki Black_hole_ networking , ansel (?), 13:29 , 30-Мрт-18, (38) –2 // Типа, отключить приём анонсов с глючного или находящегося под контролем злоумышл, YetAnotherOnanym (ok), 18:46 , 30-Мрт-18, (63) Все в чебурашконеты , Вонни Бух и Потчк (?), 04:36 , 30-Мрт-18, (8) +1 // К сожалению нет Амазоном пользуются обычно мобильные игры и приложения , Аноним (-), 12:34 , 30-Мрт-18, (21) Скоро вероятно загонят Все идет к логической развязке , Аноним (-), 13:26 , 30-Мрт-18, (37) // Скоро это минимум через 10 лет Бюрократическая машина очень медленная , Аноним (-), 13:58 , 30-Мрт-18, (40) –2 Дурак ты, Вася У нас РКН 8 млн сайтов заблокировал без решения суда, попутно б, flex (??), 15:04 , 30-Мрт-18, (44) +11 Сколько лет закон Яровой принимается и когда запустится Почему не работает зако, Аноним (-), 15:18 , 30-Мрт-18, (45) –15 Ну привет тебе, простой обыватель Давай по порядку Меньше 2х лет назад приняЛИ , Евгений Канавалов (?), 16:09 , 30-Мрт-18, (48) +24 Почему тролль Я уехал, теперь можете смело отключать интернет Я только за , Аноним (-), 16:41 , 30-Мрт-18, (56) +1 Экспортный тролль, значит , YetAnotherOnanym (ok), 09:32 , 31-Мрт-18, (73) –1 Никакой DPI не нужен Можно если много трафика на один IP и это не ютуб, тогда б, Аноним (-), 20:25 , 30-Мрт-18, (66) –1 Ну толсто же , Аноний (?), 21:33 , 30-Мрт-18, (68) +1 Ну вот А то - ZOG, правительство, власти, рептилоиди угнетают простых граждан Во, Аноним (-), 15:43 , 03-Апр-18, (85) Пошел читать коменты в надежде узнать как оно относительно люстры В результате у, evkogan (?), 10:35 , 30-Мрт-18, (16) –1 // Это не аналог люстры и не предназначено для больших кластеров Это объектный сто, Stax (ok), 12:56 , 30-Мрт-18, (25) +8 // Т е LeoFS не предлагает готовую тулзу Даже несмотря на то, что Формат там эле, Moomintroll (ok), 13:07 , 30-Мрт-18, (28) –1 // Висит в багтрекере, но у них не хватает рук Официальная утилита же должна бы, Stax (ok), 13:23 , 30-Мрт-18, (35) PohmelFS с японцами, шашками и амазоном вместо яндекса , Andrey Mitrofanov (?), 14:20 , 30-Мрт-18, (41) –1 opennet - торт Спасибо, Stax Имхо, ваши комментарии вполне на отдельную статью, Alexander (ok), 15:03 , 30-Мрт-18, (43) +1 // Аккуратнее доверяйте комментариям в интернетах См рядышком каммент 69 где я с, RomanCh (ok), 22:37 , 30-Мрт-18, (70) –1 Спасибо, отличное описание Если оформите как статью будет здорово Прежде чем нап, evkogan (?), 15:58 , 30-Мрт-18, (47) Мм, рассказ тут не про Ceph, но когда набрасываете, то извольте конкретно излага, RomanCh (ok), 22:35 , 30-Мрт-18, (69) –1 // Тоже не хотелось бы, но пару вещей прокомментирую Например, вот это https gith, Stax (ok), 11:03 , 31-Мрт-18, (74) +1 Что вот это Список юнитов systemd вас испугал, или наличие готовых вам вел, RomanCh (ok), 13:47 , 31-Мрт-18, (77) –1 Вы действительно не понимаете или только делаете вид Вопрос не в наличии, а в т, Stax (ok), 14:45 , 31-Мрт-18, (78) –1 Внутри всё работает так как обещали Или вы дома каждый утюг и монитор разобрали, RomanCh (ok), 17:01 , 31-Мрт-18, (80) –1 Не разбираюсь - но в том-то и фишка, что оно со стороны в достаточной степени , Stax (ok), 18:58 , 31-Мрт-18, (81) Главная проблема ceph - это все же контрольные суммы данных Bluestore появился , alexk (??), 16:42 , 01-Апр-18, (82) Можно поподробнее, почему нет Насколько возможна расширяемость LeoFS и во что мо, kvaps (ok), 22:43 , 30-Мрт-18, (71) –2 // Не так Ceph замечательно работает например на 3х нодах ProxMox, который хранит , RomanCh (ok), 23:02 , 30-Мрт-18, (72) –1 Например, система репликации построена так, что другие серверы знают помнят , г, Stax (ok), 11:20 , 31-Мрт-18, (75) +1 Благодарю, очень исчерпывающе , kvaps (ok), 11:28 , 31-Мрт-18, (76) –1 Мда Вот смотрю я на тебя и вижу человека, который не может похвастаться широким, Gilneas (?), 13:13 , 30-Мрт-18, (31) –1 // Я действительно не очень разбираюсь в объектных хранилищах Ну не интересны они , evkogan (?), 16:21 , 30-Мрт-18, (51) +1 // Главное что ты знаешь как лучше , Аноним (-), 17:25 , 30-Мрт-18, (60) А есть какое-нибудь сравнение с Ceph Вот Ceph я знаю уже давно 8212 крупный и, Moomintroll (ok), 12:40 , 30-Мрт-18, (23) –1 // Подробно описал выше Пробовал Ceph В итоге без боли выбрал LeoFS Если совсе, Stax (ok), 13:05 , 30-Мрт-18, (27) +3 Интересно, есть ли у нее место не в промышленном применении , Аноним (-), 13:09 , 30-Мрт-18, (30) –1 // Оно вполне подходит для небольшой компании, которой нужно хранить например неско, Stax (ok), 13:20 , 30-Мрт-18, (33) +1 // Спасибо за подробный ответ , Аноним (-), 16:15 , 30-Мрт-18, (49) А не пробовал от reverbrain хранилище И вроде как в блогах хорошо описывает, и , Аноним (-), 15:02 , 31-Мрт-18, (79) А какие минусы у Amazon AWS, и аналоги есть , Аноним (-), 13:16 , 30-Мрт-18, (32) –1 Недоверяю я этим облакам Хранить данные на компе чужого дяди не важно - заморс, Аноним (-), 16:22 , 30-Мрт-18, (52) // При том что если так хочется, можно арендовать заморский VPS, и там поднять свое, Аноним (-), 16:23 , 30-Мрт-18, (53) // Тебе сказали не хотят дяде отдавать свои данные, а ты говоришь хранить на компе , Аноним (-), 20:28 , 30-Мрт-18, (67) +2 1,5,16,23,30,32,52

Сообщения

[Сортировка по времени | RSS]

	15. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."	–1 +/–
	Сообщение от RudW0lf (?), 30-Мрт-18, 09:44
	Сразу видно что комментаторы выше доклад не смотрели. Цитата вырвана из контекста. Минутой ранее в докладе говорилось, что ребята пошли в саппорт этого самого проэкта, где их просто послали, а поскольку они его держали в проде они испытали неюллюзорный батхерт. После этого попытались обратиться к знакомым с языком специалистам и те вежливо отказали. Вообще насколько я понимаю исходный посыл первого комментария - опенсорц проэкт без комьюнити - это уг,и ставить его себе на прод то еще приключение. Есть люди которые используют это в проде на хотябы 100+ узлов?
	Ответить | Правка | Наверх | Cообщить модератору

	17. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."	+3 +/–
	Сообщение от Аноним (-), 30-Мрт-18, 10:53
	Кластер поехал. Эти спецы начали отключать-подключать ноды в надежде, что "само пройдёт". Я б их ещё дальше послал
	Ответить | Правка | Наверх | Cообщить модератору

	19. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."	+3 +/–
	Сообщение от Stax (ok), 30-Мрт-18, 12:15
	> Сразу видно что комментаторы выше доклад не смотрели. Цитата вырвана из контекста. Читал - и как уже написал, комментировать противно. > Минутой ранее в докладе говорилось, что ребята пошли в саппорт этого > самого проэкта, где их просто послали, а поскольку они его держали Ну-ка а давайте теперь проверим их слова. Официально саппорт есть в списке рассылки https://groups.google.com/forum/#!forum/leoproject_leofs , и еще, разумеется, есть багтрекер (еще с 2013 года) https://github.com/leo-project/leofs/issues - где же багрепорты от этих товарищей? Или их так "послали", что вычистили и следы от заведенных ими багов? > в проде они испытали неюллюзорный батхерт. После этого попытались обратиться к > знакомым с языком специалистам и те вежливо отказали. > Вообще насколько я понимаю исходный посыл первого комментария - опенсорц проэкт без > комьюнити - это уг,и ставить его себе на прод то еще Какой именно комьюнити требуется? В список рассылки пишут, но не много, в основном с вопросами, связанными с первыми установками. Кто-то сразу пишет в issue tracker вопросы по установке. Но в целом (особенно в текущих версиях) там все очень гладко и ставится без вопросов. Поддержка заявлена и в рассылке, и на багтрекере. Еще есть комьюнити Project FiFO (http://project-fifo.net/). Там для хранения данных используется LeoFS. Некоторые используют LeoFS в его составе как готовый продукт и общаются чисто в рамках того комьюнити. > приключение. Есть люди которые используют это в проде на хотябы 100+ > узлов? Тут, похоже, есть некоторое непонимание, зачем данная штука. Она НЕ предназначена для хранения данных на 100+ узлов. Хотя вполне может обслуживать 100+ узлов, обрабатывающих данные, но хранить их предполагается на меньшем количестве. Строго говоря, явного ограничения нет - но я бы делал на ней кластеры на 6-12 узлов, может до 20. При большом количестве узлов будут некоторые неприятности как минимум при их обслуживании, но я не хочу заострять на этом внимание (проблемы известны, со временем поправят). (это я про узлы хранения - для обслуживания 100+ узлов обработки данных, вероятно, еще потребуется немаленькая пачка узлов-шлюзов. Именно они держат нагрузку по запросам, к счастью, их очень легко масштабировать) Это штука, когда вам надо хранить (раздавать, использовать) большое количество объектов, в том числе маленьких (картинки, документы), при этом нужна производительность и отказоустойчивость.  В отличие от конкурирующих решений, она очень проста, надежна и высокопроизводительна на маленьких объектах. Т.е. туда можно кидать и 100 МБ объекты, и 10 КБ объекты, и все будет хорошо. Нужно закинуть миллиард объектов со средним размером 50 КБ - не вопрос, все будет достаточно быстро. Чуть подробнее отпишу ниже, где спрашивают про сравнение с lustre. Работать с ней на уровне PUT/GET/DELETE через обычный REST API либо же получая всю функциональность (пользователи/бакеты и т.п.) через S3-совместимый API. Хорошие биндинги для S3 есть для всех популярных языков, есть интеграция с другими системами (напр. Hadoop умеет обращаться к S3), многие продукты либо нативно, либо через s3cmd или s3-fuse позволяют "просто подключить" это хранилище и хранить в нем данные. Локально и значительно дешевле амазона. Был вот у вас NAS, на котором находятся данные, с которыми работают приложения, вы его переросли - перестало хватать места/скорости/захотелось отказоустойчивости. Вы убеждаетесь, что все ваши приложения умеют обращаться или по REST, или имеют биндинги к S3, ставите эту штуку и наслаждаетесь. (NFS-доступ по ряду причин я бы не назвал production-ready, там есть много ограничений, в которые можно упереться).
	Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

	20. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."	–1 +/–
	Сообщение от XoRe (ok), 30-Мрт-18, 12:28
	> Ну-ка а давайте теперь проверим их слова. Официально саппорт есть в списке рассылки https://groups.google.com/forum/#!forum/leoproject_leofs , и еще, разумеется, есть багтрекер (еще с 2013 года) https://github.com/leo-project/leofs/issues - где же багрепорты от этих товарищей? Или их так "послали", что вычистили и следы от заведенных ими багов? Они позвонили по телефону в техподдержку компании Rakuten, которая пишет этот leofs. Тут лучше подойдет другая цитата с того доклада: > Технический руководитель команды setup нанял переводчика с японского, и мы позвонили в Токио. В 8 утра. Поговорить с компанией Rakuten. Компания Rakuten поговорила с нами час, и простите меня, я буду ее ругать, потому что так со мной еще не обращались в моей жизни, а я 20 лет в бизнесе… Компания Rakuten поговорила с нами час, выслушала внимательно наши проблемы, почитала наши баг-репорты в их трекере, после чего сказала: «Знаете, у нас закончилось время, спасибо, извините».
	Ответить | Правка | Наверх | Cообщить модератору

	22. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."	+3 +/–
	Сообщение от Аноним (-), 30-Мрт-18, 12:35
	Не понимаю, как у них вообще хватило наглости звонить (!) в техподдержку компании, не имея контракта, по которому им должны были предоставить эту поддержку. Может их там ещё в седалище должны были облобызать? Как только начал используешь чужой софт за здорово живём — ты сам себе техподдержка.
	Ответить | Правка | Наверх | Cообщить модератору

	84. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."	+/–
	Сообщение от XoRe (ok), 02-Апр-18, 09:43
	> Не понимаю, как у них вообще хватило наглости звонить (!) в техподдержку > компании, не имея контракта, по которому им должны были предоставить эту > поддержку. Может их там ещё в седалище должны были облобызать? Как > только начал используешь чужой софт за здорово живём — ты сам > себе техподдержка. А почему вы решили, что у них не было контракта?
	Ответить | Правка | Наверх | Cообщить модератору

	24. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."	+/–
	Сообщение от Stax (ok), 30-Мрт-18, 12:45
	Я видел эту цитату. Еще раз. Багрепорт в трекере где??? Не говоря уж про то, что Rakuten - огромный холдинг. Конкретно финансированием разработки LeoFS занимается Технологический Институт Rakuten (RIT). Поддержкой напрямую они не занимаются! За поддержкой нужно обращаться к разработчикам. Которые, в принципе, конечно, работают в RIT, но это все-таки разные понятия.
	Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

	46. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."	+2 +/–
	Сообщение от 1 (??), 30-Мрт-18, 15:31
	>почитала наши баг-репорты в их трекере
	Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

	55. "Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4..."	+/–
	Сообщение от Аноним (-), 30-Мрт-18, 16:31
	С опенсорсным проектом вам никто ничего не должен даже при наличии комьюнити, а шанс, что из этого комьюнити кто-то шарит менее 1%, и естественно они заняты полезным делом и на форуме не сидят.
	Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема