The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows, opennews (?), 06-Сен-17, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


18. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 12:05 
Журналирование по сути менее безопасно, чем перекидывание указателей
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

19. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 12:07 
В btrfs еще контрольные суммы всюду
Ответить | Правка | Наверх | Cообщить модератору

25. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 12:23 
> В btrfs еще контрольные суммы всюду

А в случае если ситуация отлична от идеала - можно еще использовать btrfs restore. Утилса попробует прочитать все что читается, без использования драйвера ФС. Можно руками потыкаться в разные generation если при записи новых данных случилось что-то сильно нестандартное, искусственно вернув себя немного в прошлое, когда все еще работало как надо.

У кого еще такие тулсы есть? Для винды такое есть для fat32 и ntfs, от сторонних производителей типа парагона и за отдельные деньги. А под другие ФС таких программ вообще нет, так что если файлуха не смонтировалась - это все, хана. Можете в хексэдиторе разбирать. Так иногда делают для очень ценных файлов, но сколько файлов вы так достанете?

Ответить | Правка | Наверх | Cообщить модератору

28. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +2 +/
Сообщение от Аноним (-), 06-Сен-17, 12:33 
П-ф-ф-ф, в DragonFlyBSDшном HAMMER такое всегда было.
Ответить | Правка | Наверх | Cообщить модератору

36. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 13:03 
> П-ф-ф-ф, в DragonFlyBSDшном HAMMER такое всегда было.

А чего пффф? Разработчики хаммера еще один пример тех кто не стал утыкаться в технологии 90х и пошел дальше. Беглый взгляд на структуры оставил положительное впечатление. Собственно, их проблема в том что это какой-то узкомаргинальный клон бсды. Файлуха симпатичная, но ОС состоит не только из ФС. И вот в этом месте линукс стрекозу очень обижает.

Ответить | Правка | Наверх | Cообщить модератору

35. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от SysA (?), 06-Сен-17, 12:57 
>[оверквотинг удален]
> btrfs restore. Утилса попробует прочитать все что читается, без использования драйвера
> ФС. Можно руками потыкаться в разные generation если при записи новых
> данных случилось что-то сильно нестандартное, искусственно вернув себя немного в прошлое,
> когда все еще работало как надо.
> У кого еще такие тулсы есть? Для винды такое есть для fat32
> и ntfs, от сторонних производителей типа парагона и за отдельные деньги.
> А под другие ФС таких программ вообще нет, так что если
> файлуха не смонтировалась - это все, хана. Можете в хексэдиторе разбирать.
> Так иногда делают для очень ценных файлов, но сколько файлов вы
> так достанете?

Зато у БТР'а вообще нет поддержки multipath'а! :) Вот ты скажи, как можно в реальном производстве, где стоимость бизнеса исчисляется миллионами ТАКОЕ ставить?!..

Можно, конечно, приделать костыль посредством установки БТР'а поверх программного дискового массива (mdadm RAID), и все это будет нормально работать, но это все же костыль.

А для локалхоста, пожалуйста, ставь что хочешь.

Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

41. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +3 +/
Сообщение от Аноним (-), 06-Сен-17, 13:14 
> Зато у БТР'а вообще нет поддержки multipath'а! :)

А это вообще точно должно быть в именно ФС а не как generic услуга ядра для всех?

> Вот ты скажи, как можно в реальном производстве, где стоимость бизнеса исчисляется миллионами ТАКОЕ ставить?!..

У фэйсбука стоимость бизнеса в миллиардах измеряется. А вся эта гигантомания с попытками сделать Очень Большую Машину - напоминает историю мамонтов.

> массива (mdadm RAID), и все это будет нормально работать, но это все же костыль.

Действительно, костыль.

> А для локалхоста, пожалуйста, ставь что хочешь.

У фэйсбука и гугли забавные локалхосты. И их много. И масштабируются они куда как.

Ответить | Правка | Наверх | Cообщить модератору

47. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –1 +/
Сообщение от SysA (?), 06-Сен-17, 13:36 
>> Зато у БТР'а вообще нет поддержки multipath'а! :)
> А это вообще точно должно быть в именно ФС а не как
> generic услуга ядра для всех?

Нет, для нормальных ФС.
и да, для БТРа, поскольку БТР нативно САМА работает со СВОИМ набором дисков, а иначе практически все ее преимущество и эффективность пропадают.

>> Вот ты скажи, как можно в реальном производстве, где стоимость бизнеса исчисляется миллионами ТАКОЕ ставить?!..
> У фэйсбука стоимость бизнеса в миллиардах измеряется. А вся эта гигантомания с
> попытками сделать Очень Большую Машину - напоминает историю мамонтов.

Еще раз - БТР там далеко НЕ везде! И читай "(хотя бы) миллионами" - так легче? :)

...

> У фэйсбука и гугли забавные локалхосты. И их много. И масштабируются они
> куда как.

Перечитай внимательно мой пост - для контейнеров БТР практически идеальная система ибо позволяет создавать подтома на лету без задержек. Но при интенсивной работе с множеством мелких файлов - тормоза. Такие же тормоза при заполнении ФС.

И их "локалхосты" используют собственные решения, где тот же БТР - лишь частный случай, причем даже не столь уж значительный.

Ответить | Правка | Наверх | Cообщить модератору

85. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 22:21 
> Нет, для нормальных ФС.

Я преклоняюсь перед гуру. Это мощное и убедительное архитектурно-техническое обоснование правоты. А критерии нормальности для ФС можно увидеть, о великий?

> и да, для БТРа, поскольку БТР нативно САМА работает со СВОИМ набором
> дисков, а иначе практически все ее преимущество и эффективность пропадают.

БТР в лине с одной стороны делает райд кастомно, чтобы иметь возможность делать его по chunk-ам, без привязки к блочным девайсам и их размерам. С другой реюзает услуги ядра линукс по максимуму. Поэтому в отличие от "нормальных" не прет свой менеджер кэша. И даже чексумы и алгоритмы райд - из модулей ядра линя, они же используются и другими. А как это на устройства потом раскидать - второй вопрос.

Откуда напрямую напрашивается вопрос - где в случае линукса таким вещам на самом деле место. Судя по описанию от этого могут выиграть и другие ФС, не? А распихивание этого в именно ФС ничего уникального не дает вроде?

> Еще раз - БТР там далеко НЕ везде! И читай "(хотя бы) миллионами" - так легче? :)

БТР там напихан довольно много где, более чем достаточно для крупномасштабных тестов, оптимизаций, исправления кучи багов и проч. И поимки нескольких глючных контроллеров на серверах.

> Перечитай внимательно мой пост - для контейнеров БТР практически идеальная система ибо
> позволяет создавать подтома на лету без задержек.

Мне рефлинки нравятся. Можно поднять эн похожих виртуалок с жирным диском из шаблона в мгновение, места вся армада почти не займет: хранятся только отличия от readonly шаблона, которые запишутся в сторонку по мере появления отличий. Этот фокус может вызвать отвис челюсти у тех кто не знает что такое рефлинки. Ведь подъем такой армады обычным методом займет добрых полчаса и дико грузит стораж. Главное не сильно наглеть с числом рефлинков, иначе может просесть. Но даже с этим ограничение довольно эпично. Потому что остальные и так не могут.

> Но при интенсивной работе с множеством мелких файлов - тормоза.
> Такие же тормоза при заполнении ФС.

У CoW есть поводы для фрагментации. Особенно если ФС забита. Но можно врубить автодефраг и реже чекпойнтить, например. Автодефраг несмотря на название всего лишь пытается оптимизировать записи для более линейного размещения, объединяя их. Возможно имеет смысл дефрагить иногда, если к мелким файлам много кусочков дописывается, так что cow делает много фрагментов. Может быть in place хранение мелких файлов плохо работает. Но я не знаю что за файлы, насколько мелкие и что с ними делают. Может быть ваша нагрузка неудачна для CoW. Так навскидку - git с актуальным линуксным ядром на btrfs работает вполне прилично, хотя файлов там довольно много.

> И их "локалхосты" используют собственные решения, где тот же БТР - лишь
> частный случай, причем даже не столь уж значительный.

Это правда, но это и есть правильный способ создания больших суперструктур. А распальцы технологиями похожими на мамонтов выглядят очень спорно. Сколько крутым железом не бряцай, до уровня мордокниги его не отмасштабировать. Да и сказ про надежность для железа сконцентрированного в одной физической локации выглядит неубедительно. Вот то что вы распределенную ФС размазанную по всей планете не убьете даже метеоритом долбанувшим в датацентр - вот это пожалуй.

Ответить | Правка | Наверх | Cообщить модератору

57. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +6 +/
Сообщение от пох (?), 06-Сен-17, 14:44 
>> Вот ты скажи, как можно в реальном производстве, где стоимость бизнеса исчисляется
>> миллионами ТАКОЕ ставить?!..
> У фэйсбука стоимость бизнеса в миллиардах измеряется. А вся эта гигантомания с

вы стоимость бизнеса с угрозой этому бизнесу поксорьте.
Потому что у мордокниги стоимость гигантская, но если навернется чохом процентов даже 20 котиков - ну пожужжат юзвери немножко, забанят еще по разику сцукенберга, напишут что-нибудь обидное - и дальше котиков понапостят, все равно им пойти некуда.
А у какого-нибудь крохотного банчка даже без права выдачи денег физлицам - один фейл, и привет, все причастные лежат в аккуратных ямках в подвале под хорошим слоем качественного бетона, потому что так дешевле, чем увольнять по банкротству предприятия.

> У фэйсбука и гугли забавные локалхосты. И их много. И масштабируются они
> куда как.

повторяем: фейсбуку и гуле, которую ты на остановке забыл, совершенно, феерически наcpать на сохранность твоих данных. Да и большей части своих тоже - они уверены, в текущей схеме, что не потеряют разом заметную часть, и им этого вполне достаточно. Поскольку сравнивают где-то так: "при такой аварии мы снижаем эффективность подбора рекламы на столько-то и теряем бабки рекламодателей в таком количестве на такое-то время, пока система не наестся снова. Антиаварийные меры стоят на столько-то дороже, поэтому забьем на них."

_свои_ (там где бабки) они при этом не на люстре хранят ни разу.

Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

90. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –2 +/
Сообщение от Аноним (-), 06-Сен-17, 23:27 
> вы стоимость бизнеса с угрозой этому бизнесу поксорьте.

На фоне распределенных ФС масштаба планеты, блокчейнов и проч это лишь небольшое стадо мамонтов.

> Потому что у мордокниги стоимость гигантская, но если навернется чохом процентов даже
> 20 котиков - ну пожужжат юзвери немножко, забанят еще по разику сцукенберга,
> напишут что-нибудь обидное - и дальше котиков понапостят,

Когда кто-то пытается доказать что есть лишь один путь, человеку с мозгом следует посмотреть вокруг и увидеть другой путь. Можно вообще не терять котиков. Никогда и никак. В большой инфраструктуре постоянно что-то отказывает - очень кстати если все автоматически реплицируется и чинится. В лучшем случае пользователи не заметят даже отказ пары ДЦ. Суперструктура просядет по скорости из-за снижения уровня репликации и повышения нагрузки в пересчете на сервер. Когда мощности починятся - производительность и уровень репликации восстановится. А что будет с вашими "супернадежными" технологиями если какое-то ЧП вынесет ДЦ? Ах, скажете "service unavailable" и будете рвать зад в режиме аврала? И этих людей предлагается слушать на предмет надежности? Дааааа?

> А у какого-нибудь крохотного банчка даже без права выдачи денег физлицам -
> один фейл, и привет,

Ну вы сами написали почему блокчейны рулят. Попробуйте по такой технологии завалить биткоин?

> на сохранность твоих данных.

Не обязательно. Как вариант есть еще обеспечение надежности на другом уровне абстракций, когда кучка реплик разлетается по географически распределенным машинам. При этом даже отказ целого ДЦ не проблема.

Хинт: отдельно взятому юниту не обязательно быть мощным и надежным для того чтобы получившаяся суперструктура была мощной и надежной.

> Да и большей части своих тоже - они уверены, в текущей схеме, что не потеряют
> разом заметную часть, и им этого вполне достаточно.

Конечно, ведь есть такая штука как репликация. Если часть машин отпадет - и фиг с ними. Можно починить в обычном режиме, а не авральном, после чего производительность вернется на исходный уровень.

> Поскольку сравнивают где-то так: "при такой аварии мы снижаем эффективность
> подбора рекламы на столько-то и теряем бабки рекламодателей в таком количестве
> на такое-то время, пока система не наестся снова. Антиаварийные меры стоят
> на столько-то дороже, поэтому забьем на них."

Скорее ближе к "в случае крупной аварии ваши котики грузятся немного медленнее". Но никто это и не заметит даже без бенчмарков.

> _свои_ (там где бабки) они при этом не на люстре хранят ни разу.

Да при чем тут люстры? В инсталляциях такого масштаба обычно свои решения под именно их задачи. У гугли есть распределенная ФС, она прозрачно переживает отвал ряда машин, никто ничего не замечает. А машины тем временем можно неспешно починить.

Ответить | Правка | Наверх | Cообщить модератору

103. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –2 +/
Сообщение от 123 (??), 07-Сен-17, 12:13 
С какого перепоя в нити речь о Гугл пошла, у них своя пропиетарная GoogleFS.

Ну Фейсбук так себе пример - достаточно тормозной ресурс, иногда крашащийся и не способный открыть jpg переброшенные через мессенджер, к тому же на пэхэпэ.

Ответить | Правка | Наверх | Cообщить модератору

111. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 07-Сен-17, 20:42 
> С какого перепоя в нити речь о Гугл пошла, у них своя
> пропиетарная GoogleFS.

Это, конечно, немного оффтоп, но слова из песни о современных технологиях хранения не выкинешь. Технологии есть, не учитывать это странно. К тому же большинство достаточно крупных инсталляций рано или поздно приходят к чему-то такому. Не обязательно как ФС, но общая идея остается.

> Ну Фейсбук так себе пример - достаточно тормозной ресурс, иногда крашащийся и
> не способный открыть jpg переброшенные через мессенджер,

А ты попробуй сделать лучше и в таком же масштабе - узнаешь почем фунт лиха.

> к тому же на пэхэпэ.

У них там вроде бы свой особый уличный пых, с хипхопом и виртуалками.

Ответить | Правка | Наверх | Cообщить модератору

33. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от PnDx (ok), 06-Сен-17, 12:52 
Увы, нет. Блоки данных не подписывают (и не видел в плане, но хочу здесь ошибиться).
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

43. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 13:18 
> Увы, нет. Блоки данных не подписывают (и не видел в плане, но
> хочу здесь ошибиться).

Если надо именно цифровые подписи, как предотвращение "разбойного" изменения файлухи, даже атакующим загрузившимся с какой там внешней флехи и проч - это наверное куда-то в сторону IMA смотреть надо. IMA не принципиально какая там ФС, лишь бы xattrs умела. Btrfs в этом плане ничем не хуже других, xattrs он умеет.

Ответить | Правка | Наверх | Cообщить модератору

45. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от PnDx (ok), 06-Сен-17, 13:27 
> Если надо именно цифровые подписи, как предотвращение "разбойного" изменения файлухи,
> даже атакующим загрузившимся с какой там внешней флехи и проч -
> это наверное куда-то в сторону IMA смотреть надо. IMA не принципиально
> какая там ФС, лишь бы xattrs умела. Btrfs в этом плане
> ничем не хуже других, xattrs он умеет.

  Я всего лишь про поблочные хэши. Которые подсказывают, что если сумма не бьётся — данные в блоке тю-тю. Мега-актуально для немагнитных носителей информации.
  ЭЦП на уровне ФС — как-то всё-таки слишком, на мой вкус. Там обычно шифрования хватает.

Ответить | Правка | Наверх | Cообщить модератору

95. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +2 +/
Сообщение от Аноним (-), 07-Сен-17, 03:11 
>   Я всего лишь про поблочные хэши. Которые подсказывают, что если
> сумма не бьётся — данные в блоке тю-тю.

В btrfs для блоков считается crc32. Не предел мечтаний, но для озвученных целей - вполне достаточно.

> Мега-актуально для немагнитных носителей информации.

Там для начала своя ECC. Если она уже не тянет, так что апликухи увидели ошибки - накопитель здорово сыпется и просится в мусор. И если уж мы об этом, CRC32 обладает весьма приличными свойствами отлова битовых ошибок характерных для осыпающегося флеша и для этих целей он выглядит весма неплохим компромиссом.

>   ЭЦП на уровне ФС — как-то всё-таки слишком, на мой
> вкус. Там обычно шифрования хватает.

В случае IMA можно зарубить даже активные атаки при которых атакующий цепляет стораж к своей системе, активно его патчит там, имея на это в своей системе полные права, а потом цепляет обратно к атакуемой системе, в надежде что система купится на это и станет работать с его данными или кодом. В случае IMA такую диверсию можно обнаружить.

А шифрование диска само по себе защищает только от изучения данных атакующим. Но вот если атакующий вместо изучения запишет свои данные, они во что-то расшифруются. Если там не было сильной проверки целостности, атакующий даже не зная ключ может поприкалываться подпихивая системе мусор и устроив fuzzing. Если атакующий может видеть результат расшифровки, за несколько попыток можно более целенаправленно подобрать шифрованный блок, чтобы тот расшифровался во что-нибудь полезное атакующему. Без знания ключа. Можно зарубить сильными хэшами завязаными на ключ, но облом в том что их надо где-то хранить и лобовое шифрование секторов/блоков 1 в 1 тогда уже не получится, надо еще хэши куда-то рассовывать. И умеет ли так хоть кто-нибудь - отдельный вопрос и это надо здорово RTFMать про выбранную схему шифрования.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру