The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Для Ext4 представлена поддержка контрольных сумм для проверки целостности метаданных

02.06.2012 11:17

Теодор Цо (Theodore Ts'o) представил порцию изменений в файловой системе Ext4, предложенных для интеграции в состав ядра Linux 3.5. Ключевым новшеством является обеспечение встроенной поддержки проверки целостности метаданных, реализованной в рамках инициативы по увеличению надёжности ФС Ext4. Для обеспечения новой функции в поле метаданных добавлен новый блок с контрольной суммой crc32 и соответственно изменена структура хранимых на диске метаданных.

Контрольные суммы рассчитываются для суперблока, inode, битовых карт блоков, блоков дерева экстентов, htree-узлов, MMP-блоков, директорий и блоков с расширенными атрибутами. Также поддержка контрольных сумм добавлена в инфраструктуру журналирования jbd2 (Journaling block device), что позволит проверять целостность элементов журнала Ext4, а также отдельных коммитов и блоков данных, хранимых в журнале.

  1. Главная ссылка к новости (https://lkml.org/lkml/2012/6/1...)
  2. OpenNews: e4rat - оптимизатор ФС Ext4 для ускорения загрузки
  3. OpenNews: Оценка эффективности работы fsck на гигантских разделах XFS и Ext4
  4. OpenNews: В ядре Linux 3.3 появится новая реализация механизма изменения размера Ext4 на лету
  5. OpenNews: Представлен набор патчей с поддержкой снапшотов для файловой системы Ext4
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/33996-ext4
Ключевые слова: ext4, crc
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (198) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 11:25, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    А производительность на сколько просядет?
     
     
  • 2.2, ВовкаОсиист (ok), 11:29, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +3 +/
    не идиоты же пишут, там куча реализаций крк32 под разные процессорные возможности.
     
  • 2.3, Анонимус_б6 (?), 11:29, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    видимо в зависимости от проца, я надеюсь он догадался поюзать все современные оптимизации?
     
     
  • 3.7, Аноним (-), 12:05, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • –14 +/
    в ядре? фантазёр
     
     
  • 4.13, ананим (?), 13:04, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Да. В ядре.
    Достаточно посмотреть его исходники. Или хотя бы 1 раз его собрать самому и посмотреть параметры.

    Зыж
    Кстати сабж — это один из пунктов в пользу монолитности ядра.

     
  • 4.28, BratSinot (?), 16:45, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Кстати сабж — это один из пунктов в пользу монолитности ядра.

    В каком месте это вообще здесь уперлось? На микро/экзо/нано ядрах нет файловой подсистемы? Нет возможности использовать алгоритмы хеширования?

     
     
  • 5.31, Аноним (-), 17:03, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > подсистемы? Нет возможности использовать алгоритмы хеширования?

    Там счет crc32 покажется ерундой на фоне постоянного переключения контесктов :)

     
     
  • 6.36, Аноним (-), 17:34, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Отдельный сервер для расчёта CRC-32, да.
     
  • 6.48, ананим (?), 18:36, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Я бы лучше и не ответил. :)
     
  • 6.73, Аноним (-), 21:21, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А разве такое выносится в отдельный процесс? Просто будет библиотека, оптимизированная для каждого процессора, со статической линковкой, которую подключат нужные компоненты микроядра.
     
     
  • 7.74, ананим (?), 21:39, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Вы вообще понимаете что говорите?
    Где статическая (да и любая другая) линковка и где контекст выполнения.
     
  • 6.94, Voviandr (??), 23:43, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    цитата Зубинского в контексте микторядра MINIX 3 За всякое улучшение надо п... большой текст свёрнут, показать
     
     
  • 7.141, Аноним (-), 00:59, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Да забодали вы с вашими сферическими конями в вакууме Сделайте практическую реа... большой текст свёрнут, показать
     
     
  • 8.160, Voviandr (??), 02:01, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    вы выдвигаете тезис, что мои утверждения про полпроцента необоснованны, так как ... текст свёрнут, показать
     
     
  • 9.166, Аноним (-), 02:29, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • –2 +/
    У меня есть валидное оправдание я на уровне инженерной интуиции вполне могу пре... большой текст свёрнут, показать
     
  • 5.52, ананим (?), 18:58, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Куча профильных ошибок для специалиста если вы специалист В том то и дело что... большой текст свёрнут, показать
     
     
  • 6.87, Аноним (-), 22:42, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > И они даже посикс (резко вспоминаем баг с крипто в фрибсд 2-а дня назад.

    В пингвине к счастью никто не страдает настолько упоротой некромансией чтобы использовать DES. DES вообще отстойный алгоритм: он и тормозной, и ключ у него короткий. Уникальное сочетание отстойных свойств.

     
     
  • 7.106, Аноним (-), 09:31, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > В пингвине к счастью никто не страдает настолько упоротой некромансией чтобы использовать
    > DES. DES вообще отстойный алгоритм: он и тормозной, и ключ у
    > него короткий. Уникальное сочетание отстойных свойств.

    Для вас это будет сюрпризом, но в библиотеке Glibc, которая используется почти во всех дистрибутивах Linux, в функции crypt по умолчанию используется как раз DES.

     
     
  • 8.111, filosofem (ok), 12:54, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Да хоть бы XOR по дефолту Что это меняет ... текст свёрнут, показать
     
  • 8.112, ананим (?), 13:07, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ещё бы ведь это ложь D http www gnu org software libc manual html_node cryp... текст свёрнут, показать
     
     
  • 9.140, Аноним (-), 23:27, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Не вырывайте из контекста, а читайте дальше где написано, что по дефолту DES, а ... текст свёрнут, показать
     
     
  • 10.177, ананим (?), 09:42, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Ок Я не буду вырывать , а вы научитесь читать Нет никакого дефолта Есть пере... текст свёрнут, показать
     
  • 8.130, Аноним (-), 22:11, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А причём тут glibc если crypt с DES это стандарт POSIX glibc наоборот добавляет... текст свёрнут, показать
     
     
  • 9.139, Аноним (-), 23:19, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    При том, что аноним выше ухмылялся про DES во FreeBSD, в то время как crypt и в ... текст свёрнут, показать
     
     
  • 10.176, ананим (?), 09:37, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Какой в попу дефолт Салт нужен в любом случае И это первое Второе 8212 как... текст свёрнут, показать
     
  • 8.142, Аноним (-), 01:00, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Осталось найти хоть 1 пароль в современном пингвине зашифрованный именно так ... текст свёрнут, показать
     
     
  • 9.183, ананим (?), 11:06, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Вообще-то надо найти впингвине хоть один вызов не умеющий многобайтовые символы ... текст свёрнут, показать
     
     
  • 10.207, Аноним (-), 20:50, 05/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    устаревшее барахло это grep в linux ... текст свёрнут, показать
     
     
  • 11.211, ананим (?), 07:17, 06/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Мимо 8212 http www opennet ru opennews art shtml num 25926 Зыж Какое отноше... текст свёрнут, показать
     
  • 11.212, ананим (?), 07:30, 06/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    пример поиска в utf8 для grep-2 9 wget -O - http opennet ru 2 1 124 iconv... текст свёрнут, показать
     
  • 2.4, Аноним (-), 11:35, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    В пределах погрешности
     
  • 2.6, Аноним (-), 12:04, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    не должно просесть, здесь запись на диск намного тормознее вычисления crc
     
     
  • 3.16, pavlinux (ok), 14:56, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Диски уже не покупают.
     
     
  • 4.22, анон (?), 15:28, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Диски уже не покупают.

    А что покупают? SSD?

     
     
  • 5.35, Аноним (-), 17:32, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > А что покупают? SSD?

    Примерно так. На механические диски цены после наводнения в тайване довольно конские.

     
     
  • 6.39, анон (?), 17:39, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А как быть с большими объемами? Цены на SSD все еще довольно высокие.

    Цены на HDD несколько снизились. Растущая конкуренция с SSD должна только способствовать снижению. В некоторой, не очень долгосрочной, перспективе все вернется на место. А пока я не вижу серьезной конкуренции между HDD и SSD при хранении большого количества данных (порядка ТБ).

    ЗЫ И да, я админ локалхоста и в связи с этим имею ограниченные финансы.

     
     
  • 7.174, Аноним (-), 04:58, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > А как быть с большими объемами? Цены на SSD все еще довольно высокие.

    Ну вот и выбираем между конскими ценами и еще более конскими :)

     
  • 3.17, Аноним (-), 14:58, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    угу. админ локал хоста замечен.

    А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6.

     
     
  • 4.19, pavlinux (ok), 15:05, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А у меня дома RAID 60 на SAS SSD c суммарной записью 12Gb/s, (или мне это приснилось).
     
     
  • 5.107, Аноним (-), 12:03, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    а без SSD получить столько ?
     
     
  • 6.143, pavlinux (ok), 01:01, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > а без SSD получить столько ?

    Конечно нет, да и с SSD столько не получишь,
    это ж маркетинг, как и 6Gb/s и 3Gb/s.
    Реальные цифры, сейчас, это 600-800 Mb/s


     
     
  • 7.146, Аноним (-), 01:26, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    В моем случае увы не маркетинг. А реальная стойка с винтами - нечто типа того что продает netap
     
     
  • 8.186, pavlinux (ok), 13:39, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Давай скрины iozone -a - u -p -B -e -E А то эти SANы NASы - типа кэшуруют ,... текст свёрнут, показать
     
     
  • 9.189, Аноним (-), 17:54, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    сам ты жертва маркетинга Некоторые подобные железки собирают ... текст свёрнут, показать
     
  • 4.30, Аноним (-), 16:59, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6.

    Если начальник не жмот, там и процы должны быть соответствующие.

     
     
  • 5.108, Аноним (-), 12:06, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >> А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6.
    > Если начальник не жмот, там и процы должны быть соответствующие.

    начальник не жмот - но вот в чем проблема - подсчет crc32 от такого потока - съедает 4 ядра и 12.
    то есть сумарная производительность железки - падает ровно на столько же..
    А ведь она могла бы заниматься еще чем-то - кроме как считать контрольные суммы.

    Вторым аспектом - является дополнительная задержка - которую вносит эта операция в сумарное время выполнения. В случае MD операций - это очень важный показатель.
    Хотя тем у кого обычный рабочий патерн куча больших файлов из которых читают (а не создают / удаляют постоянно временные файлы) - этого не понять.

     
     
  • 6.113, filosofem (ok), 13:07, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А че за железка такая, у которой скорость рандомной записи на raid 6 сравнима со скорость подсчета crc? На массив из DDR дисков похоже =)
     
     
  • 7.179, Аноним (-), 09:54, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > А че за железка такая, у которой скорость рандомной записи на raid
    > 6 сравнима со скорость подсчета crc? На массив из DDR дисков
    > похоже =)

    Можно сказать самосбор - аналоичный тому что продает NETAP. только у NETAP наружу выдается FC, а тут SAS шина.

     
  • 6.126, XoRe (ok), 18:48, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >>> А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6.
    >> Если начальник не жмот, там и процы должны быть соответствующие.
    > начальник не жмот - но вот в чем проблема - подсчет crc32
    > от такого потока - съедает 4 ядра и 12.

    По моему, в новости написано о том, что будет.
    У вас, наверное реализовано что-то другое?

     
     
  • 7.178, Аноним (-), 09:52, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    У нас другое - но хорошо показывает использования CPU на больших потоках данных, для вычисления crc32 даже используя crc32_hw инструкцию в последних CPU имени интела.
     
     
  • 8.190, XoRe (ok), 17:56, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А у вас проверяются данные, или мета данные Наверное, у вас данные - тогда поня... текст свёрнут, показать
     
     
  • 9.201, Аноним (-), 11:57, 05/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Проверяется все Но если для данных - это выльется в загрузку CPU, то для метада... текст свёрнут, показать
     
     
  • 10.213, XoRe (ok), 22:54, 08/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Просто вы написали подсчет crc32 от такого потока - съедает 4 ядра и 12 Вы не... текст свёрнут, показать
     
  • 7.181, Аноним (-), 10:01, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >>>> А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6.
    >>> Если начальник не жмот, там и процы должны быть соответствующие.
    >> начальник не жмот - но вот в чем проблема - подсчет crc32
    >> от такого потока - съедает 4 ядра и 12.
    > По моему, в новости написано о том, что будет.
    > У вас, наверное реализовано что-то другое?

    Кстати в догонку - лучше бы сделали поддержку T10 DIF/DIX. Хотя бы половина задачи (проверка) выполнялась бы не CPU, а HBA или диском - все же достаточно разгрузило бы камешек.

     
  • 4.125, XoRe (ok), 18:48, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > угу. админ локал хоста замечен.
    > А что бы данный админ сказал о raid6 который имеет сумарную скорость
    > записи 3ГБ/с ? и чтение около 6.

    Ну, положим не ГБ, а Гб ...
    Предполагаю, что сие можно будет отключить, когда оно будет реализовано.

     
     
  • 5.147, Аноним (-), 01:28, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >> угу. админ локал хоста замечен.
    >> А что бы данный админ сказал о raid6 который имеет сумарную скорость
    >> записи 3ГБ/с ? и чтение около 6.
    > Ну, положим не ГБ, а Гб ...
    > Предполагаю, что сие можно будет отключить, когда оно будет реализовано.

    Ну допустим именно 3ГБ/с - 4 контролера на 6 Gb/s и backplane на 24 sas диска

     
  • 3.32, Аноним (-), 17:04, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > не должно просесть, здесь запись на диск намного тормознее вычисления crc

    А если pci-e ssd взять? :)

     
     
  • 4.55, Аноним (-), 19:45, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +9 +/
    вы все здесь какие-то все упоротые собрались. У какого-то придурка там рейд выдаёт 3гбс, другие ssd во все щели пихают. У кого-то таки может хватит  мозги прочитать CRC чего там начали считать? Попробую напомнить - метаданных. Теперь посчитай сколько обновлений метаданных приходится на IO операцию.
     
     
  • 5.109, Аноним (-), 12:08, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > вы все здесь какие-то все упоротые собрались. У какого-то придурка там рейд
    > выдаёт 3гбс, другие ssd во все щели пихают. У кого-то таки
    > может хватит  мозги прочитать CRC чего там начали считать? Попробую
    > напомнить - метаданных. Теперь посчитай сколько обновлений метаданных приходится на IO
    > операцию.

    на каждую операцию операцию с диском приходится ровно одна операция с MD.
    видимо все забывают что по умолчанию ext4 обновляет atime при каждом обращении к файлу.
    а значит выполняется операция записи в журнал и обновление метаданных на диске.

    мисье этого не знал ?

     
     
  • 6.114, filosofem (ok), 13:17, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >видимо все забывают что по умолчанию ext4 обновляет atime при каждом обращении к файлу.

    Насчет упоротых соглашусь с предыдущим Анонимом.

     
  • 6.122, Yakov Markovitch (?), 16:40, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Месье, как я понимаю, в отличие от Вас, знал, что не при каждом обращении к файл... большой текст свёрнут, показать
     
     
  • 7.150, Аноним (-), 01:35, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    gt оверквотинг удален Упроотые это все тестировали и писали реализаю этого ког... большой текст свёрнут, показать
     
     
  • 8.180, Аноним (-), 09:56, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален ах да, забыл - когда у тебя один raid 5,6 тогда io AT д... большой текст свёрнут, показать
     
  • 8.188, Yakov Markovitch (?), 15:07, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален 1 relatime _является_ опцией по умолчанию, на всякий с... большой текст свёрнут, показать
     
     
  • 9.191, Аноним (-), 17:59, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален welcome to HPC world пример - Cray acceptance testing п... большой текст свёрнут, показать
     
     
  • 10.192, Yakov Markovitch (?), 19:59, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    30MB s OK, согласен, пишем на каждую операцию по странице - 120MB c 20 нагруз... большой текст свёрнут, показать
     
     
  • 11.203, Аноним (-), 12:07, 05/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    вы твердо уверены что MD операции могут выполняться паралельно в одной директори... большой текст свёрнут, показать
     
  • 10.195, all_glory_to_the_hypnotoad (ok), 23:32, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    знаешь что я тоже могу сейчас у себя на локалхосте написать быдлокод и заявить... текст свёрнут, показать
     
     
  • 11.202, Аноним (-), 11:58, 05/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Обратитесь в подразделение Cray за обоснованием этих цифр ... текст свёрнут, показать
     
     
  • 12.206, Аноним (-), 19:30, 05/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    ах да, требуемые 15к unlink s это для кластера BlueWaters - TOP7 если склероз не... текст свёрнут, показать
     
  • 6.131, Аноним (-), 22:14, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > на каждую операцию операцию с диском приходится ровно одна операция с MD.
    > видимо все забывают что по умолчанию ext4 обновляет atime при каждом обращении
    > к файлу.

    Ты откуда вылез? ext уже лет 5 как монтируется по умолчанию с relatime

     
  • 5.144, Аноним (-), 01:03, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > вы все здесь какие-то все упоротые собрались. У какого-то придурка там рейд
    > выдаёт 3гбс, другие ssd во все щели пихают.

    А мы виноваты что технологии - вот они. Пошел в магазин да купил. Упоротый - это тот кто зациклился на своем ноутбучном венике и дальше своего носа ничего не видит.

    > Попробую напомнить - метаданных. Теперь посчитай сколько обновлений
    > метаданных приходится на IO операцию.

    Для начала объясните:
    1) Нафига?
    2) Что это по вашему мнению покажет и докажет?

     
     
  • 6.196, all_glory_to_the_hypnotoad (ok), 23:38, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Я, честно говоря, свосем не понял вашего вопроса. А именно что вы там в магазине купите и что именно пояснить. Если не затруднит, то давайте не расчитывать на то, что я такой же аутист как и вы и пойму всё с двух слов.

    Прежде чем ещё раз задавать мне по несколько раз один и тот же ответ, то потрудитесь, пожалуйста, оценить, сколько дополнительных IOPSов в % соотношении выдаст расчёт CRC метаданных в любимом для вас профиле нагрузке на ФС.

    Или вам кажется, что достаточно сходить в магазин, купить чего-нить и устроить истерику на счёт 3гбс и CRC?

     

     ....большая нить свёрнута, показать (72)

  • 1.5, Аноним (-), 11:53, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    И как оно будет работать? Ну вырубися у меня комп во время записи, файл не записался и что будет? Выяснит он, что контрольная сумма не сходится, но данные то потеряются?
    Журналы то вообще я правильно понимаю? Есть 2 журнала, сначаа в первый пишется, что что файл такой-то изменился, потом он меняется (если в этот момент ошибка то во второй журнал не пишется и изменение потом откатывается) затем, если все ОК, то пишется во второй журнал.
     
     
  • 2.18, pavlinux (ok), 15:00, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > И как оно будет работать? Ну вырубися у меня комп во время
    > записи, файл не записался и что будет?

    Ну ёбни по диску кувалдой во время записи и проверь что будет. :)

    CRC используются проверки корректности данных.  

     
     
  • 3.37, Аноним (-), 17:35, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > CRC используются проверки корректности данных.  

    здесь — метаданных

     
     
  • 4.64, pavlinux (ok), 20:35, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> CRC используются проверки корректности данных.
    > здесь — метаданных

    псевдо-, мета-, квази-, суб-, ... в общем данных.


     
  • 2.21, анон (?), 15:22, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Сохранность данных во время операций записи, связанная со сбоями оборудования, н... большой текст свёрнут, показать
     
     
  • 3.41, Аноним (-), 17:40, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    В т ч забота ФС. Журналирование - попытка решить эту проблему. Не важно что отказало оборудование или софт повис.
    Конечно можно обеспечить избыточность другим способом, в т ч рейдами и снэпшотами, но на каждый комп это не поставишь как и ибп.

     
     
  • 4.46, анон (?), 18:15, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Заботой ФС это было бы в том случае, если бы она это могла сделать хотя бы теоре... большой текст свёрнут, показать
     
     
  • 5.98, Аноним (-), 01:36, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А также ECC память, проверка целостности каждого блока данных записанного на диск (не помню как зовется технология) и еще много чего, но 100% гарантия вряд ли достижима на практике. Естественно, на серверах с важными данными девяток в этой цифре должно быть ооочень много.
    ext4 работает на куче простых устройств и компов, стрелять из пушки во воробьям (внедряя абсолютно все технологии по защите данных) тоже не стоит.
     
     
  • 6.115, анон (?), 13:35, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Проверка целостности данных, на сколько я знаю, происходит при передаче через интерфейс диска и при считывании с диска (за счет этого работает внутренняя диагностика), так что за данные записанные/считанные с диска можно практически не беспокоиться. Про контроллеры и отслеживание ошибок в них ничего не знаю.

    А на счет пушки и воробьев, то да, согласен полностью, от включения проверок всегда и везде большого толку не будет, а минусы в виде сложности (потенциально больше ошибок), тотальной "велосипедности", снижения производительности и гибкости, гарантированы.

     
  • 5.102, Аноним (-), 02:03, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > это сложная операция над большим количеством данных

    Ман версионные FS. Никакой атомарности нам нахрен не нужно.

     
     
  • 6.110, анон (?), 12:41, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    На сколько понял, разница с обычными ФС только при изменении данных, т.е. они не изменяются, а создается измененная копия (версия). Как это решает проблему записи данных на диск непонятно. То, что ФС позволяет откатиться назад, к валидному состоянию, так это решает проблемы исключительно самой ФС и не решает проблемы пользователя, гарантируя целостность его данных.
     
     
  • 7.148, Аноним (-), 01:30, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Да При том только измененных блоков И меняются структуры описывающие размещени... большой текст свёрнут, показать
     
     
  • 8.167, анон (?), 02:32, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    В контексте обсуждений это та же хрень, что и с журналом, только сбоку Тут обсу... текст свёрнут, показать
     
  • 6.152, Аноним (-), 01:37, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Ман версионные FS. Никакой атомарности нам нахрен не нужно.

    С этой точки зрения атомарность - костылик обычным ФС по сути :). А у этих некое подобие оной само получается, за счет принципов работы.

     
     
  • 7.168, анон (?), 02:39, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >> Ман версионные FS. Никакой атомарности нам нахрен не нужно.
    > С этой точки зрения атомарность - костылик обычным ФС по сути :).
    > А у этих некое подобие оной само получается, за счет принципов
    > работы.

    Атомарность - свойство, а не сущность, т.е. иными словами не может быть костылем по определению. Или я не понял что вы имеете под словом "костыль". А потом, какая разница введена она в дополнение к уже спроектированной архитектуре или заранее включена в нее при проектировании. Главное конечный результат.

    ЗЫ Вы очень вольно разделяете "обычные ФС с костыликом" и "остальные". Так уж заведено, что универсальных и в то же время самых лучших вещей не бывает, так что где-то ZFS, а где-то и FAT лучший выбор.

     
  • 4.56, Аноним (-), 19:50, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Журнал решает совсем другую проблему - поддерживает целостность самой ФС, а не данных. Избыточность и сохранность уже существующих данных пока что умеет фс типа ZFS и прочие, которые умеют делать реплики на несколько физически разных носителя. И  таки да, это забота ФС в частности, но не все это умеют
     
  • 3.129, Аноним (-), 20:43, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >Сохранность данных во время операций записи, связанная со сбоями оборудования, не забота ФС может есть и такие, но я о них не знаю, да и не интересовался)

    кто сказал zfs?

     
     
  • 4.132, анон (?), 22:14, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    И она конечно гарантирует, что например при отключении питания все данные будут записаны? Не смешите.
     
     
  • 5.165, Аноним (-), 02:10, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > И она конечно гарантирует, что например при отключении питания все данные будут
    > записаны? Не смешите.

    Такие ФС гарантируют что у вас или уж старая версия файла, или новая. А не непойми что, когда половина новое а половина старое. Так что вообще фиг такой файл прочтешь.

     
     
  • 6.169, анон (?), 02:41, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >> И она конечно гарантирует, что например при отключении питания все данные будут
    >> записаны? Не смешите.
    > Такие ФС гарантируют что у вас или уж старая версия файла, или
    > новая. А не непойми что, когда половина новое а половина старое.
    > Так что вообще фиг такой файл прочтешь.

    К сожалению тут, как уже отписался выше на 1 пост, обсуждается мной озвученная ситуация с отключением питания.

     
  • 2.33, Аноним (-), 17:26, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Во первых, журнал - один В него сначала пишутся намерения Если облом на этой ф... большой текст свёрнут, показать
     
     
  • 3.38, Аноним (-), 17:38, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    В COW тоже накладные расходы высокие. При изменении файла, он еще и копируется в другое место.
    Я так понял, в ext4 журналируются только или в основном метаданные. По данным гугля это съедает 20% скорости. Сам гугль отказался от журналирования в чего-то редового, об этом писали.
     
     
  • 4.47, ананим (?), 18:34, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Глупости.
    Пишется в новое место только блок/кластер/сектор(зависит от термина минимального объёма данных конкретной фс), который был подвергнут изменению.
    Очевидно что это такой же объём, если бы он писался в тоже место.
     
     
  • 5.57, Аноним (-), 20:00, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    такой же объём для сектора, но никто не гранулирует по секторам. Грануляция идёт по кластерам (везде), но это не самое главное и мелочь. А главное, что одна операция COW, пусть даже одного кластера, может породить ещё целую кучу IOPSов т.к. это требует обновление "деревьев" карт и прочих метаданных. И тут именно IOPSы, не просто линейное чтение/запись, что может оказаться весьма затратным.
     
     
  • 6.80, ананим (?), 21:55, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    :D
    Всё верно... почти.

    Вот только всё ЭТО только отговорка от темы "перезаписи всего файла" :D


    Зыж
    "Пересборка деревьев и тд" в памяти и сброс потом (!!!) на диск не более затратен, чем тоже журналирование сабжа.
    А местами и менее.

     
     
  • 7.83, ананим (?), 22:01, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Ззыж
    > Грануляция идёт по кластерам (везде), но это не самое главное и мелочь.

    Во-первых это вопрос терминологии.
    Во-аторых размер сектора бывает разный. (А теперь и блока)
    В-третьих блок в фс и блок на диске — разные понятия.
    Мы говорим именно о блоке в фс (в zfs к примеру до 128кб. Или уже больше можно).

     
     
  • 8.85, Аноним (-), 22:35, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    это называется кластером и никто не оперирует в ФС сектором ... текст свёрнут, показать
     
     
  • 9.89, ананим (?), 23:15, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    БЛОКОМ сознательно заметаете свой слив ... текст свёрнут, показать
     
  • 8.149, Аноним (-), 01:32, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • –2 +/
    А все-равно тупо У нормальных людей нормальные экстентные аллокаторы уж давно, ... текст свёрнут, показать
     
     
  • 9.153, iZEN (ok), 01:40, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    С нетерпением ждём и надеемся Счастливые пользователи ZFS Так когда жд... текст свёрнут, показать
     
     
  • 10.164, Аноним (-), 02:07, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Это того который даже отдебажить нормально не могут до сих пор, так что полно ви... текст свёрнут, показать
     
  • 9.184, schwed (?), 11:35, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Вот только вопрос кто кому и чего покажет ... текст свёрнут, показать
     
  • 7.86, Аноним (-), 22:36, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    какая разница где она происходит, этот процесс порождает несколько грязных кластеров которые тоже нужно сбрасывать.
     
     
  • 8.90, ананим (?), 23:17, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Так что там с перемещением всего файла и оверхедом коу ... текст свёрнут, показать
     
     
  • 9.97, Аноним (-), 01:16, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    про весь файл писал кто-то другой ... текст свёрнут, показать
     
     
  • 10.99, ананим (?), 01:40, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    D ... текст свёрнут, показать
     
  • 10.100, Аноним (-), 01:42, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Я писал Первый снепшот в LVM2 дает сильное замедление в работе, последующие пра... текст свёрнут, показать
     
     
  • 11.151, Аноним (-), 01:36, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Я думаю что теперь вы понимаете почему так активно пилят btrfs Там снапшоты - н... текст свёрнут, показать
     
  • 4.145, Аноним (-), 01:17, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Никуда там файл не копируется При записи изменений 1 В сторонку пишется блок ... большой текст свёрнут, показать
     

     ....большая нить свёрнута, показать (38)

  • 1.14, АнонимЪ (?), 14:01, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Если формат метаданных изменился, значит получается несовместимость с предыдущими версиями ядра?
     
     
  • 2.23, анон (?), 15:31, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Вариант с простым игнорированием данной информации более ранними версиями Вами не рассматривается в принципе?
     

  • 1.15, anonymous (??), 14:14, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Не совсем понятно это чего ? Что разе ехт4(ехт2) не могла чекать данные ?
    А другие фс ?
     
     
  • 2.40, Аноним (-), 17:39, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    разрушение метаданных может вынудить fsck порубить нормальные данные в капусту. Другие системы: http://en.wikipedia.org/wiki/Comparison_of_file_systems#Metadata (последняя колонка)
     
     
  • 3.92, anonymous (??), 23:33, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > разрушение метаданных может вынудить fsck порубить нормальные данные в капусту.

    Это понятно. Понятно даже почему это было на кассетах от БК,
    но как это может произойти на винте не очень понятно, кто поцарапает то его ?

    P.S. Нужно было тогда уж не црц пихать а уж сразу пихать что то типа -
    https://en.wikipedia.org/wiki/Reed–Solomon_error_correction вот тогда был бы профит !

     
     
  • 4.154, Аноним (-), 01:40, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Это понятно. Понятно даже почему это было на кассетах от БК,

    Наверное потому что это файловой системой толком не являлось. А чексумм блоков сам по себе - не больно какая ракетная наука.

     

  • 1.20, Panasonic1 (ok), 15:06, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А есть инфа как изменится занимаемое место?
     
     
  • 2.58, Аноним (-), 20:02, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    увеличится на 4 байта per inode /петросян
     

  • 1.24, dalco (ok), 15:39, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Да, посмотрели разработчики на ZFS/BTRFS и закричали "мы тоже такое себе хотим" :)

    P.S. Если бы этот патч еще и контрольные суммы данных проверял - вообще бы красота была.

     
     
  • 2.26, анон (?), 15:46, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Да, посмотрели разработчики на ZFS/BTRFS и закричали "мы тоже такое себе хотим"
    > :)
    > P.S. Если бы этот патч еще и контрольные суммы данных проверял -
    > вообще бы красота была.

    Зачем это надо не расшифруете?

     
     
  • 3.34, Аноним (-), 17:31, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Зачем это надо не расшифруете?

    Чтобы обнаруживать сбои накопителей или линков к ним, например. В момент их появления, а не когда половина файловой системы превратится в какие-то макароны.

     
     
  • 4.44, анон (?), 18:00, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Во первых, на сколько мне известно, хранимая на винте информация п у имеет избы... большой текст свёрнут, показать
     
     
  • 5.51, dalco (ok), 18:43, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    К сожалению, нет гарантии, что на винте записаны те самые данные, что мы хотели ... большой текст свёрнут, показать
     
     
  • 6.53, анон (?), 19:12, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ошибки интерфейса отлавливаются точно см SMART Буферная память ЖД также може... большой текст свёрнут, показать
     
     
  • 7.62, dalco (ok), 20:19, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +4 +/
    В идеальном мире из идеальных программ и идеальной аппаратуры вообще ни журналов... большой текст свёрнут, показать
     
     
  • 8.65, анон (?), 20:35, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Я говорил о реально отслеживаемых ошибках, а не о способах их диагностирования ... большой текст свёрнут, показать
     
     
  • 9.67, Аноним (-), 20:47, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    кто будет восстанавливать запорченные реплики нормальными Что вы тут вещаете эт... текст свёрнут, показать
     
     
  • 10.70, анон (?), 20:57, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • –2 +/
    То, что я вещаю есть способ решения задачи То, что Вы говорите заметьте отсу... большой текст свёрнут, показать
     
  • 9.69, dalco (ok), 20:56, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Имеет, к сожалению Целостность FS от всего вышеперечисленного нехило зависит И... большой текст свёрнут, показать
     
     
  • 10.72, анон (?), 21:10, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А то, что все это зависит от прямости рук админа От этого она не должна защищат... большой текст свёрнут, показать
     
     
  • 11.75, dalco (ok), 21:39, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Хм, попробую объяснить последний раз Есть железо, НЕидеальное железо Есть FS... большой текст свёрнут, показать
     
     
  • 12.78, анон (?), 21:54, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Все, что я узнал из вашего поста - не хочу знать где как и что работает, хочу вс... текст свёрнут, показать
     
     
  • 13.95, mix (??), 23:47, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    страшно похоже на знакомую на шкуре полемику ленивого по определению админа и ... текст свёрнут, показать
     
     
  • 14.119, Аноним (-), 15:49, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    тут всё прозаичнее, полемика условного технаря с ламерьём это анон Только лам... текст свёрнут, показать
     
     
  • 15.121, анон (?), 16:28, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Прозаичнее, это да Думаю что проблема в том, что моя точка зрения не модная и... текст свёрнут, показать
     
     
  • 16.128, dalco (ok), 19:11, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Господа, все довольно просто Были времена, когда мне действительно было интере... большой текст свёрнут, показать
     
     
  • 17.133, анон (?), 22:29, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Так с этого и надо было начинать ИМХО все хорошее начинается с велосипедов и не... текст свёрнут, показать
     
  • 17.163, Аноним (-), 02:05, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Поздравляю, ваш мозг заржавел Правда с этим обычно не поздравляют Небольшой ... текст свёрнут, показать
     
  • 16.136, Аноним (-), 22:51, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ваша точка зрения не требует знаний, она ровно такая же модная как и все здесь о... большой текст свёрнут, показать
     
     
  • 17.138, анон (?), 22:56, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Ваше мнение очень важно для нас Ждите, мы сами Вам позвоним ЗЫ Еще один аноним... текст свёрнут, показать
     
  • 12.116, kurokaze (ok), 13:56, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Что, в две смены бедняга поди ишачишь Завтра серверов старент сотни тысяч и теб... текст свёрнут, показать
     
  • 5.155, Аноним (-), 01:49, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Даже круче ECC, которая при сбое чтения пытается скорректироваться самим винтом... большой текст свёрнут, показать
     
     
  • 6.193, анон (?), 22:13, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    И что вам не понравилось, будет ошибка - сообщит, будет исправимая ошибка - не с... большой текст свёрнут, показать
     
  • 5.197, all_glory_to_the_hypnotoad (ok), 23:53, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Сам винт определяет (диагностирует) испорченные данные о чем непременно сообщит о сбое контроллеру.

    ему аналог CRC нужен совсем по другой причине. Чтение с физического носителя идёт с ошибками и сумму контроллер диска использует для N-кратного перечтения сектора. Только если после M попыток так и не удалось считать блок, то получается ошибка IO. Это рядовое событие для диска (в смысле, перечтение сектора) и здесь нет наложения "уровней", сумма на диске служит совсем иным целям.

     
     
  • 6.198, анон (?), 00:45, 05/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Во-первых, спасибо за детали работы, не знал, хоть к делу это и не имеет отношен... большой текст свёрнут, показать
     
     
  • 7.200, all_glory_to_the_hypnotoad (ok), 10:50, 05/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Не гарантирует Кроме чтения с физического носителя есть ещё firmware котроллера... большой текст свёрнут, показать
     
     
  • 8.204, анон (?), 13:54, 05/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Приведу ссылку http rlab ru doc s m a r t html 1511 и цитату Это лишь приме... большой текст свёрнут, показать
     
     
  • 9.209, all_glory_to_the_hypnotoad (ok), 22:06, 05/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    это пример медийных ошибок, а не буфера Точно такие же ошибки как при чтении с... текст свёрнут, показать
     
     
  • 10.210, анон (?), 23:43, 05/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Вы либо студент-идиот, либо умело здесь им прикидываетесь Я разговариваю с вами... текст свёрнут, показать
     
  • 6.199, анон (?), 00:47, 05/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Да, во избежание недопонимания из-за многабуков, обсуждаемые контрольные суммы относятся к данным пользователя ФС, а не к ее метаданным.
     
  • 2.59, Аноним (-), 20:02, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > P.S. Если бы этот патч еще и контрольные суммы данных проверял - вообще бы красота была.

    ты же сам сбежишь от такой ФС первым.

     

     ....большая нить свёрнута, показать (32)

  • 1.25, Crazy Alex (??), 15:44, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Я один не вижу use case для этого? Там, где нужна надёжность, подсчётом контрольных сумм (всех! не только метаданных) занимается слой RAID, а где его нет - значит не больно-то и надо.
     
     
  • 2.27, Аноним (-), 16:35, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Черно-белый мир?
     
     
  • 3.42, Crazy Alex (??), 17:44, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так вам либо хоть как-то важны данные (тогда их надо бэкапить или хотя бы резервировать и проверять не только метаданные) либо вы готовы их потерять раз в три года, что для домашних или офисных машин вполне норма. Рейд сейчас поднять - невелика проблема, чй, не 15 лет назад, когда для этого обязательно нужен был аппаратный контроллер.
     
     
  • 4.135, Аноним (-), 22:37, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    И сейчас ничего не изменилось - по-прежнему нужен аппаратный контроллер.
     
     
  • 5.162, Аноним (-), 02:03, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > И сейчас ничего не изменилось - по-прежнему нужен аппаратный контроллер.

    Смотря где. В ряде случаев можно и без него. В том плане что это просто кучка sata или чего там еще, а не нечто умеющее RAID аппаратно.

     
  • 5.187, schwed (?), 14:02, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >И сейчас ничего не изменилось - по-прежнему нужен аппаратный контроллер

    Изменилось - раньше он был _необходим_

     
  • 2.60, Аноним (-), 20:07, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    придурок, рейд не обеспечивает проверку данных, он _не_ считает контрольные суммы и может вернуть херню.
     
     
  • 3.79, Аноним (-), 21:54, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > придурок, рейд не обеспечивает проверку данных, он _не_ считает контрольные суммы и может вернуть херню.

    Какой умный и вежливый аноним. Вы когда-нибудь слышали, как работают пятый и шестой уровни рейда?

     
     
  • 4.91, iZEN (ok), 23:26, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >> придурок, рейд не обеспечивает проверку данных, он _не_ считает контрольные суммы и может вернуть херню.
    > Какой умный и вежливый аноним. Вы когда-нибудь слышали, как работают пятый и шестой уровни рейда?

    А это что-то меняет?

    Что конкретно, на ваш взгляд, при нормальной работе может _дополнительно_ обеспечить RAID-5(-6), чего не может RAID-1? (Я совсем не имею в виду задействование ещё одного HDD и генерирование CRC в полосе RAID-5 _при_записи_). Давайте узнаем ваши познания в области RAID-5(-6), когда данные просто считываются с них: что у них по-другому, и чем они в чтении отличаются от RAID-1?


     
     
  • 5.93, Аноним (-), 23:40, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > что у них по-другому, и чем они в чтении отличаются от RAID-1?

    Если не знаете - книжки почитайте, статьи. Зачем к людям-то приставать?

     
     
  • 6.161, Аноним (-), 02:01, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Это же изен. Не нести фигню он не может: клюв перевешивает.
     
  • 5.156, Аноним (-), 01:52, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Что конкретно, на ваш взгляд, при нормальной работе может _дополнительно_ обеспечить RAID-5(-6),
    > чего не может RAID-1?

    Raid-6 может задетектить сбойный диск. Ценой за это является лишний шпиндель пущенный на коррекцию ошибок. Грубо говоря если есть N дисков одинакового размера, емкость RAID6 будет (N-2) * размер 1 диска. То-есть, если дисков 3 то эффективная емкость как у 1 диска. Если 4 - как у 2. Если 5 - как у 3. Так что конфиг с менее чем 4 дисками в RAID6 не имеет особого смысла.

     
     
  • 6.173, iZEN (ok), 03:50, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >> Что конкретно, на ваш взгляд, при нормальной работе может _дополнительно_ обеспечить RAID-5(-6),
    >> чего не может RAID-1?
    > Raid-6 может задетектить сбойный диск.

    Современные hard- и soft-контроллёры RAID-1 тоже. И что?

    > Ценой за это является лишний шпиндель пущенный на коррекцию ошибок.

    Эта цена при нормальном-то чтении? Но с какой стати?

    Мне всегда думалось, что цену за коррекцию ошибок в RAID-5(-6) мы платим только в случае аварийной работы массива — при вылете одного (двух) носителей.

    Полный страйп (набор) данных вместе с кодом его коррекции мы получаем одновременно со всех шпинделей, поэтому скорость чтения с исправного RAID-5(-6), действительно, почти прямо пропорциональна количеству дисков в массиве, при этом код коррекции не используется, так как не нужен — восстанавливать ничего не требуется.

    А вот когда RAID-5(-6) переходит в аварийный режим работы (описываю цену), то тут подключается процессор контроллёра (или CPU в soft-RAID) для вычисления недостающих данных набора по оставшимся в живых, и мы получаем тот же самый страйп (набор) данных, как если бы ничего не произошло, но уже знаем, что вылет ещё одного шпинделя из массива — фатален.

    > Грубо говоря если есть N дисков одинакового размера,
    > емкость RAID6 будет (N-2) * размер 1 диска. То-есть, если дисков
    > 3 то эффективная емкость как у 1 диска. Если 4 -
    > как у 2. Если 5 - как у 3. Так что
    > конфиг с менее чем 4 дисками в RAID6 не имеет особого
    > смысла.

    Да ладно.

     
  • 4.118, Михрютка (?), 14:04, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >> придурок, рейд не обеспечивает проверку данных, он _не_ считает контрольные суммы и может вернуть херню.
    > Какой умный и вежливый аноним. Вы когда-нибудь слышали, как работают пятый и
    > шестой уровни рейда?

    неужели ж 5 и 6 рейды чексуммят мою ФС? осподи, чего только на опеннете не прочитаешь.

     
     
  • 5.159, Аноним (-), 02:00, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > неужели ж 5 и 6 рейды чексуммят мою ФС?

    В какой-то роде. В общем случае код коррекции ошибок является и кодом детектирования ошибок. Или по хомячковому - чексуммой :)

     
     
  • 6.205, Михрютка (?), 15:54, 05/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    грамотей-опричник в треде?

    > В какой-то роде.

    you doing it wrong.


    > В общем случае код коррекции ошибок является и кодом
    > детектирования ошибок. Или по хомячковому - чексуммой :)

    ну-ну. я ж говорю, чего только на опеннете не начитаешься.

     
  • 2.81, Михрютка (?), 21:56, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    hint: ошибки бывают не только аппаратные, но и программные.
     
     
  • 3.88, Crazy Alex (??), 22:54, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так вероятность ошибки в логике Ext4 ничуть не меньше чем вероятность ошибок в логике RAID5.
     
     
  • 4.96, Михрютка (?), 00:52, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну так вероятность ошибки в логике Ext4 ничуть не меньше чем вероятность
    > ошибок в логике RAID5.

    и что?

     
     
  • 5.101, Crazy Alex (??), 02:01, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    В чём хинт-то?
     
     
  • 6.103, Аноним (-), 02:40, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    В том, что ошибки бывают не только аппаратные, но и программные.
     
  • 6.117, Михрютка (?), 14:01, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > В чём хинт-то?

    не тупи. контроль целостности данных на уровне ФС и контроль целостности данных на уровне СХД никак не связаны между собой.

     
     
  • 7.123, Crazy Alex (??), 17:56, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    ну тогда это получается отладочная возможность для разработчиков FS, не более
     
     
  • 8.124, Михрютка (?), 18:47, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    почему рейды тоже глючат и сбоят особенно саташные промисы без батареек или вс... текст свёрнут, показать
     
  • 8.127, а (?), 18:48, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    вы чего такое все курите аппаратный ECC в SDRAM может спасти от разрушения дан... текст свёрнут, показать
     

  • 1.29, Аноним (-), 16:57, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Имхо, бесполезно. Лучше бы для RAID1 такое сделали - вот там оно действительно, чтобы понять, какая из черепашек говорит неправду.
     
     
  • 2.43, Crazy Alex (??), 17:45, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Имхо, бесполезно. Лучше бы для RAID1 такое сделали - вот там оно
    > действительно, чтобы понять, какая из черепашек говорит неправду.

    Вот-вот. Здесь оно на месте было бы.

     
  • 2.50, анон (?), 18:40, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Имхо, бесполезно. Лучше бы для RAID1 такое сделали - вот там оно
    > действительно, чтобы понять, какая из черепашек говорит неправду.

    Просто ради интереса, по сообщениям с RAID контроллера или из SMART нельзя это определить? Сам с RAID на практике не сталкивался.

     
     
  • 3.54, Аноним (-), 19:40, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Просто ради интереса, по сообщениям с RAID контроллера или из SMART нельзя это определить? Сам с RAID на практике не сталкивался.

    А если они ничего не говорят, а данные с зеркал приходят разные?

     
     
  • 4.61, анон (?), 20:18, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Тогда как гарантированно определить что это не контроллер?
     
  • 4.63, анон (?), 20:21, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    И да, это реальная ситуация или из раздела "Истории одного анонимуса"? Если реальная, то как все же определили какой?
     
     
  • 5.77, Аноним (-), 21:53, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Если реальная, то как все же определили какой?

    От балды. Одно из зеркал назначается "первичным", и при несовпадении данных, блок копируется с первичного зеркала на остальные. Если сбой именно на первичном зеркале, а на остальных все правильно - извините, увы вам.

     
     
  • 6.84, анон (?), 22:09, 02/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > От балды. Одно из зеркал назначается "первичным", и при несовпадении данных, блок
    > копируется с первичного зеркала на остальные. Если сбой именно на первичном
    > зеркале, а на остальных все правильно - извините, увы вам.

    А в логах ошибок при этом ни каких не пишется и SMART не меняется? Т.е. тупо по очереди проверяешь каждый диск из зеркала с целью найти корректный?

     
     
  • 7.157, Аноним (-), 01:55, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > А в логах ошибок при этом ни каких не пишется и SMART не меняется?

    А вот это - "как повезет". Вообще, как бы не сильно то удобно и быстро SMART постоянно смотреть у винчей. И то что фирмварь сбоящего удосужится честно зарапортовать все как есть - это та еще лотерея.

     
     
  • 8.170, анон (?), 02:48, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Т е валидность одного из зеркал определяется сторонними средствами относительно... текст свёрнут, показать
     
     
  • 9.171, анон (?), 02:50, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    имелось ввиду НЕ проблемами железа ... текст свёрнут, показать
     
  • 2.134, Аноним (-), 22:33, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Для RAID1 надо сделать скоростную доставку в ближайшую дурку. Бо находящие в здравом уме люди сию гадость не используют.
     

  • 1.104, Аноним (-), 03:44, 03/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Интересно, а поддержка вторых контрольных сумм для проверки целостности этих уже запланирована?
     
     
  • 2.105, dalco (ok), 07:56, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Это делается проще. Берут другой алгоритм подсчета CRC и просчитывают им все тоже самое, что и первым. И если для блока данных совпадает и первая и вторая CRC, то вероятность, что с ним что-то не так, крайне мала.
     
     
  • 3.137, Аноним (-), 22:55, 03/06/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    это вы сейчас через задницу увеличили битность контрольной суммы
     
     
  • 4.185, dalco (ok), 12:49, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    И да, и нет... Половинки мегаCRC получаются независимы друг от друга. Их вычислять легче в большинстве реализаций, более того, их даже вычислять одновременно можно и нужно попробовать.

    И косвенно обе половинки друг-друга верифицируют. Если результаты обсчета блока данных совпали для обех контрольных сумм, считай, получили исправный блок данных с CRC повышенной длины. Не совпали для обоих - тоже все понятно. Совпали только для одной, значит с приличной вероятностью вторая CRC посчиталась неверно, а блок данных не при чем.

    P.S. Все вышеописанное - imho. Если у вас есть убедительные аргументы против, то с интересом выслушаю.

     
     
  • 5.194, all_glory_to_the_hypnotoad (ok), 22:53, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    две CRC вычесленные по разным алгоритмам дают меньшую битность чем одно CRC с бо... большой текст свёрнут, показать
     
  • 2.158, Аноним (-), 01:58, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Интересно, а поддержка вторых контрольных сумм для проверки целостности этих уже запланирована?

    Так, стоп, а кто будет проверять что вторые контрольные суммы - правильные? :)

     
     
  • 3.172, анон (?), 03:07, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >> Интересно, а поддержка вторых контрольных сумм для проверки целостности этих уже запланирована?
    > Так, стоп, а кто будет проверять что вторые контрольные суммы - правильные?
    > :)

    Если уж прикалываться, и делать контрольную сумму на контрольную сумму, то предложу свой вариант. Заводить 2 контрольных суммы не надо, надо лишь записать ее копию как можно дальше от первой так, чтобы вероятность повреждения обоих была минимальной (это порядка 95 или 97% будет если мне память не изменяет). При несовпадении вновь рассчитанной суммы с первой копией она сверяется со второй. Если есть совпадение, то данные верны, а одна из копий - повреждена, что указывает скорее всего на баг в коде работы с ФС. Если контрольные суммы равны, и не сходятся с рассчитанной, то данные испорчены.

     
  • 2.182, ыгчч (?), 10:34, 04/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вы бы хоть почитали что-нибудь про CRC вместо того чтобы бред нести.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру