Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Для Ext4 представлена поддержка контрольных сумм для проверк..., opennews (??), 02-Июн-12, (0) [смотреть все] А производительность на сколько просядет , Аноним (-), 11:25 , 02-Июн-12, (1) +3   // не идиоты же пишут, там куча реализаций крк32 под разные процессорные возможност, ВовкаОсиист (ok), 11:29 , 02-Июн-12, (2) +3   видимо в зависимости от проца, я надеюсь он догадался поюзать все современные оп, Анонимус_б6 (?), 11:29 , 02-Июн-12, (3)   // в ядре фантазёр, Аноним (-), 12:05 , 02-Июн-12, (7) –14   // Да В ядре Достаточно посмотреть его исходники Или хотя бы 1 раз его собрать са, ананим (?), 13:04 , 02-Июн-12, (13)   В каком месте это вообще здесь уперлось На микро экзо нано ядрах нет файловой п, BratSinot (?), 16:45 , 02-Июн-12, (28)   Там счет crc32 покажется ерундой на фоне постоянного переключения контесктов , Аноним (-), 17:03 , 02-Июн-12, (31) +3   Отдельный сервер для расчёта CRC-32, да , Аноним (-), 17:34 , 02-Июн-12, (36) +2   Я бы лучше и не ответил , ананим (?), 18:36 , 02-Июн-12, (48)   А разве такое выносится в отдельный процесс Просто будет библиотека, оптимизиро, Аноним (-), 21:21 , 02-Июн-12, (73)   Вы вообще понимаете что говорите Где статическая да и любая другая линковка и , ананим (?), 21:39 , 02-Июн-12, (74)   цитата Зубинского в контексте микторядра MINIX 3 За всякое улучшение надо п, Voviandr (??), 23:43 , 02-Июн-12, (94) +1   Да забодали вы с вашими сферическими конями в вакууме Сделайте практическую реа, Аноним (-), 00:59 , 04-Июн-12, (141) +3   вы выдвигаете тезис, что мои утверждения про полпроцента необоснованны, так как , Voviandr (??), 02:01 , 04-Июн-12, (160) +1   У меня есть валидное оправдание я на уровне инженерной интуиции вполне могу пре, Аноним (-), 02:29 , 04-Июн-12, (166) –2   Куча профильных ошибок для специалиста если вы специалист В том то и дело что , ананим (?), 18:58 , 02-Июн-12, (52) +1   В пингвине к счастью никто не страдает настолько упоротой некромансией чтобы исп, Аноним (-), 22:42 , 02-Июн-12, (87)   Для вас это будет сюрпризом, но в библиотеке Glibc, которая используется почти в, Аноним (-), 09:31 , 03-Июн-12, (106) +2   Да хоть бы XOR по дефолту Что это меняет , filosofem (ok), 12:54 , 03-Июн-12, (111) –1   ещё бы ведь это ложь Dhttp www gnu org software libc manual html_node crypt, ананим (?), 13:07 , 03-Июн-12, (112) –1   Не вырывайте из контекста, а читайте дальше где написано, что по дефолту DES, а , Аноним (-), 23:27 , 03-Июн-12, (140)   Ок Я не буду вырывать , а вы научитесь читать Нет никакого дефолта Есть переме, ананим (?), 09:42 , 04-Июн-12, (177)   А причём тут glibc если crypt с DES это стандарт POSIX glibc наоборот добавляет, Аноним (-), 22:11 , 03-Июн-12, (130) +2   При том, что аноним выше ухмылялся про DES во FreeBSD, в то время как crypt и в , Аноним (-), 23:19 , 03-Июн-12, (139)   Какой в попу дефолт Салт нужен в любом случае И это первое Второе 8212 какое, ананим (?), 09:37 , 04-Июн-12, (176)   Осталось найти хоть 1 пароль в современном пингвине зашифрованный именно так , Аноним (-), 01:00 , 04-Июн-12, (142)   Вообще-то надо найти впингвине хоть один вызов не умеющий многобайтовые символы , ананим (?), 11:06 , 04-Июн-12, (183)   устаревшее барахло это grep в linux , Аноним (-), 20:50 , 05-Июн-12, (207)   Мимо 8212 http www opennet ru opennews art shtml num 25926ЗыжКакое отношени, ананим (?), 07:17 , 06-Июн-12, (211)   пример поиска в utf8 для grep-2 9 wget -O - http opennet ru 2 1 124 iconv , ананим (?), 07:30 , 06-Июн-12, (212)   В пределах погрешности, Аноним (-), 11:35 , 02-Июн-12, (4)   не должно просесть, здесь запись на диск намного тормознее вычисления crc, Аноним (-), 12:04 , 02-Июн-12, (6) +1   // Диски уже не покупают , pavlinux (ok), 14:56 , 02-Июн-12, (16) –1   // А что покупают SSD , анон (?), 15:28 , 02-Июн-12, (22)   Примерно так На механические диски цены после наводнения в тайване довольно кон, Аноним (-), 17:32 , 02-Июн-12, (35)   А как быть с большими объемами Цены на SSD все еще довольно высокие Цены на HDD, анон (?), 17:39 , 02-Июн-12, (39)   Ну вот и выбираем между конскими ценами и еще более конскими , Аноним (-), 04:58 , 04-Июн-12, (174)   угу админ локал хоста замечен А что бы данный админ сказал о raid6 который имее, Аноним (-), 14:58 , 02-Июн-12, (17)   // А у меня дома RAID 60 на SAS SSD c суммарной записью 12Gb s, или мне это присни, pavlinux (ok), 15:05 , 02-Июн-12, (19) –1   а без SSD получить столько , Аноним (-), 12:03 , 03-Июн-12, (107)   Конечно нет, да и с SSD столько не получишь, это ж маркетинг, как и 6Gb s и 3Gb , pavlinux (ok), 01:01 , 04-Июн-12, (143)   В моем случае увы не маркетинг А реальная стойка с винтами - нечто типа того чт, Аноним (-), 01:26 , 04-Июн-12, (146)   Давай скрины iozone -a - u -p -B -e -E А то эти SANы NASы - типа кэшуруют , а, pavlinux (ok), 13:39 , 04-Июн-12, (186) +1   сам ты жертва маркетинга Некоторые подобные железки собирают , Аноним (-), 17:54 , 04-Июн-12, (189)   Если начальник не жмот, там и процы должны быть соответствующие , Аноним (-), 16:59 , 02-Июн-12, (30) +1   начальник не жмот - но вот в чем проблема - подсчет crc32 от такого потока - съе, Аноним (-), 12:06 , 03-Июн-12, (108)   А че за железка такая, у которой скорость рандомной записи на raid 6 сравнима со, filosofem (ok), 13:07 , 03-Июн-12, (113)   Можно сказать самосбор - аналоичный тому что продает NETAP только у NETAP наруж, Аноним (-), 09:54 , 04-Июн-12, (179)   По моему, в новости написано о том, что будет У вас, наверное реализовано что-то, XoRe (ok), 18:48 , 03-Июн-12, (126)   У нас другое - но хорошо показывает использования CPU на больших потоках данных,, Аноним (-), 09:52 , 04-Июн-12, (178)   А у вас проверяются данные, или мета данные Наверное, у вас данные - тогда понят, XoRe (ok), 17:56 , 04-Июн-12, (190)   Проверяется все Но если для данных - это выльется в загрузку CPU, то для метада, Аноним (-), 11:57 , 05-Июн-12, (201)   Просто вы написали подсчет crc32 от такого потока - съедает 4 ядра и 12 Вы нев, XoRe (ok), 22:54 , 08-Июн-12, (213)   Кстати в догонку - лучше бы сделали поддержку T10 DIF DIX Хотя бы половина зада, Аноним (-), 10:01 , 04-Июн-12, (181)   Ну, положим не ГБ, а Гб Предполагаю, что сие можно будет отключить, когда оно, XoRe (ok), 18:48 , 03-Июн-12, (125)   Ну допустим именно 3ГБ с - 4 контролера на 6 Gb s и backplane на 24 sas диска , Аноним (-), 01:28 , 04-Июн-12, (147)   А если pci-e ssd взять , Аноним (-), 17:04 , 02-Июн-12, (32) +1   // вы все здесь какие-то все упоротые собрались У какого-то придурка там рейд выда, Аноним (-), 19:45 , 02-Июн-12, (55) +9   на каждую операцию операцию с диском приходится ровно одна операция с MD видимо , Аноним (-), 12:08 , 03-Июн-12, (109)   Насчет упоротых соглашусь с предыдущим Анонимом , filosofem (ok), 13:17 , 03-Июн-12, (114)   Месье, как я понимаю, в отличие от Вас, знал, что не при каждом обращении к файл, Yakov Markovitch (?), 16:40 , 03-Июн-12, (122) +1   gt оверквотинг удален Упроотые это все тестировали и писали реализаю этого ког, Аноним (-), 01:35 , 04-Июн-12, (150) –1   gt оверквотинг удален ах да, забыл - когда у тебя один raid 5,6 тогда io AT д, Аноним (-), 09:56 , 04-Июн-12, (180)   gt оверквотинг удален 1 relatime _является_ опцией по умолчанию, на всякий с, Yakov Markovitch (?), 15:07 , 04-Июн-12, (188)   gt оверквотинг удален welcome to HPC world пример - Cray acceptance testing п, Аноним (-), 17:59 , 04-Июн-12, (191)   30MB s OK, согласен, пишем на каждую операцию по странице - 120MB c 20 нагруз, Yakov Markovitch (?), 19:59 , 04-Июн-12, (192) +1   вы твердо уверены что MD операции могут выполняться паралельно в одной директори, Аноним (-), 12:07 , 05-Июн-12, (203)   знаешь что я тоже могу сейчас у себя на локалхосте написать быдлокод и заявить, all_glory_to_the_hypnotoad (ok), 23:32 , 04-Июн-12, (195)   Обратитесь в подразделение Cray за обоснованием этих цифр , Аноним (-), 11:58 , 05-Июн-12, (202)   ах да, требуемые 15к unlink s это для кластера BlueWaters - TOP7 если склероз не, Аноним (-), 19:30 , 05-Июн-12, (206)   Ты откуда вылез ext уже лет 5 как монтируется по умолчанию с relatime, Аноним (-), 22:14 , 03-Июн-12, (131)   А мы виноваты что технологии - вот они Пошел в магазин да купил Упоротый - это, Аноним (-), 01:03 , 04-Июн-12, (144) –1   Я, честно говоря, свосем не понял вашего вопроса А именно что вы там в магазине, all_glory_to_the_hypnotoad (ok), 23:38 , 04-Июн-12, (196) +2   И как оно будет работать Ну вырубися у меня комп во время записи, файл не запис, Аноним (-), 11:53 , 02-Июн-12, (5) // Ну ёбни по диску кувалдой во время записи и проверь что будет CRC используютс, pavlinux (ok), 15:00 , 02-Июн-12, (18) // здесь 8212 метаданных, Аноним (-), 17:35 , 02-Июн-12, (37) // псевдо-, мета-, квази-, суб-, в общем данных , pavlinux (ok), 20:35 , 02-Июн-12, (64) –1 Сохранность данных во время операций записи, связанная со сбоями оборудования, н, анон (?), 15:22 , 02-Июн-12, (21) // В т ч забота ФС Журналирование - попытка решить эту проблему Не важно что отка, Аноним (-), 17:40 , 02-Июн-12, (41) // Заботой ФС это было бы в том случае, если бы она это могла сделать хотя бы теоре, анон (?), 18:15 , 02-Июн-12, (46) А также ECC память, проверка целостности каждого блока данных записанного на дис, Аноним (-), 01:36 , 03-Июн-12, (98) Проверка целостности данных, на сколько я знаю, происходит при передаче через ин, анон (?), 13:35 , 03-Июн-12, (115) Ман версионные FS Никакой атомарности нам нахрен не нужно , Аноним (-), 02:03 , 03-Июн-12, (102) На сколько понял, разница с обычными ФС только при изменении данных, т е они не, анон (?), 12:41 , 03-Июн-12, (110) Да При том только измененных блоков И меняются структуры описывающие размещени, Аноним (-), 01:30 , 04-Июн-12, (148) В контексте обсуждений это та же хрень, что и с журналом, только сбоку Тут обсу, анон (?), 02:32 , 04-Июн-12, (167) С этой точки зрения атомарность - костылик обычным ФС по сути А у этих некое, Аноним (-), 01:37 , 04-Июн-12, (152) Атомарность - свойство, а не сущность, т е иными словами не может быть костылем, анон (?), 02:39 , 04-Июн-12, (168) Журнал решает совсем другую проблему - поддерживает целостность самой ФС, а не д, Аноним (-), 19:50 , 02-Июн-12, (56) +1 кто сказал zfs , Аноним (-), 20:43 , 03-Июн-12, (129) // И она конечно гарантирует, что например при отключении питания все данные будут , анон (?), 22:14 , 03-Июн-12, (132) Такие ФС гарантируют что у вас или уж старая версия файла, или новая А не непой, Аноним (-), 02:10 , 04-Июн-12, (165) К сожалению тут, как уже отписался выше на 1 пост, обсуждается мной озвученная с, анон (?), 02:41 , 04-Июн-12, (169) Во первых, журнал - один В него сначала пишутся намерения Если облом на этой ф, Аноним (-), 17:26 , 02-Июн-12, (33) // В COW тоже накладные расходы высокие При изменении файла, он еще и копируется в, Аноним (-), 17:38 , 02-Июн-12, (38) // Глупости Пишется в новое место только блок кластер сектор зависит от термина мин, ананим (?), 18:34 , 02-Июн-12, (47) такой же объём для сектора, но никто не гранулирует по секторам Грануляция идёт, Аноним (-), 20:00 , 02-Июн-12, (57) DВсё верно почти Вот только всё ЭТО только отговорка от темы перезаписи все, ананим (?), 21:55 , 02-Июн-12, (80) ЗзыжВо-первых это вопрос терминологии Во-аторых размер сектора бывает разный А, ананим (?), 22:01 , 02-Июн-12, (83) это называется кластером и никто не оперирует в ФС сектором , Аноним (-), 22:35 , 02-Июн-12, (85) БЛОКОМ сознательно заметаете свой слив , ананим (?), 23:15 , 02-Июн-12, (89) А все-равно тупо У нормальных людей нормальные экстентные аллокаторы уж давно, , Аноним (-), 01:32 , 04-Июн-12, (149) –2 С нетерпением ждём и надеемся Счастливые пользователи ZFS Так когда жда, iZEN (ok), 01:40 , 04-Июн-12, (153) Это того который даже отдебажить нормально не могут до сих пор, так что полно ви, Аноним (-), 02:07 , 04-Июн-12, (164) Вот только вопрос кто кому и чего покажет , schwed (?), 11:35 , 04-Июн-12, (184) какая разница где она происходит, этот процесс порождает несколько грязных класт, Аноним (-), 22:36 , 02-Июн-12, (86) Так что там с перемещением всего файла и оверхедом коу , ананим (?), 23:17 , 02-Июн-12, (90) про весь файл писал кто-то другой , Аноним (-), 01:16 , 03-Июн-12, (97) D, ананим (?), 01:40 , 03-Июн-12, (99) Я писал Первый снепшот в LVM2 дает сильное замедление в работе, последующие пра, Аноним (-), 01:42 , 03-Июн-12, (100) Я думаю что теперь вы понимаете почему так активно пилят btrfs Там снапшоты - н, Аноним (-), 01:36 , 04-Июн-12, (151) Никуда там файл не копируется При записи изменений 1 В сторонку пишется блок с, Аноним (-), 01:17 , 04-Июн-12, (145) Если формат метаданных изменился, значит получается несовместимость с предыдущим, АнонимЪ (?), 14:01 , 02-Июн-12, (14) // Вариант с простым игнорированием данной информации более ранними версиями Вами н, анон (?), 15:31 , 02-Июн-12, (23) Не совсем понятно это чего Что разе ехт4 ехт2 не могла чекать данные А други, anonymous (??), 14:14 , 02-Июн-12, (15) // разрушение метаданных может вынудить fsck порубить нормальные данные в капусту , Аноним (-), 17:39 , 02-Июн-12, (40) // Это понятно Понятно даже почему это было на кассетах от БК,но как это может про, anonymous (??), 23:33 , 02-Июн-12, (92) // Наверное потому что это файловой системой толком не являлось А чексумм блоков с, Аноним (-), 01:40 , 04-Июн-12, (154) А есть инфа как изменится занимаемое место , Panasonic1 (ok), 15:06 , 02-Июн-12, (20) // увеличится на 4 байта per inode петросян, Аноним (-), 20:02 , 02-Июн-12, (58) Да, посмотрели разработчики на ZFS BTRFS и закричали мы тоже такое себе хотим , dalco (ok), 15:39 , 02-Июн-12, (24) +1 // Зачем это надо не расшифруете , анон (?), 15:46 , 02-Июн-12, (26) // Чтобы обнаруживать сбои накопителей или линков к ним, например В момент их появ, Аноним (-), 17:31 , 02-Июн-12, (34) // Во первых, на сколько мне известно, хранимая на винте информация п у имеет избы, анон (?), 18:00 , 02-Июн-12, (44) К сожалению, нет гарантии, что на винте записаны те самые данные, что мы хотели , dalco (ok), 18:43 , 02-Июн-12, (51) +2 Ошибки интерфейса отлавливаются точно см SMART Буферная память ЖД также може, анон (?), 19:12 , 02-Июн-12, (53) –1 В идеальном мире из идеальных программ и идеальной аппаратуры вообще ни журналов, dalco (ok), 20:19 , 02-Июн-12, (62) +4 Я говорил о реально отслеживаемых ошибках, а не о способах их диагностирования , анон (?), 20:35 , 02-Июн-12, (65) кто будет восстанавливать запорченные реплики нормальными Что вы тут вещаете эт, Аноним (-), 20:47 , 02-Июн-12, (67) То, что я вещаю есть способ решения задачи То, что Вы говорите заметьте отсу, анон (?), 20:57 , 02-Июн-12, (70) –2 Имеет, к сожалению Целостность FS от всего вышеперечисленного нехило зависит И, dalco (ok), 20:56 , 02-Июн-12, (69) А то, что все это зависит от прямости рук админа От этого она не должна защищат, анон (?), 21:10 , 02-Июн-12, (72) Хм, попробую объяснить последний раз Есть железо, НЕидеальное железо Есть FS,, dalco (ok), 21:39 , 02-Июн-12, (75) +1 Все, что я узнал из вашего поста - не хочу знать где как и что работает, хочу вс, анон (?), 21:54 , 02-Июн-12, (78) страшно похоже на знакомую на шкуре полемикуленивого по определению админа и м, mix (??), 23:47 , 02-Июн-12, (95) тут всё прозаичнее, полемика условного технаря с ламерьём это анон Только лам, Аноним (-), 15:49 , 03-Июн-12, (119) Прозаичнее, это да Думаю что проблема в том, что моя точка зрения не модная и, анон (?), 16:28 , 03-Июн-12, (121) Господа, все довольно просто Были времена, когда мне действительно было интерес, dalco (ok), 19:11 , 03-Июн-12, (128) +1 Так с этого и надо было начинать ИМХО все хорошее начинается с велосипедов и не, анон (?), 22:29 , 03-Июн-12, (133) Поздравляю, ваш мозг заржавел Правда с этим обычно не поздравляют Небольшой ф, Аноним (-), 02:05 , 04-Июн-12, (163) Ваша точка зрения не требует знаний, она ровно такая же модная как и все здесь о, Аноним (-), 22:51 , 03-Июн-12, (136) +2 Ваше мнение очень важно для нас Ждите, мы сами Вам позвоним ЗЫ Еще один аноним , анон (?), 22:56 , 03-Июн-12, (138) Что, в две смены бедняга поди ишачишь Завтра серверов старент сотни тысяч и теб, kurokaze (ok), 13:56 , 03-Июн-12, (116) –1 Даже круче ECC, которая при сбое чтения пытается скорректироваться самим винтом, Аноним (-), 01:49 , 04-Июн-12, (155) И что вам не понравилось, будет ошибка - сообщит, будет исправимая ошибка - не с, анон (?), 22:13 , 04-Июн-12, (193) ему аналог CRC нужен совсем по другой причине Чтение с физического носителя идё, all_glory_to_the_hypnotoad (ok), 23:53 , 04-Июн-12, (197) Во-первых, спасибо за детали работы, не знал, хоть к делу это и не имеет отношен, анон (?), 00:45 , 05-Июн-12, (198) Не гарантирует Кроме чтения с физического носителя есть ещё firmware котроллера, all_glory_to_the_hypnotoad (ok), 10:50 , 05-Июн-12, (200) Приведу ссылку http rlab ru doc s m a r t html 1511и цитату Это лишь пример о, анон (?), 13:54 , 05-Июн-12, (204) это пример медийных ошибок, а не буфера Точно такие же ошибки как при чтении с, all_glory_to_the_hypnotoad (ok), 22:06 , 05-Июн-12, (209) Вы либо студент-идиот, либо умело здесь им прикидываетесь Я разговариваю с вами , анон (?), 23:43 , 05-Июн-12, (210) Да, во избежание недопонимания из-за многабуков, обсуждаемые контрольные суммы о, анон (?), 00:47 , 05-Июн-12, (199) ты же сам сбежишь от такой ФС первым , Аноним (-), 20:02 , 02-Июн-12, (59) Я один не вижу use case для этого Там, где нужна надёжность, подсчётом контроль, Crazy Alex (??), 15:44 , 02-Июн-12, (25) –1 // Черно-белый мир , Аноним (-), 16:35 , 02-Июн-12, (27) +1 // Ну так вам либо хоть как-то важны данные тогда их надо бэкапить или хотя бы рез, Crazy Alex (??), 17:44 , 02-Июн-12, (42) // И сейчас ничего не изменилось - по-прежнему нужен аппаратный контроллер , Аноним (-), 22:37 , 03-Июн-12, (135) Смотря где В ряде случаев можно и без него В том плане что это просто кучка sa, Аноним (-), 02:03 , 04-Июн-12, (162) Изменилось - раньше он был _необходим_, schwed (?), 14:02 , 04-Июн-12, (187) придурок, рейд не обеспечивает проверку данных, он _не_ считает контрольные сумм, Аноним (-), 20:07 , 02-Июн-12, (60) –1 // Какой умный и вежливый аноним Вы когда-нибудь слышали, как работают пятый и шес, Аноним (-), 21:54 , 02-Июн-12, (79) +2 // А это что-то меняет Что конкретно, на ваш взгляд, при нормальной работе может _д, iZEN (ok), 23:26 , 02-Июн-12, (91) Если не знаете - книжки почитайте, статьи Зачем к людям-то приставать , Аноним (-), 23:40 , 02-Июн-12, (93) +2 Это же изен Не нести фигню он не может клюв перевешивает , Аноним (-), 02:01 , 04-Июн-12, (161) Raid-6 может задетектить сбойный диск Ценой за это является лишний шпиндель пущ, Аноним (-), 01:52 , 04-Июн-12, (156) Современные hard- и soft-контроллёры RAID-1 тоже И что Эта цена при нормальном-, iZEN (ok), 03:50 , 04-Июн-12, (173) неужели ж 5 и 6 рейды чексуммят мою ФС осподи, чего только на опеннете не прочи, Михрютка (?), 14:04 , 03-Июн-12, (118) В какой-то роде В общем случае код коррекции ошибок является и кодом детектиров, Аноним (-), 02:00 , 04-Июн-12, (159) грамотей-опричник в треде you doing it wrong ну-ну я ж говорю, чего только на о, Михрютка (?), 15:54 , 05-Июн-12, (205) hint ошибки бывают не только аппаратные, но и программные , Михрютка (?), 21:56 , 02-Июн-12, (81) // Ну так вероятность ошибки в логике Ext4 ничуть не меньше чем вероятность ошибок , Crazy Alex (??), 22:54 , 02-Июн-12, (88) // и что , Михрютка (?), 00:52 , 03-Июн-12, (96) В чём хинт-то , Crazy Alex (??), 02:01 , 03-Июн-12, (101) В том, что ошибки бывают не только аппаратные, но и программные , Аноним (-), 02:40 , 03-Июн-12, (103) не тупи контроль целостности данных на уровне ФС и контроль целостности данных , Михрютка (?), 14:01 , 03-Июн-12, (117) ну тогда это получается отладочная возможность для разработчиков FS, не более, Crazy Alex (??), 17:56 , 03-Июн-12, (123) почему рейды тоже глючат и сбоят особенно саташные промисы без батареек или вс, Михрютка (?), 18:47 , 03-Июн-12, (124) вы чего такое все курите аппаратный ECC в SDRAM может спасти от разрушения дан, а (?), 18:48 , 03-Июн-12, (127) Имхо, бесполезно Лучше бы для RAID1 такое сделали - вот там оно действительно, , Аноним (-), 16:57 , 02-Июн-12, (29) // Вот-вот Здесь оно на месте было бы , Crazy Alex (??), 17:45 , 02-Июн-12, (43) +1 Просто ради интереса, по сообщениям с RAID контроллера или из SMART нельзя это о, анон (?), 18:40 , 02-Июн-12, (50) // А если они ничего не говорят, а данные с зеркал приходят разные , Аноним (-), 19:40 , 02-Июн-12, (54) // Тогда как гарантированно определить что это не контроллер , анон (?), 20:18 , 02-Июн-12, (61) И да, это реальная ситуация или из раздела Истории одного анонимуса Если реал, анон (?), 20:21 , 02-Июн-12, (63) От балды Одно из зеркал назначается первичным , и при несовпадении данных, бло, Аноним (-), 21:53 , 02-Июн-12, (77) А в логах ошибок при этом ни каких не пишется и SMART не меняется Т е тупо по , анон (?), 22:09 , 02-Июн-12, (84) А вот это - как повезет Вообще, как бы не сильно то удобно и быстро SMART пос, Аноним (-), 01:55 , 04-Июн-12, (157) Т е валидность одного из зеркал определяется сторонними средствами относительно, анон (?), 02:48 , 04-Июн-12, (170) имелось ввиду НЕ проблемами железа , анон (?), 02:50 , 04-Июн-12, (171) Для RAID1 надо сделать скоростную доставку в ближайшую дурку Бо находящие в здр, Аноним (-), 22:33 , 03-Июн-12, (134) Интересно, а поддержка вторых контрольных сумм для проверки целостности этих уже, Аноним (-), 03:44 , 03-Июн-12, (104) // Это делается проще Берут другой алгоритм подсчета CRC и просчитывают им все тож, dalco (ok), 07:56 , 03-Июн-12, (105) // это вы сейчас через задницу увеличили битность контрольной суммы, Аноним (-), 22:55 , 03-Июн-12, (137) +2 // И да, и нет Половинки мегаCRC получаются независимы друг от друга Их вычисля, dalco (ok), 12:49 , 04-Июн-12, (185) две CRC вычесленные по разным алгоритмам дают меньшую битность чем одно CRC с бо, all_glory_to_the_hypnotoad (ok), 22:53 , 04-Июн-12, (194) Так, стоп, а кто будет проверять что вторые контрольные суммы - правильные , Аноним (-), 01:58 , 04-Июн-12, (158) // Если уж прикалываться, и делать контрольную сумму на контрольную сумму, то предл, анон (?), 03:07 , 04-Июн-12, (172) Вы бы хоть почитали что-нибудь про CRC вместо того чтобы бред нести , ыгчч (?), 10:34 , 04-Июн-12, (182) +1 1,5,14,15,20,24,25,29,104

Сообщения

[Сортировка по времени | RSS]

1. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+3 +/–
Сообщение от Аноним (-), 02-Июн-12, 11:25
А производительность на сколько просядет?
Ответить | Правка | Наверх | Cообщить модератору

	2. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+3 +/–
	Сообщение от ВовкаОсиист (ok), 02-Июн-12, 11:29
	не идиоты же пишут, там куча реализаций крк32 под разные процессорные возможности.
	Ответить | Правка | Наверх | Cообщить модератору

	3. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Анонимус_б6 (?), 02-Июн-12, 11:29
	видимо в зависимости от проца, я надеюсь он догадался поюзать все современные оптимизации?
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	7. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	–14 +/–
	Сообщение от Аноним (-), 02-Июн-12, 12:05
	в ядре? фантазёр
	Ответить | Правка | Наверх | Cообщить модератору

	13. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от ананим (?), 02-Июн-12, 13:04
	Да. В ядре. Достаточно посмотреть его исходники. Или хотя бы 1 раз его собрать самому и посмотреть параметры. Зыж Кстати сабж — это один из пунктов в пользу монолитности ядра.
	Ответить | Правка | Наверх | Cообщить модератору

	28. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от BratSinot (?), 02-Июн-12, 16:45
	> Кстати сабж — это один из пунктов в пользу монолитности ядра. В каком месте это вообще здесь уперлось? На микро/экзо/нано ядрах нет файловой подсистемы? Нет возможности использовать алгоритмы хеширования?
	Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

	31. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+3 +/–
	Сообщение от Аноним (-), 02-Июн-12, 17:03
	> подсистемы? Нет возможности использовать алгоритмы хеширования? Там счет crc32 покажется ерундой на фоне постоянного переключения контесктов :)
	Ответить | Правка | Наверх | Cообщить модератору

	36. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+2 +/–
	Сообщение от Аноним (-), 02-Июн-12, 17:34
	Отдельный сервер для расчёта CRC-32, да.
	Ответить | Правка | Наверх | Cообщить модератору

	48. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от ананим (?), 02-Июн-12, 18:36
	Я бы лучше и не ответил. :)
	Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

	73. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 02-Июн-12, 21:21
	А разве такое выносится в отдельный процесс? Просто будет библиотека, оптимизированная для каждого процессора, со статической линковкой, которую подключат нужные компоненты микроядра.
	Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

	74. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от ананим (?), 02-Июн-12, 21:39
	Вы вообще понимаете что говорите? Где статическая (да и любая другая) линковка и где контекст выполнения.
	Ответить | Правка | Наверх | Cообщить модератору

	94. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+1 +/–
	Сообщение от Voviandr (??), 02-Июн-12, 23:43
	>> подсистемы? Нет возможности использовать алгоритмы хеширования? > Там счет crc32 покажется ерундой на фоне постоянного переключения контесктов :) цитата Зубинского (в контексте микторядра MINIX 3) : "За всякое улучшение надо платить, и расплатой здесь является снижение производительности ОС в целом, вызванное необходимостью реализации, на первый взгляд, весьма ресурсоемких механизмов «общения» привилегированного микроядра и непривилегированных серверов. Однако это только на первый взгляд. Разработчики MINIX 3 на ранних этапах проектирования системы построили и исследовали математические модели, позволяющие достаточно точно изучить снижение производительности, вызванное спецификой архитектуры системы. Оказалось, что по сравнению с ОС с монолитным ядром MINIX 3 теряет всего лишь на 0,5% процессорного времени больше из-за «общения» между микроядром и программами-серверами." полпроцента - это имхо, не потеря. цитата взята отсюда  http://itc.ua/articles/minix_mozhete_schitat_ee_studebekerom.../
	Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

	141. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+3 +/–
	Сообщение от Аноним (-), 04-Июн-12, 00:59
	> взгляд. Разработчики MINIX 3 на ранних этапах проектирования системы построили и > исследовали математические модели, позволяющие достаточно точно изучить снижение производительности, Да забодали вы с вашими сферическими конями в вакууме. Сделайте практическую реализацию, мы ее погоняем под разными ворклоадами и посмотрим чего все эти теоретические рассусоливания стоят. И какие там будут полпроцента при различных ворклоадах, включая всякие клинические случаи требующие переключать контексты, etc. > полпроцента - это имхо, не потеря. Ну вот когда будет вообще что побенчить - тогда и посмотрим какие там и у кого полпроцента. Только чур не забывайте что накопители нынче могут развивать скорость в сотни мегабайтов в секунду. Это заметный процентаж от того что вообще может пропустить через себя проц и оператива, так что там какие-то десятки-сотни команд должны обрабатывать весь поток. Если оверхед будет больше - не уложится и упрется. И есть риск что полпроцента которые наблюдаемы на тормозном ноутбучном диске, резко станут 50% на pci-E SSD, например, который может совершенно дикие скорости развивать.
	Ответить | Правка | Наверх | Cообщить модератору

	160. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+1 +/–
	Сообщение от Voviandr (??), 04-Июн-12, 02:01
	вы выдвигаете тезис, что мои утверждения про полпроцента необоснованны, так как не было реальных тестов в высоконаргуженных приложениях. но тогда надо ли доказывать, что и ваши утверждения про то, что система загнётся под нагрузкой, точно так же необоснованны, по той же самой причине - не было реальных тестов ? я не ссылаюсь на то, что в реале и будет полпроцента, я ссылаюсь на то, что авторами софта были просчитаны некоторые варианты, и конечно плохо то, что деталей этих математических моделей мы не знаем.
	Ответить | Правка | Наверх | Cообщить модератору

	166. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	–2 +/–
	Сообщение от Аноним (-), 04-Июн-12, 02:29
	> но тогда надо ли доказывать, что и ваши утверждения про то, что > система загнётся под нагрузкой, точно так же необоснованны, по той же > самой причине - не было реальных тестов ? У меня есть валидное оправдание: я на уровне инженерной интуиции вполне могу представить себе паттерны, которые будут "неудобны". В том плане что будет сравнительно много "дерганий" таковой логики при относительно небольшом объеме пропиханных полезных данных. Так что КПД устремится в плинтус. В микроядерной конструкции он шлепнется в плинтус гораздо быстрее, т.к. на одну и ту же операцию больше действий. У теоретиков есть одна проблема: они при анализе своей концепции невольно подыгрывают ей, придумывая некие анализы которые по их мнению чего-то там. Невольно выбирая более-менее удобные паттерны, на которых "свое - не пахнет". Ну или грабли - не более полупроцента. Я со своей стороны оцениваю "а что будет, если". Этим если могут быть совершенно разные ситуации. Я вполне могу прикинуть ситуацию когда вместо 0.5% будет какая-то иная величина, существенно менее прикольная для авторов. Как вы думаете, насколько академик защищающий некоторую концепцию хочет рассказывать о том что "а если паттерн доступа вот такой - то оно в 2 раза тормознее получается"? Правильно - обычно такие господа смолчат в тряпочку "чтобы статистику не портить" своему велосипеду. Вроде б и не соврали, но зато становится куда понятнее почему на этом велосипеде никто не хочет ездить на практике :P. > я не ссылаюсь на то, что в реале и будет полпроцента, я > ссылаюсь на то, что авторами софта были просчитаны некоторые варианты, Вот только такие авторы очень уж лю считать все для сферических коней в вакууме.
	Ответить | Правка | Наверх | Cообщить модератору

	52. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+1 +/–
	Сообщение от ананим (?), 02-Июн-12, 18:58
	> В каком месте это вообще здесь уперлось? На микро/экзо/нано ядрах нет файловой подсистемы? Нет возможности использовать алгоритмы хеширования? Куча профильных ошибок для специалиста (если вы специалист). В том то и дело что не "на", а "в". И не "подсистема", а "система". Зыж Для остальных — алгоритмы хэшировашия/cripto традиционно реализуются в ядре линуха уже давно, для каждой платформы и как правило самими разрабами платформы (интелом для пней, аэмдэшниками для дюронов, нвадией для нвидиа и тд). Сабж их просто заюзал. Причем в том же пространстве ядра. В общем это будет настолько быстро, насколько это вообще возможно на целевой платформе. Но можно эти алгоритмы вызывать и из юзер-спейса. Для этого есть необходимые системные вызовы. И они даже посикс (резко вспоминаем баг с крипто в фрибсд 2-а дня назад. И понимаем почему именно расширенные символы. И почему в линухе этого быть не может... но это уже для спецов:D)
	Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

	87. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 02-Июн-12, 22:42
	> И они даже посикс (резко вспоминаем баг с крипто в фрибсд 2-а дня назад. В пингвине к счастью никто не страдает настолько упоротой некромансией чтобы использовать DES. DES вообще отстойный алгоритм: он и тормозной, и ключ у него короткий. Уникальное сочетание отстойных свойств.
	Ответить | Правка | Наверх | Cообщить модератору

	106. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+2 +/–
	Сообщение от Аноним (-), 03-Июн-12, 09:31
	> В пингвине к счастью никто не страдает настолько упоротой некромансией чтобы использовать > DES. DES вообще отстойный алгоритм: он и тормозной, и ключ у > него короткий. Уникальное сочетание отстойных свойств. Для вас это будет сюрпризом, но в библиотеке Glibc, которая используется почти во всех дистрибутивах Linux, в функции crypt по умолчанию используется как раз DES.
	Ответить | Правка | Наверх | Cообщить модератору

	111. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	–1 +/–
	Сообщение от filosofem (ok), 03-Июн-12, 12:54
	Да хоть бы XOR по дефолту. Что это меняет?
	Ответить | Правка | Наверх | Cообщить модератору

	112. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	–1 +/–
	Сообщение от ананим (?), 03-Июн-12, 13:07
	>Для вас это будет сюрпризом, но в библиотеке Glibc, которая используется почти во всех дистрибутивах Linux, в функции crypt по умолчанию используется как раз DES. ещё бы! ведь это ложь. :D http://www.gnu.org/software/libc/manual/html_node/crypt.html... >Function: char * crypt (const char *key, const char *salt) >... >The salt parameter does two things. Firstly, it selects which algorithm is used, the MD5-based one or the DES-based one. Secondly, it makes life harder... надо пояснять что значит "it selects which algorithm is used"? :D
	Ответить | Правка | К родителю #106 | Наверх | Cообщить модератору

	140. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 03-Июн-12, 23:27
	> надо пояснять что значит "it selects which algorithm is used"? :D Не вырывайте из контекста, а читайте дальше где написано, что по дефолту DES, а для использования других алгоритмов нужно задавать специальным образом salt. Во FreeBSD точно также можно через salt задавать альтернативный метод хэширования. С тем же успехом можно было написать "Во FreeBSD к счастью никто не страдает настолько упоротой некромансией чтобы использовать DES.".
	Ответить | Правка | Наверх | Cообщить модератору

	177. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от ананим (?), 04-Июн-12, 09:42
	Ок. Я не буду "вырывать", а вы научитесь читать. Нет никакого дефолта. Есть переменная в функции. Используется в любом случае. Так что ложь и вы на ней настаиваете.
	Ответить | Правка | Наверх | Cообщить модератору

	130. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+2 +/–
	Сообщение от Аноним (-), 03-Июн-12, 22:11
	А причём тут glibc если crypt с DES это стандарт POSIX? glibc наоборот добавляет новые алгоритмы.
	Ответить | Правка | К родителю #106 | Наверх | Cообщить модератору

	139. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 03-Июн-12, 23:19
	> А причём тут glibc если crypt с DES это стандарт POSIX? glibc > наоборот добавляет новые алгоритмы. При том, что аноним выше ухмылялся про DES во FreeBSD, в то время как crypt и в bsd libc и glibc не только DES поддерживает, но по дефолту и там и там DES.
	Ответить | Правка | Наверх | Cообщить модератору

	176. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от ананим (?), 04-Июн-12, 09:37
	Какой в попу дефолт? Салт нужен в любом случае. И это первое. Второе — какое это имеет отношение к багу в бзде?
	Ответить | Правка | Наверх | Cообщить модератору

	142. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 04-Июн-12, 01:00
	> во всех дистрибутивах Linux, в функции crypt по умолчанию используется как раз DES. Осталось найти хоть 1 пароль в современном пингвине зашифрованный именно так.
	Ответить | Правка | К родителю #106 | Наверх | Cообщить модератору

	183. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от ананим (?), 04-Июн-12, 11:06
	Вообще-то надо найти впингвине хоть один вызов не умеющий многобайтовые символы. Именно поэтому я и вспомнил баг. :) Даже когда был кои8, терменал конвертировал для внутреннего представления в уникод. А в бсде ещё куча устаревшего барахла по наследству осталось.
	Ответить | Правка | Наверх | Cообщить модератору

	207. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 05-Июн-12, 20:50
	устаревшее барахло это grep в linux?
	Ответить | Правка | Наверх | Cообщить модератору

	211. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от ананим (?), 06-Июн-12, 07:17
	Мимо — http://www.opennet.ru/opennews/art.shtml?num=25926 Зыж Какое отношение грип имеет к вызовам? Речь то про ядро.
	Ответить | Правка | Наверх | Cообщить модератору

	212. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от ананим (?), 06-Июн-12, 07:30
	пример поиска в utf8 для grep-2.9: $ wget -O - http://opennet.ru 2>&1|iconv -f koi8-r|grep 'вар.ант'    <TITLE>OpenNet без "www" - минималистский вариант портала по открытому ПО, Linux, BSD и Unix системам</TITLE>
	Ответить | Правка | К родителю #207 | Наверх | Cообщить модератору

	4. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 02-Июн-12, 11:35
	В пределах погрешности
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	6. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+1 +/–
	Сообщение от Аноним (-), 02-Июн-12, 12:04
	не должно просесть, здесь запись на диск намного тормознее вычисления crc
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	16. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	–1 +/–
	Сообщение от pavlinux (ok), 02-Июн-12, 14:56
	Диски уже не покупают.
	Ответить | Правка | Наверх | Cообщить модератору

	22. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от анон (?), 02-Июн-12, 15:28
	> Диски уже не покупают. А что покупают? SSD?
	Ответить | Правка | Наверх | Cообщить модератору

	35. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 02-Июн-12, 17:32
	> А что покупают? SSD? Примерно так. На механические диски цены после наводнения в тайване довольно конские.
	Ответить | Правка | Наверх | Cообщить модератору

	39. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от анон (?), 02-Июн-12, 17:39
	А как быть с большими объемами? Цены на SSD все еще довольно высокие. Цены на HDD несколько снизились. Растущая конкуренция с SSD должна только способствовать снижению. В некоторой, не очень долгосрочной, перспективе все вернется на место. А пока я не вижу серьезной конкуренции между HDD и SSD при хранении большого количества данных (порядка ТБ). ЗЫ И да, я админ локалхоста и в связи с этим имею ограниченные финансы.
	Ответить | Правка | Наверх | Cообщить модератору

	174. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 04-Июн-12, 04:58
	> А как быть с большими объемами? Цены на SSD все еще довольно высокие. Ну вот и выбираем между конскими ценами и еще более конскими :)
	Ответить | Правка | Наверх | Cообщить модератору

	17. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 02-Июн-12, 14:58
	угу. админ локал хоста замечен. А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6.
	Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

	19. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	–1 +/–
	Сообщение от pavlinux (ok), 02-Июн-12, 15:05
	А у меня дома RAID 60 на SAS SSD c суммарной записью 12Gb/s, (или мне это приснилось).
	Ответить | Правка | Наверх | Cообщить модератору

	107. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 03-Июн-12, 12:03
	а без SSD получить столько ?
	Ответить | Правка | Наверх | Cообщить модератору

	143. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от pavlinux (ok), 04-Июн-12, 01:01
	> а без SSD получить столько ? Конечно нет, да и с SSD столько не получишь, это ж маркетинг, как и 6Gb/s и 3Gb/s. Реальные цифры, сейчас, это 600-800 Mb/s
	Ответить | Правка | Наверх | Cообщить модератору

	146. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 04-Июн-12, 01:26
	В моем случае увы не маркетинг. А реальная стойка с винтами - нечто типа того что продает netap
	Ответить | Правка | Наверх | Cообщить модератору

	186. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+1 +/–
	Сообщение от pavlinux (ok), 04-Июн-12, 13:39
	> В моем случае увы не маркетинг. А реальная стойка с винтами - нечто типа того что продает netap Давай скрины # iozone -a -+u -p -B -e -E; А то эти SANы/NASы - типа "кэшуруют", а при пиковый загрузке, скорость становится даже не как у RAID, а как у одного диска - 150MB/s;    А так же, показать скорость записи одно терабайтного файла между разными разделами, скажем из /usr в /var; >  нечто типа того что продает netap Ещё одна жертва маркетинга. :) --- Надеюсь спорить не будете, что RAID0 - самый быстрый способ организации  массива?! Вот примеры бынчмарков, http://www.tomshardware.com/charts/ssd-raid-0-charts-2011/be...,120.html 600 Мб/с, пускай не самый шустрый SSD, но максимум можно ещё 200 МБ/с натянуть.
	Ответить | Правка | Наверх | Cообщить модератору

	189. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 04-Июн-12, 17:54
	сам ты жертва маркетинга. Некоторые подобные железки собирают.
	Ответить | Правка | Наверх | Cообщить модератору

	30. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+1 +/–
	Сообщение от Аноним (-), 02-Июн-12, 16:59
	> А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6. Если начальник не жмот, там и процы должны быть соответствующие.
	Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

	108. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 03-Июн-12, 12:06
	>> А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6. > Если начальник не жмот, там и процы должны быть соответствующие. начальник не жмот - но вот в чем проблема - подсчет crc32 от такого потока - съедает 4 ядра и 12. то есть сумарная производительность железки - падает ровно на столько же.. А ведь она могла бы заниматься еще чем-то - кроме как считать контрольные суммы. Вторым аспектом - является дополнительная задержка - которую вносит эта операция в сумарное время выполнения. В случае MD операций - это очень важный показатель. Хотя тем у кого обычный рабочий патерн куча больших файлов из которых читают (а не создают / удаляют постоянно временные файлы) - этого не понять.
	Ответить | Правка | Наверх | Cообщить модератору

	113. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от filosofem (ok), 03-Июн-12, 13:07
	А че за железка такая, у которой скорость рандомной записи на raid 6 сравнима со скорость подсчета crc? На массив из DDR дисков похоже =)
	Ответить | Правка | Наверх | Cообщить модератору

	179. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 04-Июн-12, 09:54
	> А че за железка такая, у которой скорость рандомной записи на raid > 6 сравнима со скорость подсчета crc? На массив из DDR дисков > похоже =) Можно сказать самосбор - аналоичный тому что продает NETAP. только у NETAP наружу выдается FC, а тут SAS шина.
	Ответить | Правка | Наверх | Cообщить модератору

	126. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от XoRe (ok), 03-Июн-12, 18:48
	>>> А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6. >> Если начальник не жмот, там и процы должны быть соответствующие. > начальник не жмот - но вот в чем проблема - подсчет crc32 > от такого потока - съедает 4 ядра и 12. По моему, в новости написано о том, что будет. У вас, наверное реализовано что-то другое?
	Ответить | Правка | К родителю #108 | Наверх | Cообщить модератору

	178. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 04-Июн-12, 09:52
	У нас другое - но хорошо показывает использования CPU на больших потоках данных, для вычисления crc32 даже используя crc32_hw инструкцию в последних CPU имени интела.
	Ответить | Правка | Наверх | Cообщить модератору

	190. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от XoRe (ok), 04-Июн-12, 17:56
	> У нас другое - но хорошо показывает использования CPU на больших потоках > данных, для вычисления crc32 даже используя crc32_hw инструкцию в последних CPU > имени интела. А у вас проверяются данные, или мета данные? Наверное, у вас данные - тогда понятна нагрузка на проц. Данный патч именно для мета данных - он будет нагружать проц на несколько порядков меньше.
	Ответить | Правка | Наверх | Cообщить модератору

	201. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 05-Июн-12, 11:57
	Проверяется все. Но если для данных - это выльется в загрузку CPU, то для метаданных он выливается в увеличение времени выполнения операции. Как уже писал - лучше бы T10 DIF/DIX запилили - хотя бы проверка целостности (более частая операция) выполнялась бы аппаратно.
	Ответить | Правка | Наверх | Cообщить модератору

	213. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от XoRe (ok), 08-Июн-12, 22:54
	> Проверяется все. Но если для данных - это выльется в загрузку CPU, > то для метаданных он выливается в увеличение времени выполнения операции. > Как уже писал - лучше бы T10 DIF/DIX запилили - хотя бы > проверка целостности (более частая операция) выполнялась бы аппаратно. Просто вы написали "подсчет crc32 от такого потока - съедает 4 ядра и 12". Вы невольно ввели людей в заблуждение, не указав, что идет подсчет ещё и для данных. Система, обсуждаемая в топике, подсчитывает только метаданные. Да, это создает доп. нагрузку и задержки. Но насколько большую - неизвестно. Нужно дождаться релиза и протестить. К сожалению, ваш опыт тут неприменим, т.к. у вас другая система считает другие вещи.
	Ответить | Правка | Наверх | Cообщить модератору

	181. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 04-Июн-12, 10:01
	>>>> А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6. >>> Если начальник не жмот, там и процы должны быть соответствующие. >> начальник не жмот - но вот в чем проблема - подсчет crc32 >> от такого потока - съедает 4 ядра и 12. > По моему, в новости написано о том, что будет. > У вас, наверное реализовано что-то другое? Кстати в догонку - лучше бы сделали поддержку T10 DIF/DIX. Хотя бы половина задачи (проверка) выполнялась бы не CPU, а HBA или диском - все же достаточно разгрузило бы камешек.
	Ответить | Правка | К родителю #126 | Наверх | Cообщить модератору

	125. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от XoRe (ok), 03-Июн-12, 18:48
	> угу. админ локал хоста замечен. > А что бы данный админ сказал о raid6 который имеет сумарную скорость > записи 3ГБ/с ? и чтение около 6. Ну, положим не ГБ, а Гб ... Предполагаю, что сие можно будет отключить, когда оно будет реализовано.
	Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

	147. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 04-Июн-12, 01:28
	>> угу. админ локал хоста замечен. >> А что бы данный админ сказал о raid6 который имеет сумарную скорость >> записи 3ГБ/с ? и чтение около 6. > Ну, положим не ГБ, а Гб ... > Предполагаю, что сие можно будет отключить, когда оно будет реализовано. Ну допустим именно 3ГБ/с - 4 контролера на 6 Gb/s и backplane на 24 sas диска
	Ответить | Правка | Наверх | Cообщить модератору

	32. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+1 +/–
	Сообщение от Аноним (-), 02-Июн-12, 17:04
	> не должно просесть, здесь запись на диск намного тормознее вычисления crc А если pci-e ssd взять? :)
	Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

	55. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+9 +/–
	Сообщение от Аноним (-), 02-Июн-12, 19:45
	вы все здесь какие-то все упоротые собрались. У какого-то придурка там рейд выдаёт 3гбс, другие ssd во все щели пихают. У кого-то таки может хватит  мозги прочитать CRC чего там начали считать? Попробую напомнить - метаданных. Теперь посчитай сколько обновлений метаданных приходится на IO операцию.
	Ответить | Правка | Наверх | Cообщить модератору

	109. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 03-Июн-12, 12:08
	> вы все здесь какие-то все упоротые собрались. У какого-то придурка там рейд > выдаёт 3гбс, другие ssd во все щели пихают. У кого-то таки > может хватит  мозги прочитать CRC чего там начали считать? Попробую > напомнить - метаданных. Теперь посчитай сколько обновлений метаданных приходится на IO > операцию. на каждую операцию операцию с диском приходится ровно одна операция с MD. видимо все забывают что по умолчанию ext4 обновляет atime при каждом обращении к файлу. а значит выполняется операция записи в журнал и обновление метаданных на диске. мисье этого не знал ?
	Ответить | Правка | Наверх | Cообщить модератору

	114. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от filosofem (ok), 03-Июн-12, 13:17
	>видимо все забывают что по умолчанию ext4 обновляет atime при каждом обращении к файлу. Насчет упоротых соглашусь с предыдущим Анонимом.
	Ответить | Правка | Наверх | Cообщить модератору

	122. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+1 +/–
	Сообщение от Yakov Markovitch (?), 03-Июн-12, 16:40
	>> вы все здесь какие-то все упоротые собрались. У какого-то придурка там рейд >> выдаёт 3гбс, другие ssd во все щели пихают. У кого-то таки >> может хватит  мозги прочитать CRC чего там начали считать? Попробую >> напомнить - метаданных. Теперь посчитай сколько обновлений метаданных приходится на IO >> операцию. > на каждую операцию операцию с диском приходится ровно одна операция с MD. > видимо все забывают что по умолчанию ext4 обновляет atime при каждом обращении > к файлу. > а значит выполняется операция записи в журнал и обновление метаданных на диске. > мисье этого не знал ? Месье, как я понимаю, в отличие от Вас, знал, что не при каждом обращении к файлу, а при первом после изменения (AKA relatime - учите матчасть). Это при условии, что админ не включил noatime, что обычно делается - в этом случае atime обновляется только при записи, как mtime. Далее, ППКС (насчёт упоротости). И, господа диванные программисты, на современных процах (i5/i7/современные Xeon) скорость реализации CRC32 примерно 3 цикла/байт - это если не использовать hardware support, которого есть. Если его использовать, то 0.6цикла/байт (в среднем). Желающие могут посчитать, какой объём может обсчитать одно ядро - тут кто-то что-то нёс про "4 ядра из 12". На всякий случай, не надеясь на ваши арифметические способности - 1-5 GB/c. Усердный читатель может прикинуть, какое _количество_операций_записи_ надо провести, чтобы занять подсчётом crc32 хотя 5% _одного_ ядра.
	Ответить | Правка | К родителю #109 | Наверх | Cообщить модератору

	150. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	–1 +/–
	Сообщение от Аноним (-), 04-Июн-12, 01:35
	>[оверквотинг удален] > записи, как mtime. > Далее, ППКС (насчёт упоротости). > И, господа диванные программисты, на современных процах (i5/i7/современные Xeon) скорость > реализации CRC32 примерно 3 цикла/байт - это если не использовать hardware > support, которого есть. Если его использовать, то 0.6цикла/байт (в среднем). Желающие > могут посчитать, какой объём может обсчитать одно ядро - тут кто-то > что-то нёс про "4 ядра из 12". На всякий случай, не > надеясь на ваши арифметические способности - 1-5 GB/c. > Усердный читатель может прикинуть, какое _количество_операций_записи_ надо провести, > чтобы занять подсчётом crc32 хотя 5% _одного_ ядра. Упроотые это все тестировали и писали реализаю этого когда в ядре еще не было. И хоть ты тресни но выше 2 GB/s не выдают ксеона. Такая вот незадача. А надо 6. Это как с хваленым io at - оказалось быстрее гонять через CPU чем использовать эту фичу. На счет остального - мисье еще забыл что очень дофига операций проходит через журнал, да и relative atime не является опции ей по умолчанию, а включив no atime можно сломать некоторый софт.
	Ответить | Правка | Наверх | Cообщить модератору

	180. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 04-Июн-12, 09:56
	>[оверквотинг удален] >> могут посчитать, какой объём может обсчитать одно ядро - тут кто-то >> что-то нёс про "4 ядра из 12". На всякий случай, не >> надеясь на ваши арифметические способности - 1-5 GB/c. >> Усердный читатель может прикинуть, какое _количество_операций_записи_ надо провести, >> чтобы занять подсчётом crc32 хотя 5% _одного_ ядра. > Упроотые это все тестировали и писали реализаю этого когда в ядре еще > не было. И хоть ты тресни но выше 2 GB/s не > выдают ксеона. Такая вот незадача. А надо 6. Это как с > хваленым io at - оказалось быстрее гонять через CPU чем использовать > эту фичу. ах да, забыл - когда у тебя один raid[5,6] тогда io AT дает выигрыш, а когда 3-4 тогда он дает проигрыш - так как упирается в свою пропускную. только почему-то в документации от intel об этом не слова.
	Ответить | Правка | Наверх | Cообщить модератору

	188. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Yakov Markovitch (?), 04-Июн-12, 15:07
	>[оверквотинг удален] >> Усердный читатель может прикинуть, какое _количество_операций_записи_ надо провести, >> чтобы занять подсчётом crc32 хотя 5% _одного_ ядра. > Упроотые это все тестировали и писали реализаю этого когда в ядре еще > не было. И хоть ты тресни но выше 2 GB/s не > выдают ксеона. Такая вот незадача. А надо 6. Это как с > хваленым io at - оказалось быстрее гонять через CPU чем использовать > эту фичу. > На счет остального - мисье еще забыл что очень дофига операций проходит > через журнал, да и relative atime не является опции ей по > умолчанию, а включив no atime можно сломать некоторый софт. 1. relatime _является_ опцией по умолчанию, на всякий случай. 2. В нормальной ситуации (data=ordered, по умолчанию) через журнал проходят только операции изменения метаданных. А если Вы вдруг поставили data=journal, то проблема производительности crc32 будет _последним_, о чем Вам стОит заботиться в плане производительности, смею Вас уверить. Еще раз, пожалуйста: приведите пример разумного практического режима нагрузки, при котором сколько-нибудь долго пишется хотя бы 200MB/s _метаданных_. Подчёркиваю - разумного и практического. P.S. Чтобы два раза не вставать - нет такого процессора "ксеон", есть "зион". Похоже, стоит учить не только материальную часть? P.P.S. Обсуждали бы уж что-нибудь, что знаете не только по форумам, что ли.
	Ответить | Правка | К родителю #150 | Наверх | Cообщить модератору

	191. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 04-Июн-12, 17:59
	>[оверквотинг удален] >> через журнал, да и relative atime не является опции ей по >> умолчанию, а включив no atime можно сломать некоторый софт. >  1. relatime _является_ опцией по умолчанию, на всякий случай. >  2. В нормальной ситуации (data=ordered, по умолчанию) через журнал проходят только > операции изменения метаданных. А если Вы вдруг поставили data=journal, то проблема > производительности crc32 будет _последним_, о чем Вам стОит заботиться в плане > производительности, смею Вас уверить. > Еще раз, пожалуйста: приведите пример разумного практического режима нагрузки, при котором > сколько-нибудь долго пишется хотя бы 200MB/s _метаданных_. Подчёркиваю - разумного и > практического. welcome to HPC world. пример - Cray acceptance testing при сдаче BlueWaters project (тот что в NACA стоит) - Cray XT5 + Cray XT6. Требуемые параметры - 30-15k unlink per second. Расчет спец эффектов фильма черный рыцарь - класстер из 4к нод - среднее время расчета кадра 2-3с - требуется обеспечить порядка 8к md ops per second. Не разумное? учитывая что операция над метаданными как правило сожрет больше килобайта - то мы получаем в обоих случаях больше 200мб/с данных которые пытаются писать на диск. Welcome to HPC world, NEO.
	Ответить | Правка | Наверх | Cообщить модератору

	192. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+1 +/–
	Сообщение от Yakov Markovitch (?), 04-Июн-12, 19:59
	>>[оверквотинг удален] >> практического. > welcome to HPC world. пример - Cray acceptance testing при сдаче BlueWaters > project (тот что в NACA стоит) - Cray XT5 + Cray > XT6. > Требуемые параметры - 30-15k unlink per second. 30MB/s. OK, согласен, пишем на каждую операцию по странице - 120MB/c. 20% нагрузки одного ядра класса Xeon. Вы твёрдо уверены, что оно там одно?.. > Расчет спец эффектов фильма черный рыцарь - класстер из 4к нод - > среднее время расчета кадра 2-3с - требуется обеспечить порядка 8к md > ops per second. > Не разумное? учитывая что операция над метаданными как правило сожрет больше килобайта > - то мы получаем в обоих случаях больше 200мб/с данных которые > пытаются писать на диск. Виноват? 8kop/s * 1k == 8MB/s. Хорошо, пусть даже страница каждый раз (хотя это бред) - тогда 32MB/s. > Welcome to HPC world, NEO. Гм. Welcome во 2-й класс средней школы - учим арифметику.
	Ответить | Правка | Наверх | Cообщить модератору

	203. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 05-Июн-12, 12:07
	>>>[оверквотинг удален] >>> практического. >> welcome to HPC world. пример - Cray acceptance testing при сдаче BlueWaters >> project (тот что в NACA стоит) - Cray XT5 + Cray >> XT6. >> Требуемые параметры - 30-15k unlink per second. > 30MB/s. OK, согласен, пишем на каждую операцию по странице - 120MB/c. 20% > нагрузки одного ядра класса Xeon. Вы твёрдо уверены, что оно там > одно?.. вы твердо уверены что MD операции могут выполняться паралельно в одной директории? А то вы так яро бросились считать ядра у процессора. Спешу огорчить - не могут. И увеличение количества ядер тут слабо поможет - только увеличит cache ping-pong что само по себе очень дорогая операция. В MD операциях - меряют не абсолютной загрузкой ядра - а относительным по отношению к общей длительности операции. Если у вас операция идет 2мс, и вы добавляете еще одну ms - то получаете замедление на 50%. или это сложно для второго класса ? Если мы будем рассматривать паралельные операции в разных директориях - то увы - как не крути, 1 ядро из 16 - это почти 10% замедления для всех операций. У месье всегда найдется откуда взять эти 10% ? и не задумывается о том что есть вообще предел. Касательно всех цифр о пропускной - давайте посчитаем сколько это будет занимать при включеных квотах - насколько я помню - в пределе размер записи журнала по одной операции может достигать 16кб - куда входит информация о модификации всех экстентов, всех файлов связанных с операцией (квотных) - копия атрибутов и тп..
	Ответить | Правка | Наверх | Cообщить модератору

	195. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от all_glory_to_the_hypnotoad (ok), 04-Июн-12, 23:32
	> Требуемые параметры - 30-15k unlink per second. знаешь что.. я тоже могу сейчас у себя на локалхосте написать быдлокод и заявить, мол мне нужно 200к анлинков в секунду. А да, ещё назову это 'HPC world', во!
	Ответить | Правка | К родителю #191 | Наверх | Cообщить модератору

	202. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 05-Июн-12, 11:58
	>> Требуемые параметры - 30-15k unlink per second. > знаешь что.. я тоже могу сейчас у себя на локалхосте написать быдлокод > и заявить, мол мне нужно 200к анлинков в секунду. А да, > ещё назову это 'HPC world', во! Обратитесь в подразделение Cray за обоснованием этих цифр.
	Ответить | Правка | Наверх | Cообщить модератору

	206. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 05-Июн-12, 19:30
	ах да, требуемые 15к unlink/s это для кластера BlueWaters - TOP7 если склероз не изменяет. Там всего каких-то 5к-7к вычислительных нод - которые удаляют/создают файлики.. я думаю 2 unlink per node per second это не так много для быдло админа с локалхоста ?
	Ответить | Правка | Наверх | Cообщить модератору

	131. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+/–
	Сообщение от Аноним (-), 03-Июн-12, 22:14
	> на каждую операцию операцию с диском приходится ровно одна операция с MD. > видимо все забывают что по умолчанию ext4 обновляет atime при каждом обращении > к файлу. Ты откуда вылез? ext уже лет 5 как монтируется по умолчанию с relatime
	Ответить | Правка | К родителю #109 | Наверх | Cообщить модератору

	144. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	–1 +/–
	Сообщение от Аноним (-), 04-Июн-12, 01:03
	> вы все здесь какие-то все упоротые собрались. У какого-то придурка там рейд > выдаёт 3гбс, другие ssd во все щели пихают. А мы виноваты что технологии - вот они. Пошел в магазин да купил. Упоротый - это тот кто зациклился на своем ноутбучном венике и дальше своего носа ничего не видит. > Попробую напомнить - метаданных. Теперь посчитай сколько обновлений > метаданных приходится на IO операцию. Для начала объясните: 1) Нафига? 2) Что это по вашему мнению покажет и докажет?
	Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

	196. "Для Ext4 представлена поддержка контрольных сумм для проверк..."	+2 +/–
	Сообщение от all_glory_to_the_hypnotoad (ok), 04-Июн-12, 23:38
	Я, честно говоря, свосем не понял вашего вопроса. А именно что вы там в магазине купите и что именно пояснить. Если не затруднит, то давайте не расчитывать на то, что я такой же аутист как и вы и пойму всё с двух слов. Прежде чем ещё раз задавать мне по несколько раз один и тот же ответ, то потрудитесь, пожалуйста, оценить, сколько дополнительных IOPSов в % соотношении выдаст расчёт CRC метаданных в любимом для вас профиле нагрузке на ФС. Или вам кажется, что достаточно сходить в магазин, купить чего-нить и устроить истерику на счёт 3гбс и CRC?
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема