Представлен (http://sourceforge.net/mailarchive/message.php?msg_name=4AF4...) релиз специализированного дистрибутива 0.7 (http://www.freenas.org/FreeNAS), предназначенного для быстрого развёртывания сетевого хранилища (NAS, Network-Attached Storage). Дистрибутив полностью настраивается через веб-интерфейс, поддерживает FTP, NFS, Samba, AFP, rsync и iSCSI протоколы, программный RAID (0,1,5). FreeNAS 0.7 - первый выпуск, базирующийся на ветке FreeBSD 7 (7.2).
Из новшеств можно отметить:- В WebGUI интегрирована новая система управления дисками с возможностью выполнения таких операций, как монтирование. Также добавлен интерфейс для управления параметрами конечных пользователей с раздельными полномочиями для администратора и обычного пользователя хранилища данных;
- Полная поддержка файловой системы ZFS;
- Поддержка gjournal для обеспечения журналирования UFS2;
- Добавлен GEOM-класс gvistor для создания виртуальных блочных устройств
- Обновление верси...URL: http://sourceforge.net/mailarchive/message.php?msg_name=4AF4...
Новость: https://www.opennet.ru/opennews/art.shtml?num=24149
Когда в FreeBSD появился программный RAID-5?
когда пришел zfs
был же vinum, теперь он gvinum, ну и в zfs есть
>Когда в FreeBSD появился программный RAID-5?
Игрался и с atacontrol и с gmirror. Зеркала делают и работают, только производительности зеркала не добавляют. Вообще, насы нужно делать на линухе.
Ну вообще-то, zfs очень подходит под нужды nas. Другое дело что наверное разумнее заюзать opensolaris для этого.
opensolaris - недоделанная вещь в себе, на практике никто его использовать не будет, по этому FreeBSD без вариантов..
>opensolaris - недоделанная вещь в себе, на практике никто его использовать не
>будет, по этому FreeBSD без вариантов..Восьмерка еще не готова для Production. Семерку с ZFS... Ну что ж,вперед:) С тем же успехом можно считать, что и ext4 в Linux уже готова для отвественных применений, так как
Red Hat включил как технолоджи привью, а бубунты ставят по-дефольту. Как говорится, удачи, но все же советую хранить все-таки семейный архив, а не бизнес-контент...А то, что Solaris "недоделанная вещь в себе" (она, вообще-то, бесплатная, и не сводится только к OpenSolaris + есть еще Nexanta с коммерческим саппортом), скажите, лучше, сантехникам :))
Вообще-то, если верить Давидеку (а кому ещё верить в этом вопросе?), ZFS is production-ready _в том числе и на семёрке_. Если вы имеете, чем опровергнуть - тут всем будет интересно.
>Вообще-то, если верить Давидеку (а кому ещё верить в этом вопросе?), ZFS
>is production-ready _в том числе и на семёрке_. Если вы имеете,
>чем опровергнуть - тут всем будет интересно.Разумную осторожность: иногда стоит немного не доверять вендорам,коммьюнити и пр., и когда они говорят, что что-то production ready в уме прибавить еще N времени.
Обычно, такой практике следует большинство из тех, кого я знаю, и, по-моему, она разумна: дать возможность тем, кто не понимает, на что идет, и тем, кому все равно, набить шишки и отловить некоторые глюки, которые на более ранней стадии (так как не "ready") выявлены не были.
Вот ext4 на своей домашней машине, я, возможно, скоро поставлю. Как и ZFS бы решилась под домашний NAS (если бы он был, хотя я бы скорее поставила под OpenSolaris), а тут.. слишком мало времени прошло в этом состоянии "production ready"...
Согласитесь, это разумно :)
>Разумную осторожность: иногда стоит немного не доверять вендорам,коммьюнити и пр.,
>и когда они говорят, что что-то production readyВот это правильно.
> в уме прибавить еще N времени
А вот это называется "я на самом деле нихрена не понимаю, что там и где у них стабильно, но надеюсь что через N времени все баги за меня уже пофиксят". Извините, детский сад.
>Обычно, такой практике следует большинство из тех, кого я знаю, и, по-моему,
>она разумна: дать возможность тем, кто не понимает, на что идет,
>и тем, кому все равно, набить шишки и отловить некоторые глюки,
>которые на более ранней стадии (так как не "ready") выявлены не
>были.Сама наивность.
>А вот это называется "я на самом деле нихрена не понимаю, что
>там и где у них стабильно, но надеюсь что через N
>времени все баги за меня уже пофиксят".Именно это я и имела ввиду
>Извините, детский сад.
Почему?
>>Обычно, такой практике следует большинство из тех, кого я знаю, и, по-моему,
>>она разумна: дать возможность тем, кто не понимает, на что идет,
>>и тем, кому все равно, набить шишки и отловить некоторые глюки,
>>которые на более ранней стадии (так как не "ready") выявлены не
>>были.
>
>Сама наивность.Может быть :)
> Почему?Ну назовите, чему равно это ваше N, и обоснуйте это.
Странное желание требовать обоснование разумной предосторожности.
Это как обосновывать то, что переходить дорогу на зеленый свет с закрытыми глазами не надо.
Курить у складах с боеприпасами на расстоянии менее 200м не надо.
Считайте это жизненным опытом. Интуицией, в некоторой мере.
>Странное желание требовать обоснование разумной предосторожности.Перечитайте тред.
> Вообще-то, если верить Давидеку (а кому ещё верить в этом вопросе?),
> ZFS is production-ready _в том числе и на семёрке_.Верить? Ну уж явно не разработчикам, потому что у них все и всегда готово, как бы работает, и багов - ноль. Вон у Теодора ext4 тоже был готов. А вот починеные баги почитать было интересно. Там бывали и баги вызывающие весьма конкретный дестрой тома, IIRC. Да, в редкой ситуации, да, у не слишком большого числа счастливчиков. И?
Разработчик ориентируется на баг-репорты, и, при условии достаточно массового тестирования, это достаточно объективный критерий.Вопросы "изначальной порочности девелоперов" - это, извините, уже из области иррационального.
Нет, вопросы заведомой бажности сложного кода - это всего лишь обычный опыт, даже если он вам и не по вкусу. А баг репорты - так их основная масса будет лишь после того как нечто заявят как готовое к юзежу и орава народа это поюзает. Как вы думаете, почему я предпочитаю некоторое время подождать до начала использования супер-пупер-ФС? Теперь вы знаете почему :).Потому что мне нужны мои данные :D.
Фришная аудитория - гораздо более гиковская, чем линуксовая (даже если это вам не по вкусу :)) Считай, у каждого третьего админа на каком-нибудь боксе (как минимум виртуальном) крутиться свежачок с момента отпочкования новой ветки, просто чтобы быть в курсе и разбираться в новинках. Причём количество пробующих растёт, и за 3-4 месяца до объявленой даты релиза таковых уже почти 100%. Это как раз то, что у меня обозначено словом "массовое", а у вас - "орава" :) С этим, кстати говоря, связан традиционный стон БСДешников в преддверии выпуска: "Они не успеют! Ещё столько недоделано!" - просто количество багрепортов в этот период интенсивно растёт. И действительно, не успевают :) Поскольку упомянутая дата, на самом деле, не обязывающая, девелоперы не поря горячки, заделывают незаделанное.Поэтому, объявление о готовности во FreeBSD можно понимать буквально.
Конечно, я согласен, что _всех_ багов в сложном коде никто не выловит. Только это относиться к софту практически любой выдержки. Production-ready _всегда_ означает только то, что вероятность серьёзной проблемы мала.
Это в общем. А в частности, сиречь о ZFS: учтите, что значительная часть кода обкатывалась ещё и в Solaris до попадания во Фри. Возможно, это одна из причин, почему ZFS, за исключением некоторых особых условий, довольно гладко работала уже почти год назад.
> _в том числе и на семёрке_Чушь! На 7.2 и ниже используется v6, коя так и не стала стабильной в потреблении памяти. v13 в 7-stable не получила важных фиксов, перед тем как ее в 8-ке обьявили "ready for production use". Так что 7-stable можно легко уронить, если сделать rollback на примонтированном датасете.
> Восьмерка еще не готова для Production.Пруф, или это только ваше мнение?
> Семерку с ZFS... Ну что ж,вперед:)
У нас, знаете ли (я надеюсь, как и в любой уважающей себя конторе), все решения тщательно тестируются перед использованием в production. Еще в начале года 7.1+ZFS несколько недель тестировалась с симуляцией самых жестких workload'ов, и показала себя отлично, с тех пор работает уже 9 месяцев без единого нарекания. Да, я знаю, что в среде доморощенных недоадминов модно кидаться словами типа "Stable" и "LTS", но в бизнесе нужны гарантии, которых никакие ярлычки вам не обеспечат, и возможности, которые в "стабильных релизах" появятся только через год, а сейчас могут дать серьезное конкурентное преимущество. Пора бы понимать, что системным администрированием не по книжечке занимаются.
>> Восьмерка еще не готова для Production.
>
>Пруф, или это только ваше мнение?Не смешите так, пожалуйста :)
http://www.freebsd.org/where.html
Слово "релиз-кандидат" о чем-нибудь говорит?
>> Семерку с ZFS... Ну что ж,вперед:)
>
>У нас, знаете ли (я надеюсь, как и в любой уважающей себя
>конторе), все решения тщательно тестируются перед использованием в production. Еще в
>начале года 7.1+ZFS несколько недель тестировалась с симуляцией самых жестких workload'ов,У нас отрицательный опыт с ZFS на FreeBSD7, а так же с OpenSolaris, как раз с начала года, и положительный с IBM GPFS.
Но я не участвовала каким-либо образом в принятии этого решения...>Да, я знаю, что в среде доморощенных недоадминов
>модно кидаться словами типа "Stable" и "LTS", но в бизнесе нужны
>гарантии, которых никакие ярлычки вам не обеспечат, и возможности, которые в
>"стабильных релизах" появятся только через год, а сейчас могут дать серьезное
>конкурентное преимущество. Пора бы понимать, что системным администрированием не по книжечке
>занимаются.Почему мне кажется, что Вы тролль?
>Почему мне кажется, что Вы тролль?если что-то крякает как утка, плавает как утка, ведёт себя как утка..... ну Вы поняли Ж:)
>Не смешите так, пожалуйста :)
>
>http://www.freebsd.org/where.htmlОчень полный, обоснованный и авторитетный ответ, спасибо.
>Слово "релиз-кандидат" о чем-нибудь говорит?
А что вам говорит слово "релиз"? Я не буду повторяться про администрироваие по бумажке, гарантии релиза, которые существуют только у вас в воображении, и обязательное тестирование перед использованием в продакшн, на которое вы, как я понял, успешно забиваете, опираясь на те самые несуществующие гарантии.
>У нас отрицательный опыт с ZFS на FreeBSD7, а так же с
>OpenSolaris, как раз с начала года, и положительный с IBM GPFS.
>
>Но я не участвовала каким-либо образом в принятии этого решения...А у нас на кухне газ. Можно было бы привести факты, а так можно до бесконечности повторять цикл "у нас работает, вы идиоты", "у нас не работает, вы идиоты".
>>Да, я знаю, что в среде доморощенных недоадминов
>>модно кидаться словами типа "Stable" и "LTS", но в бизнесе нужны
>>гарантии, которых никакие ярлычки вам не обеспечат, и возможности, которые в
>>"стабильных релизах" появятся только через год, а сейчас могут дать серьезное
>>конкурентное преимущество. Пора бы понимать, что системным администрированием не по книжечке
>>занимаются.
>
>Почему мне кажется, что Вы тролль?Почему мне кажется, что вам больше нечего сказать?
>>Почему мне кажется, что Вы тролль?
>Почему мне кажется, что вам больше нечего сказать?ну а что тут скажешь? если супер-организация принимает решение на основании мнения (вроде такого - зуб даю) её супер-админа...... тут уж ничего и не скажешь.
завтра же, после очередной дырки и порции багов позовут этого супер-админа на ковёр...
а он уже в другой супер-конторе зуб даёт.
в общем, супер-подход супер-конторы и их сепер-специалистов.Ваша контора спецов на стажировку в америку не на транс-континентальных ракетах отправляет?
нет?
а жаль. конкурентное преимущество же налицо.
> на основании мнения (вроде такого - зуб даю) её супер-админаВы не туда ответили. Это у sHaggY_caT мнение, что RC низя, а RELEASE уже можно, но после N времени, которое она затрудняется назвать. А у нас как-бы более объективные критерии что можно, а что нельзя использовать в продакшн, повторяться не буду.
я ответил туда, куда надо. :-DDDDDDDDDDDDDDDDDDDDDDDDDDDD
уважающая себя контора будет тестировать только готовые к продакшену системы.
и не факт, что эти тесты ещё пройдут успешно.... грубо выражаясь, все риски сведут к минимуму, все уровни гарантий (а уважающие себя конторы о них как минимум знают) задействуют.... "зуб_даю" местного админа/ов - это только последний аргумент.зы:
мне даже интересно было бы послушать Ваш разговор с манагером:
- да, это рк! но это такой классный классный рк (я проверил, т.е. зуб даю) и принесёт нам вот СТОЛЬКО (тут конкретная цифирь) прибыли и вот такие конкурентные преимущества (тут конкретная цифирь - и в рублях, и в отвоёванных у конкурентов клиентах)!
но самое главное!!! это ничего не будет нам стоить при переходе!!!! ни тебе новых серверов, ни схд, ни обучения персонала!!!!
>и не факт, что эти тесты ещё пройдут успешно....А она помоему и написала что на тот момент тесты были завалены и на данный момент ZFS они не используют. Или вам так важно попрыгать задницей по клаве вместо того чтобы прочитать и развести очередной флейм?
а при чём тут "ОНА"?
я отвечал конкретному перцу и конкретно на ЕГО комменты.Или вам так важно попрыгать задницей по клаве, что создаётся впечатление, что этот "перец" - Вы?
Вы упорно не понимаете, что я пишу. Ну да ладно.
>>Семерку с ZFS... Ну что ж,вперед:)чогт. А я использую, и уже давно. На веб-сервере + мускульная база на ней. И за все время ни единой проблемы не было с ФС. Я что-то делаю не так?
Давайте определимся с терминологией.Слайсы — это обычные разделы MBR, которых может быть не больше 4 (основных).
Разделы FreeBSD — это специальные области внутри слайсов, которые логически увеличивают количество файловых систем, подходящих для выполнения dump/restore на них.С внедрением GPT-разметки носителей в FreeBSD количество возможных разделов на физическом носителе увеличено до 128. Поэтому создание разделов ВНУТРИ MBR-слайсов для традиционной файловой системы FreeBSD UFS2 теряет разумный смысл (конечно, если на одном и том же носителе не установлена другая ОС, не понимающая GPT-разметку).
Провайдеры GEOM способны предоставить файловым системам, поддерживаемым FreeBSD, довольно обширный уровень низкоуровневой поддержки: от шифрования на лету (GEOM ELI) до создания расширяемых пространств (GEOM Virstor), не говоря уж об уровнях RAID-0, -1, -3 (GEOM Stripe, Mirror, Raid3). Что касается файловых систем, использующих (нижележащие) уровни GEOM, то это зависит исключительно от свойств ФС — в частности способности к расширению на ВНЕЗАПНО увеличенное физическое пространство в случае с GEOM Virstor.
Для ZFS работают немного другие механизмы, но тоже на уровне GEOM (с физическими томами провайдеров).
>opensolaris - недоделанная вещь в себе, на практике никто его использовать не
>будет, по этому FreeBSD без вариантов..Вы это Санкам только расскажите! А то они бедолаги делают свои хранилки формата OpenStorage на его базе и не знают, что оказывается низзя...
>Зеркала делают и работают, только производительности зеркала не добавляют.Чушь полная. Добавляют, и очень серьезно. Запись, да, становится медленнее, а вот чтение в gmirror и mdraid на зеркале существенно быстрее, чем с одного диска.
С учетом того, что на большинстве задач чтения больше чем записи...
>чтение в gmirror и mdraid на зеркале существенно быстрее, чем с
>одного диска.Наглая ложь.
Тренировался на двух Seagate ST3500630NS с
device = '82801GB I/O Controller Hub SATA cc=AHCI'
>>чтение в gmirror и mdraid на зеркале существенно быстрее, чем с
>>одного диска.
>
>Наглая ложь.
>Тренировался на двух Seagate ST3500630NS с
>device = '82801GB I/O Controller Hub SATA cc=AHCI'Не знаю, на чем Вы там тренировались, но у нас несколько тысяч серверов на gmirror, и несколько на mdraid :))
Бенчмарки сами в сети найдете, или будете тренироваться и дальше?
Прошу не обижаться, но Вы в плену каких-то заблуждений (имхо) или мереите что-то не то...Вы bonie++ random seek'и мерили :)?
>[оверквотинг удален]
>>Тренировался на двух Seagate ST3500630NS с
>>device = '82801GB I/O Controller Hub SATA cc=AHCI'
>
>Не знаю, на чем Вы там тренировались, но у нас несколько тысяч
>серверов на gmirror, и несколько на mdraid :))
>Бенчмарки сами в сети найдете, или будете тренироваться и дальше?
>Прошу не обижаться, но Вы в плену каких-то заблуждений (имхо) или мереите
>что-то не то...
>
>Вы bonie++ random seek'и мерили :)?За неимением времени, вот смотрите только на линейной скорости (в стандартном шаблоне сервера отсутсвует bonie++ и другие дисковые бенчмарки, которые бы позволили проверить random seek), боевой сервер, под дисковой нагрузкой:
[root@*** ~]# df -h | egrep -e '(homed|opt)'
/dev/da0s2d 24G 255M 22G 1% /opt
/dev/mirror/homed 33G 13G 17G 43% /home
[root@*** ~]#
[root@*** ~]# dd if=/home/archive/test.raw of=/dev/null
131072+0 records in
131072+0 records out
67108864 bytes transferred in 0.546656 secs (122762483 bytes/sec)
[root@*** ~]# dd if=/opt/test.raw of=/dev/null
131072+0 records in
131072+0 records out
67108864 bytes transferred in 0.547652 secs (122539246 bytes/sec)При том, что на /home разделе диск дергается много и часто
Вот, собственно, что за зеркало:
[root@*** ~]# gmirror status
Name Status Components
mirror/home COMPLETE da1s1
da2s1
[root@*** ~]#Железо, обычные scsi-диски:
[root@*** ~]# camcontrol devlist
<SEAGATE ST336753LC 0006> at scbus0 target 0 lun 0 (da0,pass0)
<SEAGATE ST336607LC 0007> at scbus0 target 1 lun 0 (da1,pass1)
<SEAGATE ST336607LC 0007> at scbus0 target 2 lun 0 (da2,pass2)
<ESG-SHV ***> at scbus0 target 6 lun 0 (ses0,pt0,pass3)
[root@*** ~]#Тут разница минимальна, но, повторюсь, раздел с зеркалом под нагрузкой(это бэкэнд с апачем), а на random seek разница гораздо больше. Устраивать для Вас личный бенчмарк я бы не хотела за неимением времени.
Спорить тоже нет особенного желания, есть гугл, в нем просто туча разных бенчей :)
>Прошу не обижаться, но Вы в плену каких-то заблуждений (имхо) или мереите
>что-то не то...да не, он просто хотел сказать про линух.
>>Прошу не обижаться, но Вы в плену каких-то заблуждений (имхо) или мереите
>>что-то не то...
>
>да не, он просто хотел сказать про линух.На Linx'е mdraid тоже хорошо работает :)) Что там за странные тесты, /me не понимайт :)
>>>Прошу не обижаться, но Вы в плену каких-то заблуждений (имхо) или мереите
>>>что-то не то...
>>
>>да не, он просто хотел сказать про линух.
>
>На Linx'е mdraid тоже хорошо работает :)) Что там за странные тесты,
>/me не понимайт :)http://www.linux.org.ru/jump-message.jsp?msgid=3262617&cid=3...
"Вот только у вас в Линуксе это ХЗ сколько лет так и работает :-)"
>http://www.linux.org.ru/jump-message.jsp?msgid=3262617&cid=3...
>"Вот только у вас в Линуксе это ХЗ сколько лет так и
>работает :-)"iZEN, за что Вы так ненавидите Linux :)? Сколько не встречаю Вас на всех форумах, от ixbt, до опеннет, Вы везде, почему-то, лезете в каждую дискуссию сказать, какая он гадость, самая худшая на свете :)
Текст на лоре не осилила, ибо большой. По поводу нумерации сетевых девайсов из Вашего поста в конце страницы, я уже отвечала (в контексте флейма про jails в какой-то теме), что в Linux это by design делается в usermode(initscipts, udev, DeviceKit), мне никто так и не объяснил, чем это плохо, кроме каких-то религиозных доводов (в BSD есть тот же pf, отличный пакетный фильтр, аналогов которого в Linux нет, у которого есть pfctl, да и таблички хранимые на диске и загружаются в ядро из user-mode, как и правила udev тоже лежат на диске :))
Давайте жить мирно?
>[оверквотинг удален]
>из Вашего поста в конце страницы, я уже отвечала (в контексте
>флейма про jails в какой-то теме), что в Linux это by
>design делается в usermode(initscipts, udev, DeviceKit), мне никто так и не
>объяснил, чем это плохо, кроме каких-то религиозных доводов (в BSD есть
>тот же pf, отличный пакетный фильтр, аналогов которого в Linux нет,
>у которого есть pfctl, да и таблички хранимые на диске и
>загружаются в ядро из user-mode, как и правила udev тоже лежат
>на диске :))
>
>Давайте жить мирно?не может он мирно -- суть его быть воинствующим [подставте любимое слово]
по ссылке -- он объясняет нам как на свежеподнятом mdraid переписывая данные прямо в одном из дисков этого рейда (но специально не трогая superblock), можно повредить данные. При том, наглядно объясняется что сам md на это не реагирует.
отличный опыт на тему "долбоёбы могут ещё и не такое"
надо ему предложить записать данные на винчестер пользуясь уровнем обращения к портам ввода-вывода, и пусть он покажет , что действительно , его любимая фетишисткая фича в ZFS сработает -- т.е. определит что данные битые. Заодно ему нужно будет показать как он эти данные потом будет восстанавливать - ибо данный опыт в случае если данные всё-равно потеряны всё-равно ничего не доказывает.
В следующей серии iZen покажет ....
>надо ему предложить записать данные на винчестер пользуясь уровнем обращения к портам
>ввода-вывода, и пусть он покажет , что действительно , его любимая
>фетишисткая фича в ZFS сработает -- т.е. определит что данные битые.
>Заодно ему нужно будет показать как он эти данные потом будет
>восстанавливать - ибо данный опыт в случае если данные всё-равно потеряны
>всё-равно ничего не доказывает.
>
>В следующей серии iZen покажет ....Зачем мне что-то показывать? Ту тему на LOR'е вы до конца дочитайте. Там дальше проводится тест ZFS и показывается, как она определяет на лету возникшую проблему, сигнализирует о повреждении mirror и, тем не менее, выдаёт верные данные (с уцелевшего диска), пока не заменят отказавший носитель в массиве.
В аналогичной ситуации MD RAID проблем на зеркальном томе не видит и выдаёт какой-то мусор вместо записанного файла, пока ему специально из командной строки не указали на "отказавший" диск.
создал зеркало из 2-х лупбэк вайлов (для проверки. винты жалко):
# dd if=/dev/urandom of=/mnt/file1.img bs=1024k count=1000
# dd if=/dev/urandom of=/mnt/file2.img bs=1024k count=1000
# losetup /dev/loop0 /mnt/file1.img
# losetup /dev/loop1 /mnt/file2.img
# mdadm --create /dev/md0 --level=mirror --raid-devices=2 /mnt/file1.img /mnt/file2.imgдалее состна тесты:
# dd if=/dev/urandom of=/1/file bs=1024k count=100
100+0 записей считано
100+0 записей написано
скопировано 104857600 байт (105 MB), 17,0671 c, 6,1 MB/c
# date
Втр Ноя 10 03:11:23 MSK 2009
# md5sum /1/file
3a3903921daa6913017b54826cbf5b0c /1/file
# dd if=/dev/zero of=/dev/loop1 bs=8k seek=1024 count=4096
4096+0 записей считано
4096+0 записей написано
скопировано 33554432 байта (34 MB), 0,0367784 c, 912 MB/c
# md5sum /1/file
3a3903921daa6913017b54826cbf5b0c /1/file
# sync
# md5sum /1/file
3a3903921daa6913017b54826cbf5b0c /1/file
# dd if=/dev/zero of=/dev/loop1 bs=8k seek=1024 count=4096
4096+0 записей считано
4096+0 записей написано
скопировано 33554432 байта (34 MB), 0,0491607 c, 683 MB/c
# dd if=/dev/zero of=/dev/loop1 bs=8k seek=1024 count=8192
8192+0 записей считано
8192+0 записей написано
скопировано 67108864 байта (67 MB), 0,0792065 c, 847 MB/c
# md5sum /1/file
3a3903921daa6913017b54826cbf5b0c /1/fileчё-то я делаю не так... может подскажешь?
>[оверквотинг удален]
>4096+0 записей написано
>скопировано 33554432 байта (34 MB), 0,0491607 c, 683 MB/c
># dd if=/dev/zero of=/dev/loop1 bs=8k seek=1024 count=8192
>8192+0 записей считано
>8192+0 записей написано
>скопировано 67108864 байта (67 MB), 0,0792065 c, 847 MB/c
># md5sum /1/file
>3a3903921daa6913017b54826cbf5b0c /1/file
>
>чё-то я делаю не так... может подскажешь?1. он писал во время сборки рэйда
2. кеши не сбрасывал
3. помниться у него был не seek а skip
4. он троль
>1. он писал во время сборки рэйда
>2. кеши не сбрасывал
>3. помниться у него был не seek а skip
>4. он трольТролль тут - вы. Вместо того, чтобы принять очевидное, вы отыскиваете гнилые отмазки - писал во время сборки рейда (как будто что-то изменилось бы того, что синхронизация бы закончилась; в качестве домашнего задания - проверьте), не сбрасывал кэши - отмонтирование FS уже за сбрасывание кэшей не канает ;-)
Вобщем, демонстрируете не знание предмета, а красноглазую упертость и ничего более. В каком классе учитесь?
>(как будто что-то изменилось бы того, что синхронизация бы закончилась; в качестве домашнего задания - проверьте)конечно изменилось бы!!! Вы ВООБЩЕ принципы работы рэйдов то знаете?
если в зеркале (уже собранном, заметьте) выходит из строя 1-н винт, то 2-ой является эталоном и с него информация заливается на 1-ый. если выходят оба - то жопа.
что произойдёт при создании рэйда, если в тот момент, когда 1-ый является эталоном и на второй данные синхронизируются, в этот момент испортить первый?
прошу заметить, испортить таким образом можно только минуя механизм md.
тотже результат достигается при создании рэйдов на сбойных носителях (когда отзеркалить просто не представляется возможным)
>Вобщем, демонстрируете не знание предмета, а красноглазую упертость и ничего более. В каком классе учитесь?это точно. :-DDDDDDDDDDDDDDDDDDDDDd
> конечно изменилось быВаляйте, продемонстрируйте!
> Вы ВООБЩЕ принципы работы рэйдов то знаете?
> если в зеркале (уже собранном, заметьте) выходит из строя 1-н винт, то 2-ой является эталоном и с него информация заливается на 1-ый. если выходят оба - то жопа.
> что произойдёт при создании рэйда, если в тот момент, когда 1-ый является эталоном и на второй данные синхронизируются, в этот момент испортить первый?прошу заметить, испортить таким образом можно только минуя механизм md.
тотже результат достигается при создании рэйдов на сбойных носителях (когда отзеркалить просто не представляется возможным)Сдается мне, что вы, сударь, имеете весьма поверхностное представление о том, как работает RAID. Думать, прежде чем хвататься за клавиатуру, не пробовали? А если пробовали, то расскажите, какое отношение ваши теоретизирования имеют к данным, которые были на этот рэйд благополучно записаны? Или вы хотите сказать, что RAID в md/LVM настолько крив, не умеет корректно писать на обе половины зеркала?
уже продемонстрировано.
при построении рэда - на лоре. при завершении - см. мой коммент выше.
>Думать, прежде чем хвататься за клавиатуру, не пробовали?именно.
>Или вы хотите сказать, что RAID в md/LVM настолько крив, не умеет корректно писать на обе половины зеркала?нет ещё зеркала. с пониманием этого есть проблемы?
зы:
хамоватый стиль общения - это не достаток образования или фича?
ззы:
и почему используется не /dev/sd[a-z][0-9]?, а /dev/md[0-9]?
если бы их удалили после создания рэйда из /dev супер-админам стало бы легче?
> нет ещё зеркала. с пониманием этого есть проблемы?Если зеркала еще нет, нефиг возвращать управление. Но вы так ничерта и не поняли. Если мы произвели запись на зеркало, которое еще полностью не синхронизировалось, и эта запись произошла успешно, соответствующие области можно спокойно исключать из процесса идущей синхронизации, если она до них еще не дошла. Доступно объяснил?
> зы:
> хамоватый стиль общения - это не достаток образования или фича?Хамоватый стиль общения - это у вас.
>> нет ещё зеркала. с пониманием этого есть проблемы?
>
>Если зеркала еще нет, нефиг возвращать управление. Но вы так ничерта и
>не поняли. Если мы произвели запись на зеркало, которое еще полностью
>не синхронизировалось, и эта запись произошла успешно, соответствующие области можно спокойно
>исключать из процесса идущей синхронизации, если она до них еще не
>дошла. Доступно объяснил?
>теперь по порядку
1. кто вам что ещё должен ?
2. кто решил что "нефиг возвращать управление"
3. управление чем нефиг возвращать?>> зы:
>> хамоватый стиль общения - это не достаток образования или фича?
>
>Хамоватый стиль общения - это у вас.
> теперь по порядку
> 1. кто вам что ещё должен ?Это к чему?
> 2. кто решил что "нефиг возвращать управление"
В приличных системах принято не давать пользоваться создаваемой сущностью если она еще не готова к использованию.
> 3. управление чем нефиг возвращать?
mdadm --create возвращает управление немедленно, сообщая:
root@ubuntu:~# mdadm --create /dev/md0 --level=mirror --raid-devices=2 /dev/loop0 /dev/loop1
mdadm: array /dev/md0 started.и возвращая управление оператору. В приличных системах это означает, что создаваемый объект готов к использованию. Странно, если в линуксе это не так. Дожидаться завершения синхронизации зеркала до начала его использования приходилось разве что в прошлом веке.
Доступно объяснил?
>В приличных системах принято не давать пользоваться создаваемой сущностью если она еще не готова к использованию./dev/md0 - готова к использованию.
пользуйтесь.
или нужна защита от дурака-root'а?
>mdadm --create возвращает управление немедленно, сообщая:нет, он должен 3-7 часов подождать!!! :-DDDDDDDDDDDDDDDDDDDDDDD
>и возвращая управление оператору. В приличных системах это означает, что создаваемый объект готов к использованию.объект /dev/md0 - создан.
и готов к использованию. пользуйтесь.
>нет, он должен 3-7 часов подождать!!! :-DDDDDDDDDDDDDDDDDDDDDDD
>
>объект /dev/md0 - создан.
>и готов к использованию. пользуйтесь.Витек, не мешало бы уже определиться с версией - а то в одном посте он не готов, в другом готов немедленно, ждать/не ждать и т.п.
зеркало - не готово.
а md-устройство - да.
прикинь, какая несправедливость для идиотов.
>зеркало - не готово.
>а md-устройство - да.
>прикинь, какая несправедливость для идиотов.прикинь, чудушко, в данном случае нет никакой разницы, поскольку с ним не напрямую работаем, а файловую систему на нем создаем.
но даже и это мимо кассы, так как в приведенном примере синхронизация завершена.
Я правильно понимаю, что по делу сказать вам больше нечего?
с этим господином больше не общаюсь.
> чё-то я делаю не так... может подскажешь?Да ты мастер передергивать. Сам исправишься или носом ткнуть надо?
Есть вполне честный способ почувствовать себя менее обделенным - BTRFS в подобной ситуации работает как надо, так что можешь гордиться и надувать щеки :-)
Жалко только, недопилена пока :-)
жду.зы:
лично я себя обделённым не чувствую.
использую мета девайсы давно и продуктивно. чего кстати не скажу ни о бтрфс, ни о зедфс.
(последняя на 32-битных системах - тормоз, да и памяти кушает изрядно, да и производительность того же оракла даже на 64-битной системе на метадевайсах почти на порядок лучше)
ззы:
а чего ответ потёрли?
не думаю, что мой ответ был более оскорбительным, чем его.
>жду.Как насчет создать файловую систему на/dev/md0 и подмонтировать ее на /1 прежде чем dd в /1/file делать?
А без этого шага все красиво получится, к бабке не ходи. Только это будет примером вашего непрофессионализма, и ничем более. Впрочем, вам не привыкать - вы это чуть ли не каждый пост подтверждаете
>Как насчет создать файловую систему на/dev/md0 и подмонтировать ее на /1 прежде чем dd в /1/file делать?издеваешься?
она там есть. всё тоже самое, что и на лоре. фс - ext3.
>А без этого шага все красиво получится, к бабке не ходи.без этого шага ничего и не получиться.
зы:
интересно, а как бы я ещё md5sum /1/file пускал?
ззы:
были продемонстрированы только шаги, отличные от лоровских.............
+ дождался построения зеркала.
зззы:
ах да!!!! после создания фс я её еще смонтировал к /1!!! :-DDDDDDDDDDDDDDDDD
>>Как насчет создать файловую систему на/dev/md0 и подмонтировать ее на /1 прежде чем dd в /1/file делать?
>
>издеваешься?
>она там есть. всё тоже самое, что и на лоре. фс - ext3.Сказочки. Если бы она там была, зачем было ее удалять из листинга?
Хорошо, предположим, она там была, и была случайно удалена вместе с излишне длинным выводом mkfs.
>>А без этого шага все красиво получится, к бабке не ходи.
>
>без этого шага ничего и не получиться.Угу, если каталог /1 не остался от предыдущих экспериментов.
>зы:
>интересно, а как бы я ещё md5sum /1/file пускал?Так бы и пускал - на файле, созданном в каталоге /1, а не в файловой системе, подмонтированной в /1
>ззы:
>были продемонстрированы только шаги, отличные от лоровских.............Вон оно что!
>+ дождался построения зеркала.
То есть вы, сударь, утверждаете, что вся разница в том, что построение зеркала было закончено. Я вас правильно понимаю?
Тогда объясните вот это:
root@ubuntu:~# dd if=/dev/urandom of=/img0 bs=1024k count=1024
root@ubuntu:~# dd if=/dev/urandom of=/img1 bs=1024k count=1024
root@ubuntu:~# losetup /dev/loop0 /img0
root@ubuntu:~# losetup /dev/loop1 /img1
root@ubuntu:~# mdadm --create /dev/md0 --level=mirror --raid-devices=2 /dev/loop0 /dev/loop1
mdadm: array /dev/md0 started.
root@ubuntu:~# mdadm --detail /dev/md0
/dev/md0:
Version : 00.90
Creation Time : Tue Nov 10 19:54:42 2009
Raid Level : raid1
Array Size : 1048512 (1024.11 MiB 1073.68 MB)
Used Dev Size : 1048512 (1024.11 MiB 1073.68 MB)
Raid Devices : 2
Total Devices : 2
Preferred Minor : 0
Persistence : Superblock is persistentUpdate Time : Tue Nov 10 19:59:47 2009
State : active
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0UUID : 39b645d4:3fb95714:e368bf24:bd0fce41 (local to host ubuntu)
Events : 0.7Number Major Minor RaidDevice State
0 7 0 0 active sync /dev/loop0
1 7 1 1 active sync /dev/loop1
root@ubuntu:~# mkfs -t ext4 /dev/md0
mke2fs 1.41.4 (27-Jan-2009)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
65536 inodes, 262128 blocks
13106 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=268435456
8 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: doneThis filesystem will be automatically checked every 22 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.
root@ubuntu:~# mount -t ext4 /dev/md0 /mnt
root@ubuntu:~# dd if=/dev/urandom of=/mnt/file bs=1024k count=256
root@ubuntu:~# md5sum /mnt/file
21160dc6aec2f2cadb0d5ef6453aa9ff /mnt/file
root@ubuntu:~# umount /mnt
root@ubuntu:~# dd if=/dev/zero of=/dev/loop0 bs=8k seek=1024 count=32768
root@ubuntu:~# mount -t ext4 /dev/md0 /mnt
root@ubuntu:~# ls /mnt/file
/mnt/file
root@ubuntu:~# md5sum /mnt/file
6c94e96e2811ec66b96d26ef82307981 /mnt/file
root@ubuntu:~# umount /mnt
root@ubuntu:~# fsck -t ext4 /dev/md0
fsck 1.41.4 (27-Jan-2009)
e2fsck 1.41.4 (27-Jan-2009)
/dev/md0: clean, 12/65536 files, 74075/262128 blocks
root@ubuntu:~# mount -t ext4 /dev/md0 /mnt
root@ubuntu:~# md5sum /mnt/file
6c94e96e2811ec66b96d26ef82307981 /mnt/file
root@ubuntu:~#
а с чего Вы взяли, что я Вам буду верить? или я глупее Вас?
(а судя по постам - точно нет.... см. ps:)
для себя я вывод сделал:
1. всё что писали на лоре - полная чушь.
2. мд отрабатывает даже тогда, когда её юзают раком.
(правда для идиотов, после создания рэйда, исходные девайсы лучше убрать из /dev. как кстати делает солярка)
3. не слушай дебилов дураков не сеют и не пашут.ps:
помниться лет 20 назад наш препод говаривал:
- если кто-то ещё раз скажет "монтируем раздел" - я его убью. монтируются Фс!!!
хорошие были времена.... (это сейчас идиоты спрашивают, как я проверяю файл на не_смонтированной фс)
а у дебилов и zfs будет работать раком.
s/проверяю файл/проверяю файл при помощи ls -l <путь>/
>а с чего Вы взяли, что я Вам буду верить? или я
>глупее Вас?Сударь, мне абсолютно фиолетово, верите вы мне или нет. Я вам дал полный пример, вы можете не верить и проверить. А если вы и проверить не можете, то у меня просто нет слов.
>(а судя по постам - точно нет.... см. ps:)
>для себя я вывод сделал:
>1. всё что писали на лоре - полная чушь.
>2. мд отрабатывает даже тогда, когда её юзают раком.
>(правда для идиотов, после создания рэйда, исходные девайсы лучше убрать из /dev.
>как кстати делает солярка)
>3. не слушай дебилов дураков не сеют и не пашут.Вывод из сказанных вами слов только один - нечем крыть.
>ps:
>помниться лет 20 назад наш препод говаривал:
>- если кто-то ещё раз скажет "монтируем раздел" - я его убью.
>монтируются Фс!!!Цитатку в студию, где было сказано "монтируем раздел" :-) Я гляжу у вас уже галлюцинации начались. Что за вещества принимаете?
Лет 20 назад - это в 1989 году. Не слишком ли давно, а?
>хорошие были времена.... (это сейчас идиоты спрашивают, как я проверяю файл на
>не_смонтированной фс)
>а у дебилов и zfs будет работать раком.Вобщем, вы каждым своим постом подтверждаете очевидное - у вас ЧСВ зашкаливает, что лишает возможности трезво смотреть на вещи и признавать собственные промахи. User294, в отличие от вас, это делать умеет... Учитесь, Витек!
я свои тесты сделал и провёл.
своё мнение о Ваших способностях (в том числе и умственных) - сказал.
всем умным людям этих аргументов хватит.
зы:
89 год. точно. мой первый курс. :-D
>>http://www.linux.org.ru/jump-message.jsp?msgid=3262617&cid=3...
>>"Вот только у вас в Линуксе это ХЗ сколько лет так и
>>работает :-)"
>
>iZEN, за что Вы так ненавидите Linux :)?Смайлик после "работает" вы, конечно, не заметили?
>Наглая ложь.
>Тренировался на двух Seagate ST3500630NS с
>device = '82801GB I/O Controller Hub SATA cc=AHCI'Вы сами лжете. У меня с зеркала чтение ровно в два раза быстрее, чем с одного диска. Скорость записи не меняется.
На самом деле, он скорее всего и не лжет. Просто дело может быть в банальном кэше контроллера/объеме памяти/включенном или выключенном кэше на диске... Эти параметры наиболее критичны, чем софтовый или хардварный рейд...
>На самом деле, он скорее всего и не лжет. Просто дело может
>быть в банальном кэше контроллера/объеме памяти/включенном или выключенном кэше на диске...
>Эти параметры наиболее критичны, чем софтовый или хардварный рейд...Даже если не врет, меня эта воинствующая безграмотность порядком бесит. По-моему, из всего мусора, пишушего на LOR или OpenNet, тролли "а я вам гарантирую что у вас нихрена не работает" - самая мразотная каста.
плохо игрался значит. В gmirror'е вполне виден прирост. Хотя, судя по последнему предложению, тебе просто хотелось пофлудить.
>чтение в gmirror и mdraid на зеркалехоть мне сия фраза и не понятна, но не все же не могу не согласится, что скорость чтения возрастает. а если еще правильно выбран balance (round-robin,load,prefer,split), то можно добиться очень хороших результатов.
>>чтение в gmirror и mdraid на зеркале
>
>хоть мне сия фраза и не понятна, но не все же не
>могу не согласится, что скорость чтения возрастает. а если еще правильно
>выбран balance (round-robin,load,prefer,split), то можно добиться очень хороших результатов.Да, написала немного не грамотно, но я и не пыталась умничать.
Для оппонентов Вот про md: (http://tldp.org/HOWTO/Software-RAID-0.4x-HOWTO-8.html)
Linux MD RAID-1 (mirroring) read performance:
MD implements read balancing. That is, the RAID-1 code will alternate between each of the (two or more) disks in the mirror, making alternate reads to each. In a low-I/O situation, this won't change performance at all: you will have to wait for one disk to complete the read. But, with two disks in a high-I/O environment, this could as much as double the read performance, since reads can be issued to each of the disks in parallel. For N disks in the mirror, this could improve performance N-fold.
Надеюсь, для оппонентов tldp.org подойдет в качестве авторитетного источника :)? А пзомерки, повторюсь, есть в гугле и в избытке...
Вот man gmirror:
-b balance Specifies balance algorithm to use, one of:
load Read from the component with the
lowest load.prefer Read from the component with the
biggest priority.round-robin Use round-robin algorithm when
choosing component to read.split Split read requests, which are big-
ger than or equal to slice size on N
pieces, where N is the number of
active components. This is the
default balance algorithm.
По ссылке разговор идет, вообще-то, не о сборке FreeNAS на базе Дебиана, а о разработке аналога с нуля - CoreNAS
Мне на BSD очень не хватает рабочего ATA Over Ethernet, чтобы собирать на сервере BSD ZFS пул из кучи внешних блочных устройств.То что есть на coraid для 7.X, к сожалению, не собирается.
> не хватает рабочего ATA Over EthernetИ не будет хватать.
Латентность соединения столь кошмарна, что приемлемым, на фоне роста скоростей дисковых интерфейсов, все это Over Ethernet не будет никогда.
>> не хватает рабочего ATA Over Ethernet
>
>И не будет хватать.
>Латентность соединения столь кошмарна, что приемлемым, на фоне роста скоростей дисковых интерфейсов,
>все это Over Ethernet не будет никогда.У Вас есть бенчмарки? Сама больше доверяю "самопальному iscsi", чем такому же AoE, но по другим причинам (iscsi на уровне транспорта, tcp-протокола обеспечивает целостность данных, а AoE только самой технологией), но всегда считала AoE именно бюджетным, но реактивным))
>> не хватает рабочего ATA Over Ethernet
>
>И не будет хватать.
>Латентность соединения столь кошмарна, что приемлемым, на фоне роста скоростей дисковых интерфейсов,
>все это Over Ethernet не будет никогда.Странно. Давно есть сетевые интерфейсы 1Гб и более. Может с SCSI-винтами по скорости это и не потягается, при чтении, но при записи прямым шнуроком бекапить на сосденюю машину очень даже вкусно получается.
Откройте для себя GEOM Gate.
Зря считала. Для юмора прочитай-ка спецификацию AoE, все страницы, коих немного, с целью найти там обработку ошибок. Микроскопом не пользовался, признаюсь, но вооруженными взглядом ничего вменяемого там не нашлось. Так что, только iscsi.
>Зря считала. Для юмора прочитай-ка спецификацию AoE, все страницы, коих немного, с
>целью найти там обработку ошибок. Микроскопом не пользовался, признаюсь, но вооруженными
>взглядом ничего вменяемого там не нашлось. Так что, только iscsi.а ты заодно спецификацию на iscsi прочитай -- вот где раздолье для ошибок
Существует разница между сложностью реализации вызванной пониманием того простого факта, что ошибки случаются и с ними надо что-то делать и того тотального прекраснодушия с которым к ним относятся в AoE.Как там насчёт обработки пакетов, съеденных свитчем, к примеру? Или пакетов, принципиально проигнорированных стеком в силу той или иной причины?
Разберись с этим и честно ответь на вопрос: AoE всё ещё выглядит как бюджетное решение?
>Существует разница между сложностью реализации вызванной пониманием того простого факта, что ошибки
>случаются и с ними надо что-то делать и того тотального прекраснодушия
>с которым к ним относятся в AoE.Как там насчёт обработки пакетов,
>съеденных свитчем, к примеру? Или пакетов, принципиально проигнорированных стеком в силу
>той или иной причины?
>Разберись с этим и честно ответь на вопрос: AoE всё ещё выглядит
>как бюджетное решение?он просто перешлёт запрос поновой
331 resend(struct aoedev *d, struct aoetgt *t, struct frame *f)
332 {
333 struct sk_buff *skb;
334 struct aoe_hdr *h;
335 struct aoe_atahdr *ah;
336 char buf[128];
337 u32 n;
338
339 ifrotate(t);
340 n = newtag(t);
341 skb = f->skb;
342 h = (struct aoe_hdr *) skb_mac_header(skb);
343 ah = (struct aoe_atahdr *) (h+1);
344
345 snprintf(buf, sizeof buf,
346 "%15s e%ld.%d oldtag=%08x@%08lx newtag=%08x s=%pm d=%pm nout=%d\n",
347 "retransmit", d->aoemajor, d->aoeminor, f->tag, jiffies, n,
348 h->src, h->dst, t->nout);
349 aoechr_error(buf);>Или пакетов, принципиально проигнорированных стеком в силу
>той или иной причины?ну раз принципиально -- то видимо это не те пакеты которые можно распознать
и по поводу свичей, так это -- если вы вдруг в попытке добиться максимальной пропускной способности накосячили, ну дык ктож тут виноват (я так понят вы про jumbo frames)
P.S. да, считаю вполне нормальным бюджетным