The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Установка FreeBSD на RAID-контроллер объёмом больше 2 Тб. (freebsd raid disk)


<< Предыдущая ИНДЕКС Исправить src / Печать Следующая >>
Ключевые слова: freebsd, raid, disk,  (найти похожие документы)
From: Тараненко Сергей <skeljuve@ukr.net.> Newsgroups: email Date: Mon, 21 Dec 2008 17:02:14 +0000 (UTC) Subject: Установка FreeBSD на RAID-контроллер объёмом больше 2 Тб. Установка FreeBSD на RAID-контроллер, который не видится при установке и создание раздела, объёмом больше 2 Тб. 1) Предисловие. Сейчас, в дни технического прогресса объёмами в 2 Тб уже вряд ли кого-то можно удивить. Поэтому, вопрос использования дискового пространства больше 2 Тб, с каждым днём становиться всё актуальнее. И так, приступим. В один из дней, когда старый файл-сервер начал понемногу давать сбои, руководство поставило задачу: подготовить новый сервер под файловое хранилище. Купили новый сервер, 8 жёстких дисков по 1 Тб, современный RAID-контроллер (Adaptec 5805, я очень пожалел, что выбрал именно контроллер этой фирмы!) с возможностью горячей замены дисков. Захотелось установить именно FreeBSD 7.0 x64, ибо хотелось, что бы виделось больше 4 Гб памяти. Системы x32 плохо видят 4 и больше Гб памяти, иногда бывает, что видит, а иногда нет. Многие могут тут же возразить, что есть такое понятие как PAE, но с ним не гарантируется стабильная работа и это тема уже для другой статьи. Что из этого получилось - читаем ниже. 2) Установка. Как заставить ОС увидеть RAID-массив? Создаём RAID-массив, например, 6-ой, в БИОСе самого RAID-контроллера. В итоге получается размер 5.4 Тб. Здесь сложностей не будет. Далее, собственно, вставляем диск и начинаем ставить FreeBSD. Заходим в режим CUSTOM -> Partition и видим, что жётских дисков у нас нет. Основная причина - ОС не видит RAID-контроллер. Перегружаемся и заходим опять в утилиту RAID-контроллера, удаляем старый рейд. Теперь немного теории. В мире RAID-массивов существует понятие "луна" (eng. LUN). Сейчас объясню. Когда у вас есть один жёсткий диск, вы его делите на разделы. То же самое можно делать и с RAID-массивами. Только здесь это это называется луны. То есть, лун - это раздел RAID-массива. И так, создаём лун, размером до 2 Тб. Я создал раздел 100 Гб. Иначе ОС опять не увидит разделы для установки. Разбиваем имеющееся место по своему усмотрению. После установки загружаем ОС. Здесь хотелось сделать некое лирическое отступление. Дело в том, что у меня после установки ОС не могла смонтировать ни корень, ни всё остальное. Пробовал смонтировать вручную, (благо запомнил именование кореневого раздела) - не монтирует, говорит нет такого файла. Далее иду на сайт freebsd.org и смотрю, поддерживается ли мой адаптер. И вижу, что да. Но почему не находит раздел? Вручную подгружаю модули для этого контроллера, но ничего не меняется. Пришло время использовать драйвера, идущие в комплекте с RAID-контроллером, подумал я. Открываю диск и вижу, что дрова только для версии 6.3. Делаю образ диска "фряхи 7.0" и запихиваю туда эти драйвера, предварительно в директорию modules, а так же прописываю их в loader.conf, предварительно отключив стандартные дрова. Загружаюсь, и вижу, что пишет, что неверный исполняемый формат. Думаю, ну что ж не судьба. Качаю фряху 6.3 и проделываю те же операции и теперь, после установки ОС, система грузится! Причина была в драйверах, которые были в дистрибутиве. Толи сам контроллер такой нестандартный, то ли драйвера сбойные попались. 3) Настройка. Создание раздела больше 2 Тб И так, ОС у нас стоит (стоит уже FreeBSD 6.3 x64 вместо FreeBSD 7.0). Тут меня ждал внеочередной сюрприз. Дело в том, что при установке ОС, когда подгружался модуль нестандартный (aacu64.ko, стандартный имел имя aac.ko) разделы именовались как aacdu0s1a, а когда грузилась ОС после установки она подргружала только стандартный модуль aac.ko (видимо при установке ОС, прописанный мною модуль не скопировался на раздел). Из-за этого не могла смонтировать / , ибо искала его на aacdu0s1a, а он фактически теперь находился на aacd0s1a. После этого вручную подмонтировал корень, поправил fstab в соответствии с новшествами, перегрузился. Теперь ОС грузится, но не видится раздел в 5Тб. Копирую модуль aacu64.ko в /boot/kernel, прописую его в /boot/loader.conf и перегружаюсь. ОС опять не может смонтировать корень (ибо теперь подгрузился модуль aacu64.ko, и разделы теперь именуются aacdu0s1a). Опять монтирую, правлю fstab и ребут. Только после этого ОС загрузилась нормально и увиделся раздел в 5Тб. Создавать раздел будем с помощью GPT. Для этого последовательно выполним такие команды. 1. Создайте GPT том # gpt create -f /dev/aacdu1p1 2. Создайте раздел на этом томе (по умолчанию в UFS) # gpt add /dev/aacdu1p1 3. Проверьте результат операции: # gpt show /dev/aacdu1p1 4. Отформатируйте раздел # newfs /dev/aacdu1p1 5. Смонтируйте этот раздел (например, в /data) # mount /dev/aacdu1p1 /data Замечу, что на создание файловой системы на этом разделе у меня ушло порядка получаса. Оно и не удивительно, 5.4 Тб. Теперь несколько перезагрузок для тестов и проверка работоспособности. А вот собственно и вывод df -h [skeletor@fileserver ~]$ df -h Filesystem Size Used Avail Capacity Mounted on /dev/aacdu0s1a 496M 72M 385M 16% / devfs 1.0K 1.0K 0B 100% /dev /dev/aacdu0s1e 496M 228K 456M 0% /tmp /dev/aacdu0s1f 87G 3.5G 77G 4% /usr /dev/aacdu0s1d 4.8G 350M 4.1G 8% /var /dev/aacdu1p1 5.2T 440G 4.7T 8% /data total 5.3T 443G 4.8T 8% [skeletor@fileserver ~]$ 4) Заключение Статья не претендует на оригинальность. В данной статье я показал какие могут быть подводные камни при выборе RAID-контроллера и выборе ОС. Кстати, совет всем: не берите контроллеры Adaptec ввиду плохой поддерки системы мониторинга под *nix системы (под windows поставляется могучий интерфейс управления). Теперь покупаю продукцию только Areca.

<< Предыдущая ИНДЕКС Исправить src / Печать Следующая >>

Обсуждение [ Линейный режим | Показать все | RSS ]
  • 1.1, eugene (??), 16:52, 24/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Теперь покупаю продукцию только Areca.

    3ware ничего. Ареки тоже нравятся.

     
  • 1.2, Аноним (2), 17:28, 24/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Я конечно понимаю что сейчас спрашивать уже поздно - но - на сайте адаптека лежат дрова под 7-ку от 8 декабря - их не пробовал?
     
  • 1.3, Аноним (2), 17:40, 24/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Посмотрел повнимательнее - тоже на сайте от 8 декабря есть и более новый биос, для 5805 , в котором введена поддержка 7-ки, и Adaptec Storage Manager под 32 и 64 бита.
     
  • 1.4, abigor (?), 17:56, 24/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    а ни чего что aac есть в GENERIC ядре?
    $ grep aac GENERIC
    device          aac             # Adaptec FSA RAID
    device          aacp            # SCSI passthrough for aac (requires CAM)
    $ uname -r
    7.0-RELEASE
    $
    какой-то странный человек, не понятно чего он думал, а то что на диске нету, так это партия старая просто. Я активно пользую контроллеры серий 31605 и 31205, Чем понравилась 7 фря, так это тем что там стразу есть драва под них, не пришлось моск напрягать. При чем самое интересное, они у меня из двух партий, в первой были драва только по 5.х и 6.х, а во второй только под 6.х так как для 7.х драва есть в комплекте
     
     
  • 2.14, skeletor (??), 19:11, 22/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Оно-то есть! Я об этом писал, но на моём контроллере не заработало!!! То ли дрова кривые, то ли сама карточка.
     

  • 1.5, cvsup (ok), 18:03, 24/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Автору: за такой подход к делу по рукам бить надо, сильно и линейкой.
    P.S. общее впечатление от статьи - юзера впервые подпустили к серверу
     
     
  • 2.15, skeletor (??), 19:13, 22/01/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Это вам надо очки сначала одеть и прочесть внимательнее статью. Это первое! А второе - раз такой неверующий и делается всё элементарно, так возьмите такой же контроллер и попробуйте сами.
     

  • 1.7, cvsup (ok), 23:26, 24/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    продолжаю негодовать:

    > Кстати, совет всем: не берите контроллеры Adaptec
    > ввиду плохой поддерки
    > системы мониторинга под *nix системы

    Автор толком не разобрался с системой мониторинга и управления контроллером и поспешил ее поругать. За это большой минус.

     
     
  • 2.8, abigor (?), 03:01, 25/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Ну тогда я намекну куда надо было сходить автору по мимо сайта adaptec.com[ru], ему еще надо было схоть в /usr/ports/sysutils/arcconf, что-то странно, я так понимаю у меня и пользователя cvsup получается их мониторить :) что мы делаем не так?
     

  • 1.9, napik (?), 06:39, 25/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Автор, я смотрю, ваще любит заморачиваться на описание своих ошибок. Статья это указание на возможные подводные камни, а не инструкция к проделыванию ошибок автора.
     
  • 1.10, nikll (?), 07:04, 25/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Хм интересная штука написанна...

    Системы x32 плохо видят 4 и больше Гб памяти, иногда
    бывает, что видит, а иногда нет. Многие могут тут же возразить, что есть
    такое понятие как PAE, но с ним не гарантируется стабильная работа и это
    тема уже для другой статьи.


    покажите мне хотябы одну фрю которая на 32х битах без pae видит более 3,5 гиг, я СИЛЬНО удивлюсь :)

     
  • 1.11, cruch (?), 10:02, 25/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    покажите мне хотябы одну фрю которая на 32х битах без pae видит более 3,5 гиг, я СИЛЬНО удивлюсь :)

    Ну ты даешь! лично я поднимал фряху 6.2 x86(тогда 7ки не было еще) с 4Гб памяти и с 8гб памяти! все виделось! Более 8Гб памяти не пробывал! Но конечно все не просто так... пришлось пошаманить -)

     
     
  • 2.12, none (??), 18:29, 25/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    шаманства в студию
     

  • 1.13, User294 (??), 19:45, 25/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Более 2 Tb в бзде это конечно круто, а что за ФС потом на нем юзать?Тупорылый UFS или недоделанный ZFS?Оригинально, мля :D
     
  • 1.16, aaa (??), 00:39, 23/02/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    лузеру294 --- ZFS стабильно работает во фре
    поэтому советую взять вам свой сарказм и запихать себе в задницу :)
     
  • 1.17, weec (??), 16:08, 04/04/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    автор конечно не рав в случае софта для adaptec контроллеров, но с Adaptec 5805 народ уже успел намучаться, причем проблема в самом контроллере

    возможно партии таких контроллеров кривых попались, но есть люди которым попались работающие без проблем карты

    http://forums.freebsd.org/showthread.php?t=2311
    http://lists.freebsd.org/pipermail/freebsd-hackers/2009-March/028037.html
    http://communities.vmware.com/message/975407

    согласен, контроллер довольно шустро работает
    но на грабли наступать не советую

     
     
  • 2.18, skeletor (ok), 18:00, 11/06/2009 [^] [^^] [^^^] [ответить]  
  • +/
    +1
     

    игнорирование участников | лог модерирования

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:




    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2021 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру