The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

В qemu добавлена поддержка распределенного хранилища Sheepdog

09.07.2010 18:58

В дерево исходных текстов Qemu принят код с реализацией драйвера для работы в качестве клиента с распределенным хранилищем Sheepdog. Это первый драйвер, который позволяет организовать выполнение виртуальных окружений в Qemu поверх распределенного на несколько машин высоконадежного хранилища.

Проект Sheepdog разработан с целью организации хранилищ для инфраструктуры виртуальных серверов с оглядкой на возможность масштабирования на тысячи узлов (линейная масштабируемость) и напоминает по своим возможностям Amazon EBS (Elastic Block Storage). Sheepdog работает на уровне блочного устройства, независящего от типа используемой файловой системы. Выход из строя определенного узла не сказывается на работоспособности хранилища благодаря многократному дублированию хранимых блоков данных. В простейшем случае, Sheepdog можно использовать для создания высоконадежного RAID-подобного хранилища, разнесенного на несколько машин в сети.

Sheepdog поддерживает такие возможности как создание снапшотов, клонирование разделов, обеспечение работы тонких клиентов. В списке ближайших планов значится обеспечение возможности live-миграции гостевых окружений с одного узла кластера на другой, разработка механизмов для балансировки нагрузки, создание совместимого с Amazon EBS API, поддержка отличных от X86_64 аппаратных платформ, разработка средств для восстановления данных и т.д.

Архитектура проекта основана на трех частях: менеджер дискового ввода/вывода, кластерный менеджер и клиентская часть в виде модифицированного qemu/kvm драйвера блочных устройств. Каждый VDI-образ виртуальной машины разбивается по умолчанию на блоки, размером 4 Мб, которые распределяются по узлам кластера. Система очень проста с точки зрения администрирования, достаточно запустить на машине необходимое ПО и Sheepdog автоматически сконфигурирует данную систему в качестве нового узла кластера.

Перевод руководства по настройке Sheepdog в Fedora Linux можно посмотреть в данной заметке.

  1. Главная ссылка к новости (http://www.linux-kvm.com/conte...)
  2. OpenNews: Sheepdog - распределенное хранилище для систем виртуализации qemu и kvm
  3. Руководство по настройке Sheepdog-хранилища
  4. Запуск виртуальных машин Qemu и KVM в распределенном хранилище Sheepdog
Лицензия: CC-BY
Тип: К сведению
Короткая ссылка: https://opennet.ru/27251-qemu
Ключевые слова: qemu, virtual, cluster, storage, sheepdog
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (14) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 20:48, 09/07/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    На сетке 100 мегабит\с сколько узлов можно в одном сегменте запустить без потери производительности? Есть какая-нибудь статистика?
     
     
  • 2.3, pavlinux (ok), 13:50, 10/07/2010 [^] [^^] [^^^] [ответить]  
  • +/
    http://www.osrg.net/sheepdog/index.html
     

  • 1.2, аноним (?), 02:13, 10/07/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    непонятно как ещё распределять виртуальные машины по серверам, чтобы не только io нагрузка распределялась, но и на процессор и память
     
  • 1.4, bys76ru (?), 17:30, 10/07/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    DRBD??
     
  • 1.6, iav (ok), 21:01, 11/07/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Планируется ли поддержка windows десктопов в качестве дежвателей данных? На нынешних офисных машинах - море места.
     
     
  • 2.7, rfcr (ok), 09:03, 12/07/2010 [^] [^^] [^^^] [ответить]  
  • +/
    А смысл? Для виртуализации надо выделять отдельные машины. А так если перекочует твое стадо виртуалок на windows машину юзера то либо юзеру будет не возможно работать из-за тормозов либо виртуальным машинам.
     
     
  • 3.11, Filosof (ok), 11:54, 13/07/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >А смысл? Для виртуализации надо выделять отдельные машины. А так если перекочует
    >твое стадо виртуалок на windows машину юзера то либо юзеру будет
    >не возможно работать из-за тормозов либо виртуальным машинам.

    Это ж сторейдж! тоесть можно заюзать место на дисках хомячков для хранения... например бекапов виртуалок -:). А тормоза уже зависят от интенсивности и плотности чтения/записи. И то основной затык будет на сетке/винте.

    Другой момент - доступность этих офисных машин. Они обычно не предпологаются быть всё время включёнными.

     
     
  • 4.12, Filosof (ok), 11:55, 13/07/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >Другой момент - доступность этих офисных машин. Они обычно не предпологаются быть
    >всё время включёнными.

    Перманентный ребилд для рейда - тоже не прикольно

     

  • 1.8, netc (ok), 09:28, 12/07/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    насколько я понял этот проект позволяет например расширять свой веб-сервис линейным образом: поднялась нагрузка - добавил ноду, поднялась еще - еще добавил.

    очень интересный и нужный проект ИМХО!

    интересно, когда монстры софтверной индустрии начнут использовать его в production?

     
     
  • 2.10, Filosof (ok), 11:50, 13/07/2010 [^] [^^] [^^^] [ответить]  
  • +/
    не совсем.
    Тут кластеризируется только хранилище: тоесть если у Ваших веб-серверов бутылочное горлышко на дисковой подсистеме - то вы можете увеличивать место за счёт соседних нод и увеличивать производительность оной если грамотно сконфигурируете Network-Raid. Вычислительные ресурсы нод в данном случае не масштабируются. Это ж хранилище. Под торренты неплохо. Под базы данных...
    Остальное зависит от самих хостов.
     

  • 1.9, grait (?), 12:04, 12/07/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Очень интересный проект, пойду тестить, я конечно не монстр софтверной индустрии, но кто знает :)))
     
  • 1.13, Nerian (?), 14:31, 11/08/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Это аналог Lustre? Если нет - то в чём отличия?
     
     
  • 2.15, Andrey Mitrofanov (?), 15:03, 11/08/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >Это аналог Lustre?

    Блиц IQ тест: Может ли быть "massively parallel distributed file system, generally used for large scale cluster computing" аналогом "distributed storage system for KVM"?

    А.( ) Да-да!   Б.( ) Нет-нет.   Г.( ) Иногда, в военное время?

    ---и передавайте прветы Миша Рыцъареффу.

     
     
  • 3.16, Nerian (?), 16:03, 11/08/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >>Это аналог Lustre?
    >
    >Блиц IQ тест: Может ли быть "massively parallel distributed file system, generally
    >used for large scale cluster computing" аналогом "distributed storage system for
    >KVM"?
    >
    >А.( ) Да-да!   Б.( ) Нет-нет.   Г.( )
    >Иногда, в военное время?
    >
    >---и передавайте прветы Миша Рыцъареффу.

    Мне кажется что вариант А.() Да-да!

    Но тогда зачем оно нужно, если это уже было сто лет как? :)

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру