The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Основатели ClamAV представили LibreS3, открытую реализацию хранилища Amazon S3

02.05.2014 09:15

Анонсирован первый выпуск проекта LibreS3, в рамках которого развивается открытая реализация облачного сервиса хранения Amazon S3. LibreS3 позволяет развернуть на своих серверах сервис хранения данных, полностью совместимый с клиентскими библиотеками для Amazon S3 и построенными на их основе инструментами, такими как python-boto, s3cmd и DragonDisk. Исходные тексты LibreS3 написаны на языках Си и OCaml, код распространяется под лицензией GPLv2 (библиотеки под LGPL). Платформа может быть использована в Linux, OS X и различных BSD-системах.

Стоит отметить, что проект развивается командой разработчиков, в своё время покинувших проект ClamAV для развития своих новых идей. Среди разработчиков Skylable числятся Томаш Койм (Tomasz Kojm), основатель свободного антивирусного пакета ClamAV, и ещё три разработчика, стоящих у истоков проекта.

Для организации хранения данных на группе серверов применяется распределённое кластерное хранилище Skylable Sx, первый выпуск которого представлен одновременно с LibreS3. Skylable Sx также является свободным проектом и берёт на себя выполнение задач по репликации данных между узлами и дедупликации идентичных данных на разных узлах кластера. Skylable Sx позволяет объединить в единое виртуальное хранилище дисковое пространство с нескольких серверов. Для обеспечения отказоустойчивости и сохранности информации наборы данных реплицируются на несколько разных серверов. Число копий, которые будут храниться на разных серверах, определяются администратором при конфигурации системы.

Для защиты данных применяется техника шифрования на стороне клиента, при которой на серверы системы информация поступает уже в зашифрованном виде, что исключает перехват данных в случае получения спецслужбами или злоумышленниками доступа к серверам хранения. Кроме того, опционально может быть использовано шифрование разделов на серверах, но в этом случае теряется эффективность от использования дедупликации. Обмен данными между клиентом и сервером и между узлами шифруется с использованием HTTPS. Для экономии дискового пространства используется сжатие данных на лету.

Skylable Sx состоит из следующих компонентов:

  • sxhttpd - демон, обслуживающий запросы по протоколу HTTP, используемому как для обращения клиентов, так и для взаимодействия узлов хранения.
  • sx.fcgi - работающий с использованием FastCGI процесс, непосредственно обрабатывающий запросы и распределяющий их среди дочерних процессов-обработчиков:
    • Менеджер выполнения работ - планирует передачу блоков данных и выполняет команды администрирования);
    • Менеджер передачи блоков данных - передаёт данные между узлами хранения и отдаёт данные клиентам;
    • Сборщик мусора - выполняет поиск и чистку блоков данных, потерявших актуальность или не связанных с файлами.


  1. Главная ссылка к новости (http://www.skylable.com/2014/0...)
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/39691-libres3
Ключевые слова: libres3, amazon
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (21) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, YetAnotherOnanym (ok), 11:06, 02/05/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Не понял - какая дедупликация, если каждый шифрует данные на своей стороне со своим собственным ключом? И какое вообще "сжатие на лету" для зашифрованных данных? Вроде как зашифрованное не жмётся в принципе?
     
     
  • 2.3, my (?), 11:16, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Вроде как зашифрованное не жмётся в принципе?

    С чего это вдруг?

     
     
  • 3.8, Andrew Kolchoogin (ok), 12:26, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > С чего это вдруг?

    Ну, вообще-то, Шнайер утверждает, что именно это свойство криптотекста является «маркером» для его поиска в потоке данных – берём поток, пытаемся компрессировать, если не компрессируется – пытаемся распаковать всеми известными нам архиваторами, не распаковывается => ciphertext.

    А с математической точки зрения ciphertext не должен компрессироваться для закрытия known plaintext-атак: скажем, если взять DES в режиме Electronic Codebook, тогда ciphertext будет компрессироваться так же, как и исходный файл, но: почему это плохо, наглядно показано здесь: http://en.wikipedia.org/wiki/Electronic_codebook#Electronic_codebook_.28ECB.2

     
     
  • 4.9, pavel_simple (ok), 13:43, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Шнайер не писал такой херни
     
     
  • 5.10, Аноним (-), 15:07, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Более того, можно зашифровать а потом избыточности добавить. Забавно, правда? :)
     
  • 3.14, DeadLoco (ok), 15:50, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > С чего это вдруг?

    Чем лучше криптование, тем выше энтропия результирующего потока. Чем выше энтропия входного потока, тем ниже эффективность архивации. В случае максимальной энтропии входного потока эффективность компрессии равна нулю.

     
     
  • 4.20, Аноним (-), 10:19, 03/05/2014 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Чем лучше криптование,

    По таким заявкам сразу видно эксперта в отрасли.

    > тем выше энтропия результирующего потока.

    Лишь один из критериев, не более. То-есть, если данные после шифрования поддаются отличению от случайных данных - алгоритм "совсем фуфло", завалится на статистическом анализе. Это просто один из начальных критериев отстрела совсем фуфельных алгоритмов, но о стойкости алгоритма мало чего говорит само по себе.

    > эффективность компрессии равна нулю.

    Это не значит что после шифрования нельзя добавить избыточности, которую получатель просто выбросит.

     
  • 3.15, плавализнаем (?), 17:17, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > С чего это вдруг?

    Из общей теории информации же. Шифрование - повышение энтропии. Сигнал с высокой энтропией компрессии не поддается.

     
  • 2.4, тоже Аноним (ok), 11:25, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Вроде как зашифрованное не жмётся в принципе?

    Например, текст, зашифрованный шифром Цезаря, сожмется ровно так же, как и оригинал.

     
     
  • 3.6, YetAnotherOnanym (ok), 11:49, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А, ну это да, тут не возразишь :D
     
     
  • 4.11, Аноним (-), 15:09, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А, ну это да, тут не возразишь :D

    А как насчет такого варианта: шифруем нормальным шифром. Потом дублируем каждый символ 5 раз. На приемнике убиваем 4/5 символов. Да, зашифрованный текст распухнет в 5 раз но будет прекрасно жаться, до 5 раз примерно :)

     
     
  • 5.12, A.Stahl (ok), 15:29, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Тот, кто говорил что плохая сжимаемость признак шифровки, скорее всего имел в виду, что это ОДИН ИЗ МНОГИХ признаков шифровки.
     
  • 5.13, YetAnotherOnanym (ok), 15:41, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Для чего? Криптостойкость это не повысит, для устойчивости к потерям есть более вменяемые методы (вроде того же Рида-Соломона), размазать по другим данным (стеганография) - тоже не похоже. Специально раздуть массив данных ради возможности его сжать - это какое-то странное упражнение.
     
     
  • 6.18, Аноним (-), 23:07, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Для чего?

    Для нагибания детектирования шифрования по сжимаемости, разумеется. А вы что подумали? :)

     

  • 1.5, mrd (??), 11:41, 02/05/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Велосипед изобрели. OpenStack и ceph уже давно умеют S3.
     
     
  • 2.19, Ю.Т. (?), 09:14, 03/05/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Построить что-то полезное в openstack слишком трудоёмко. Если недобор по кадрам, нереально.

    Здесь вот тоже конструктор, похоже.

     
  • 2.22, Cykooz (?), 18:22, 05/05/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Тыкали мы этот S3 поверх Swift из OpenStack - реализация не полная и для реальных web-проектов не достаточна, даже после применения дополнительных патчей.
     

  • 1.7, Аноним (-), 12:23, 02/05/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Отличная новость! Ещё и лицензия правильная, да и выбор языков разработки приятен.
     
  • 1.16, Аноним (-), 18:16, 02/05/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Где ссылка на гитхаб?
     
     
  • 2.17, Аноним (-), 21:40, 02/05/2014 [^] [^^] [^^^] [ответить]  
  • +10 +/
    вот: http://github.com
     
     
  • 3.21, Анонимоус (?), 23:32, 03/05/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Что вы, коллега, товарищ просит ссылку на новость на гитхабе.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру