The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

В ядро Linux добавлена поддержка алгоритма сжатия LZ4

11.07.2013 22:23

В состав ядра Linux 3.11 принята библиотека, реализующая алгоритм сжатия LZ4. Алгоритм LZ4 отличается от аналогов высокой скоростью работы. Например, в проведённых тестах LZ4 почти в два раза обгоняет LZO по скорости сжатия и распаковки, обеспечивая сравнимую степень сжатия.

  1. Главная ссылка к новости (http://www.phoronix.com/scan.p...)
Автор новости: Аноним
Лицензия: CC-BY
Тип: К сведению
Короткая ссылка: https://opennet.ru/37404-lz4
Ключевые слова: lz4, linux, kernel
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (69) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, BratSinot (ok), 22:58, 11/07/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    > Например, в проведённых тестах LZ4 почти в два раза обгоняет LZO по скорости сжатия и распаковки, обеспечивая сравнимую степень сжатия.

    Ага, а вот у меня их lz4c проигрывал lzop и по скорости и по объему выходных данных.

     
     
  • 2.10, Аноним (-), 23:29, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Сильно зависит от природы данных. Где-то лучше, где-то хуже. В среднем по больнице - он как правило несколько быстрее и при этом чуть лучше жмет, если в среднем по больнице. Но всегда можно найти набор данных удобный (или неудобный) для того и для другого, дабы выпятить конкурента. В целом это сравнимые алгоритмы одного класса ("скоростной LZ").
     

  • 1.2, Аноним (-), 22:58, 11/07/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    А где еще, кроме btrfs и всяких zram/zswap, используются такие библиотеки?
     
     
  • 2.3, BratSinot (ok), 23:01, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Образ ядра, initrd, ваш КО.
     
     
  • 3.4, Аноним (-), 23:03, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Разве ядро само сжимает/разжимает свой образ? Я думал, это делает система сборки/загрузчик.
     
     
  • 4.11, Аноним (-), 23:30, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Разве ядро само сжимает/разжимает свой образ? Я думал, это делает система
    > сборки/загрузчик.

    А это где как. Где-то загрузчик, где-то ядро. Возможны варианты.


     
     
  • 5.13, Аноним (-), 23:34, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А это где как. Где-то загрузчик, где-то ядро.

    unzip.zip?

     
     
  • 6.15, Аноним (-), 23:44, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > unzip.zip?

    Пройти прямо и налево, спросить барона Мюнхаузена, он расскажет как такие приколы проворачивать. Программеры оценили байки по достоинству - теперь половина софта спокойно развлекается вытаскиванием себя за волосы из болота :)

    А если серьезно, все просто: в начале ядра пишется небольшой кусок кода - декомпрессор (для LZ4 он простой как топор и мелкий). Ну вот он запускается загрузчиком как "ядро" а дальше ядро само себя и распаковывает.

     
     
  • 7.21, Аноним (-), 23:53, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Но какое отношение декомпрессор (который, по сути, является внешним кодом по отношению к самому ядру) имеет к встроенным в ядро библиотекам? Он же не может их использовать.
     
     
  • 8.25, Аноним (-), 00:34, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Обычно под такое пишут мелкий оптимизнутый анпакер, который натурально отдельная... текст свёрнут, показать
     
  • 4.49, обычный программист (?), 14:33, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Разве ядро само сжимает/разжимает свой образ? Я думал, это делает система сборки/загрузчик.

    Сжимает система сборки. Разжимает ядро само себя, в начало образа вставляется небольшой довесок на асме, который разжимает и передает управление.

     
  • 2.8, ip1981 (ok), 23:16, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    zfs
     
     
  • 3.9, Аноним (-), 23:23, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Боюсь, оно вряд ли сможет так просто использовать библиотеку из ядра Linux.
     
     
  • 4.16, Аноним (-), 23:46, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    там обертка солярка -> zfs модуль -> ядро
     
     
  • 5.22, Аноним (-), 23:54, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > там обертка солярка -> zfs модуль -> ядро

    Разве в ZFS кто-то будет добавлять работу с алгоритмами сжатия, которых нет в солярке?
    Бехлендорф, разве что.

     
     
  • 6.24, ip1981 (ok), 00:11, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Разве в ZFS кто-то будет добавлять работу с алгоритмами сжатия, которых нет
    > в солярке?
    > Бехлендорф, разве что.

    Давно на ОпенНете не были? ;-)

     
  • 6.29, Аноним (-), 01:36, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >Разве в ZFS кто-то будет добавлять работу с алгоритмами сжатия, которых нет в солярке?

    Дык - уже добавили :)

     

  • 1.5, Аноним (-), 23:04, 11/07/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –8 +/
    Чем оно лучше rar?
     
     
  • 2.6, Аноним (-), 23:06, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Быстрее и лучше жмет, например.
     
     
  • 3.30, Аноним (-), 02:00, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Жмет, в общем-то, хуже. Но намного быстрее, да.
     
     
  • 4.42, Аноним (-), 09:39, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Хуже чем rar? Вы серьезно?
     
  • 2.20, Аноним (-), 23:52, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +7 +/
    > Чем оно лучше rar?

    Чем болид F1 лучше карьерного самосвала? Ну а что, оба - автомобили :)

     
  • 2.48, Аноним (-), 14:05, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    RAR проприетарный.

    Лучше сравнивать с p7zip, tar/lzma, tar/xz.

     
     
  • 3.59, Аноним (-), 20:03, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Без tar, наверное.
     
  • 3.67, Аноним (-), 14:17, 14/07/2013 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > RAR проприетарный.

    Трындишь. Unrar - нет.

    > Лучше сравнивать с p7zip, tar/lzma, tar/xz.

     
     
  • 4.69, ig0r (??), 15:10, 14/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    то что он freeware не мешает ему быть проприетарным, выдержка из лицензии:

       1. All copyrights to RAR and the utility UnRAR are exclusively
          owned by the author - Alexander Roshal.

     
     
  • 5.70, Andrey Mitrofanov (?), 15:56, 14/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > то что он freeware не мешает ему быть проприетарным, выдержка из лицензии:
    >    1. All copyrights to RAR and the utility UnRAR are exclusively
    >       owned by the author - Alexander  Roshal.

    То, что у rar-а есть праообладатель, вообще говоря, не делает его проприертарным. Вот половина, большая, из остальных 10-ти пунктов http://ftp-master.metadata.debian.org/changelogs//non-free/r/rar/rar_4.0.b3-1 -- да.

     
  • 4.72, Аноним (-), 15:12, 16/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> RAR проприетарный.
    > Трындишь. Unrar - нет.

    http://ftp-master.metadata.debian.org/changelogs//non-free/u/unrar-nonfree/un


       2. The UnRAR sources may be used in any software to handle RAR
          archives without limitations free of charge, but cannot be used
          to re-create the RAR compression algorithm, which is proprietary.
          Distribution of modified UnRAR sources in separate form or as a
          part of other software is permitted, provided that it is clearly
          stated in the documentation and source comments that the code may
          not be used to develop a RAR (WinRAR) compatible archiver.

     
     
  • 5.73, Аноним (-), 16:16, 16/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > but cannot be used to re-create the RAR compression algorithm,
    > which is proprietary.

    Ну простите, автор сам же и называет свой алгоритм проприетарным. Прямым текстом. Что еще надо?

    И ограничения - совсем не в стиле открытого софта. EULA с сорцем в комплекте по сути.

     
  • 2.65, commiethebeastie (ok), 20:01, 13/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Чем оно лучше rar?

    Тем что оно сжимает, а не детектирует дебилов.

     

  • 1.7, Аноним (-), 23:11, 11/07/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Еще один https://code.google.com/p/snappy/
     
     
  • 2.12, Аноним (-), 23:32, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Еще один https://code.google.com/p/snappy/

    Плюсатая либа в ядре - no way, сам понимаешь. Хотя есть и порт на си. Но в свете наличия LZ4 и LZO смысл в нем не очевиден. Ну гугля то понятно что NIH укусил. На этом достоинства и заканчиваются. Потому как в среднем по больнице оно ничем не лучше того же LZ4 в общем то.

     
     
  • 3.45, Аноним (-), 11:30, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Оно не лучше, оно сильно хуже! снэппи хорошо работает на сильно разреженных данных. все типы лемпел-зива - на данных, в которых есть многобайтовые повторяющиеся последовательности. И на каком нибудь 10-12-битном шумноватом изображении не дадут такого результата который выдаст примитивнейший бит-пакер, ни по сжатию, ни тем более по скорости. то есть повторяя то что кто-то уже написал выше - все зависит от структуры данных! все алгоритмы сжатия работают на специфической структурированности в данных.
     
     
  • 4.50, Аноним (-), 15:06, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Да на самом деле и на остальных работает Ну спасибо, Кэп Вообще, рассказывать... большой текст свёрнут, показать
     
     
  • 5.55, Аноним (-), 16:06, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    задерка одна секунда на обороботку чанков
     

  • 1.14, Аноним (-), 23:39, 11/07/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    >в проведённых тестах LZ4 почти в два раза обгоняет LZO по скорости сжатия и распаковки, обеспечивая сравнимую степень сжатия.

    В каких тестах? Какая версия LZO?  По тестам автора LZO версия LZO-2012 сравнима и чуть-чуть обгоняет LZ4. При этом LZO уже давно есть в ядре.

     
     
  • 2.17, Аноним (-), 23:47, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >>в проведённых тестах LZ4 почти в два раза обгоняет LZO по скорости сжатия и распаковки, обеспечивая сравнимую степень сжатия.
    > В каких тестах? Какая версия LZO?  По тестам автора LZO версия
    > LZO-2012 сравнима и чуть-чуть обгоняет LZ4. При этом LZO уже давно
    > есть в ядре.

    я бы сжимал lz4 man'ы и html документацию в репозитарии
    ну и dpkg (apt-get) перелючил на lz4

     
     
  • 3.19, Аноним (-), 23:50, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > ну и dpkg (apt-get) перелючил на lz4

    Размер даунлоадов и сетевой траффик вырастут. Там скорее LZMA смотрелся бы нормально.

     
     
  • 4.54, Аноним (-), 15:55, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    apt-get слишком медленный, дельта срезов нету
    Полный шлак
     
     
  • 5.56, Аноним (-), 16:48, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > apt-get слишком медленный,

    Да нормальный. На SSD весьма бодренько пашет.

    - Можно разогнать? Да, в несколько раз.
    - Наступит профит? Не слишком заметный: даже на 50Мбит канале зачастую закачка занимает больше чем все остальное. Особенно для файрфоксов и прочих либрофисов. Так что в этом плане лучше сжатие поплотнее.

    > дельта срезов нету

    Да и фиг с ними. Судя по чертыханиям некоторых на время этой операции.

    > Полный шлак

    Ух ты, какой жирненький. Иди сюда, цып-цып-цып-цып-цып :).

     
  • 5.57, Аноним (-), 17:18, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >apt-get слишком медленный

    Быстрее, чем yum.
    >дельта срезов нету

    debdelta

     
     
  • 6.71, Аноним (-), 10:58, 15/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> debdelta

    Unresolved issues
    - indexfile format for deltas or integration into main Packages.gz
    - timeline for launchpad integration
    - provide a sha256 of the uncompressed deb? currently the sha is build against the compressed deb, but that causes a unneeded compress/uncompress just for the signature checking

     
  • 3.23, ху (?), 00:09, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А я бы грудь женскую в руках сжал, это способствует развитию мелкой моторики особенно мелкая грудь
     
     
  • 4.34, Аноним (-), 03:06, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Продолжай сжимать то, что сжимаешь, это способствует росту волос на ладонях.
     
     
  • 5.41, Аноним (-), 09:29, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Собственный опыт или стороннее наблюдение?
     
     
  • 6.43, Аноним (-), 09:40, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Собственный опыт или стороннее наблюдение?

    Посоны на переменке рассказывали.

     
  • 3.28, Аноним (-), 00:55, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >dpkg (apt-get) перелючил на lz4

    DEB переводят на XZ и правильно делают.

     
     
  • 4.46, Аноним (-), 12:40, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Лет через 10 они узнают и про lz4.
     
     
  • 5.47, Аноним (-), 13:18, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Лет через 10 они узнают и про lz4.

    Технология должна созреть (поднимает палец вверх)!

     
  • 5.60, Аноним (-), 22:12, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Лет через 10 они узнают и про lz4.

    LZO уже фиг знает сколько есть. Вот только распаковка сама по себе - далеко не основная статья расходов времени пакетного манагера как правило.

     
  • 3.31, Аноним (-), 02:05, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    И зачем LZO и LZ4 нужны там, где требуется большая скорость упаковки распаковки... большой текст свёрнут, показать
     
     
  • 4.39, Аноним (-), 08:37, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> Собирать пакеты и генерировать документацию ты явно не будешь с такой интенсивностью

    Увы но  это так

     
     
  • 5.58, Аноним (-), 17:28, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Сколько в граммах^W - сколько манов в в секунду? :)
     
  • 2.18, Аноним (-), 23:49, 11/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > В каких тестах? Какая версия LZO?  По тестам автора LZO версия
    > LZO-2012 сравнима и чуть-чуть обгоняет LZ4.

    Да на самом деле где как. В среднем по больнице - у меня есть ощущение что LZ4 таки немного шустрее и при этом чуть лучше жмет. По поводу чего - пусть себе будет. Жалко чтоли?

    > При этом LZO уже давно есть в ядре.

    С этим никто и не спорит...

     
     
  • 3.27, Аноним (-), 00:53, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >Жалко чтоли?

    Мне нет. А вот разработчикам ядра — жалко.
    https://lkml.org/lkml/2013/1/29/145

     
     
  • 4.51, Аноним (-), 15:11, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Мне нет. А вот разработчикам ядра — жалко.

    Ничего не знаю, либа прилетела в ядро. В торвальдсовском гите лежит уже.


     
  • 2.33, Аноним (-), 02:59, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Во, нашёл ссылку.
    https://lkml.org/lkml/2013/2/26/361
     
     
  • 3.64, Аноним (-), 18:02, 13/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Во, нашёл ссылку.
    > https://lkml.org/lkml/2013/2/26/361

    Но стоит все-таки понимать что  там:
    From "Markus F.X.J. Oberhumer" <>

    Ну да, для програмера все просто - подыграл себе лишний раз и порядок. Ну подумаешь, запатчил немного у себя в кулуарах :)

     
     
  • 4.66, arisu (ok), 08:50, 14/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Маркус, вообще-то, за таким замечен не был. и компрессией далеко не первый год занимается.

    а вообще — да, плохой, вредный программер. взял — и ускорил свой код, гад такой.

     
     
  • 5.68, Аноним (-), 14:28, 14/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Как бы это сказать Не следует забывать что програмеры склонны делать себе скидк... большой текст свёрнут, показать
     

  • 1.26, pavlinux (ok), 00:41, 12/07/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    LZO - хорошо плючит текст.
    LZMA - бинари и смешанное.
    LZ4 - быстрее, по размеру жирнее LZO и раза в два LZMA
     
     
  • 2.52, Аноним (-), 15:20, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Хорошо плющат текст всякие там PPM-based и тому подобные странные конструкции ти... большой текст свёрнут, показать
     

  • 1.32, Led (ok), 02:12, 12/07/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > в проведённых тестах LZ4 почти в два раза обгоняет LZO по скорости сжатия

    В проведённых _ДО оптимизации LZO в ядре_ тестах.

     
  • 1.44, Аноним (44), 09:51, 12/07/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    всё равно криво будет и тормозно. меня больше интересует когда же свободные драйвера для mali, vivante, и videocore4 наконец то с аппаратным ускорением, будут?
     
     
  • 2.53, Аноним (-), 15:22, 12/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > всё равно криво будет и тормозно

    Ну вас никто не заставляет пользоваться ни этим алгоритмом, ни ядром Linux. Вы в вашем праве пойти на хутор бабочек ловить.

    >  меня больше интересует когда же свободные драйвера для mali, vivante, и videocore4
    > наконец то с аппаратным ускорением, будут?

    Если интересует - редактор и компилер в зубы.

     

  • 1.61, Kodir (ok), 12:51, 13/07/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Скорость я не мерял, а вот сжатие - отстаёт ОТО ВСЕХ:
    1 993 281 text.uha
    2 078 111 text.7z
    2 093 050 text.rar
    2 739 255 text.mht.lz4
    3 243 240 text.mht

    Сжимался последний в списке MHT-шник - казалось бы, идеальнее данных не найти!
    (уровень сжатия во всех компрессорах максимальный)

     
     
  • 2.62, Andrey Mitrofanov (?), 12:54, 13/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Скорость я не мерял, а вот сжатие - отстаёт ОТО ВСЕХ:
    > 1 993 281 text.uha
    > 2 078 111 text.7z
    > 2 093 050 text.rar
    > 2 739 255 text.mht.lz4
    > 3 243 240 text.mht

    Кто из них уже есть в ядре? И в ARM?

     
  • 2.63, Аноним (-), 15:42, 13/07/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Мсье большой оригинал - не померял один из ключевых параметров алгоритма скорос... большой текст свёрнут, показать
     
  • 2.74, Аноним (-), 16:24, 16/07/2013 [^] [^^] [^^^] [ответить]  
  • +/
    В соревнованиях болида F1 и Белаза болид приехал к финишу в 20 раз быстрее а белаз привез 10 тонн песка. Мнения судей о том кому присудить победу разделились.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2022 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру