The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Итоги полугода работы проекта Repology, анализирующего информацию о версиях пакетов

14.11.2019 03:57

Прошли очередные полгода и проект Repology, в рамках которого собирается и сравнивается информация о версиях пакетов из множества репозиториев, публикует очередной отчёт. Целью проекта является улучшение взаимодействия мантейнеров пакетов из различных дистрибутивов как между собой, так и с авторами ПО - в частности, проект помогает быстрее обнаруживать выпуски новых версий ПО, следить за актуальностью пакетов, унифицировать схемы именования и версионирования, поддерживать метаинформацию в актуальном состоянии, делиться патчами и решениями проблем и улучшать переносимость ПО.

  • Число поддерживаемых репозиториев превысило 250. Добавлена поддержка Cygwin, distri, Homebrew Casks, just-install, KISS Linux, Kwort, LuaRocks, Npackd, OS4Depot, RPM Sphere. Удалён прекративший развитие репозиторий Antergos. Поддержка GNU Guix удалена (из-за изменений на сайте Guix, сделавших парсинг невозможным) и позднее возвращена (благодаря реализации со стороны Guix регулярного дампа метаданных в JSON формате), а заодно улучшена.
  • Введено требование для репозиториев помимо имени пакета и версии предоставлять URL (домашние страницы или ссылку на дистрибутив) - эта информация позволяет надёжно разрешать многочисленные конфликты имён с которыми сталкивается проект. Репозитории, на данный момент не предоставляющие такой информации, запланированы к удалению.
  • Основной репозиторий исходного кода проекта разбит на два (демон для обновления данных репозиториев и web приложение, обеспечивающее работу сайта), в коде завершено внедрение аннотаций типов (весь код проекта теперь проходит mypy --strict) и приведение в соответствие PEP8.
  • Добавлена поддержка legacy веток версий. К примеру, теперь Repology может сообщить об устаревшей PostgreSQL 11.2 (так как последняя версия в 11-й ветке - 11.5) даже при наличии в репозитории более новой версии 12.0 (ранее все версии ниже последней в репозитории помечались как legacy и не могли иметь статус устаревших). В связи с этим большая часть проектов ранее разбитых по мажорным версиям (например, wxwidgets28/wxwidgets30) была объединена.
  • Добавлена возможность корректной обработки проектов с параллельными несовместимыми схемами версионирования. Например, FreeCAD у которого 0.18.4 и 0.18.16146 соответствуют одному релизу.
  • Переработаны список и индивидуальные страницы мантейнеров - теперь статистика мантейнера собирается раздельно по репозиториям. Практика показала, что репрезентативная агрегированная статистика невозможна из-за того что пакеты, сохраняя мантейнера в метаданных, могут мигрировать в другие репозитории без его ведома и лишаясь его поддержки по факту (при этом отследить это автоматически не представляется возможным). Позже они могут устареть, и связывать этот факт с оригинальным мантейнером было бы некорректно - такая ситуация вызвала недовольство мантейнеров Gentoo из-за наличия Funtoo - по сути, не контролируемого ими форка Gentoo, сохраняющего информацию о мантейнерах. Привязка статистики к репозиториям позволила решить эту проблему, заодно информация о мантейнерах стала более подробной и структурированной.
  • Добавлена экспериментальная поддержка нового типа badge, представляющего собой матрицу версий выбранных проектов во всех репозиториях. Этот инструмент полезен, например, для получения общего представления о состоянии (наличие пакета, версия, её актуальность и соответствие заданному минимуму) зависимостей какого-либо проекта (или просто произвольного списка проектов). Данная функциональность запрошена (и используется) проектом PostGIS.
  • Улучшена поддержка 404 страниц проектов - в частности, если запрошенного проекта нет, но имя ранее встречалось (например, в качестве названия пакета который был отнесён к проекту с другим названием), то пользователю предлагаются варианты проектов которые он мог иметь в виду, на манер "страниц разрешения неоднозначности" Wikipedia. Пример.
  • Улучшена интеграция с Wikidata - помимо улучшений в импорте данных, реализован и запущен бот, обновляющий информацию о ПО в Wikidata по данным из Repology. Напомним, что Wikidata постепенно становится основным источником структурированной информации для Wikipedia (в контексте новости - фактов о программном обеспечении, таких как история версий, лицензия, сайт, поддерживаемые ОС, автор, пакеты в различных дистрибутивах и т.п.), что позволяет поддерживать актуальность данных в одном месте, вместо десятков локализованных версий страницы каждого проекта. Например, карточка проекта Nginx в Wikipedia транслирует информацию только из Wikidata.
  • За прошедшие полгода было обработано более 500 заявок (reports) на добавление/изменение правил с целью более корректной обработки отдельных проектов.

Рейтинг репозиториев по общему количеству пакетов:

  • AUR (49462)
  • nix (48660)
  • Debian и производные (32972) (лидирует Raspbian)
  • FreeBSD (26921)
  • Fedora (22337)

Рейтинг репозиториев по количеству неуникальных пакетов (т.е. пакетов, присутствующих также в других дистрибутивах):

  • nix (41815)
  • Debian и производные (24284) (лидирует Raspbian)
  • AUR (22176)
  • FreeBSD (21831)
  • Fedora (19215)

Рейтинг репозиториев по количеству свежих пакетов:

  • nix (23210)
  • Debian и производные (16107) (лидирует Raspbian)
  • FreeBSD (16095)
  • Fedora (13109)
  • AUR (12417)

Рейтинг репозиториев по процентному соотношению свежих пакетов (только для репозиториев с 1000 и более пакетами и не считая upstream коллекций модулей типа CPAN, Hackage, PyPi):

  • Ravenports (99.16%)
  • Arch и производные (85.23%)
  • Homebrew (84.57%)
  • nix (84.55%)
  • Scoop (84.02%)

Общая статистика:

  • 252 репозиторев
  • 180 тысяч проектов
  • 2.3 миллиона отдельных пакетов
  • 36 тысяч мейнтейнеров
  • 153 тысячи зафиксированных релизов за последние полгода (прошлый обзор содержал ошибку, за предыдущие полгода было зафиксировано 150 тысячи релизов)
  • 9.5% известных проектов выпустили за прошедшие полгода как минимум одну новую версию


  1. Главная ссылка к новости (https://repology.org...)
  2. OpenNews: Итоги полугода работы проекта Repology, анализирующего информацию о версиях пакетов
  3. OpenNews: Итоги полугода работы проекта Repology, анализирующего информацию о версиях пакетов
  4. OpenNews: Итоги полугода работы проекта Repology, анализирующего информацию о версиях пакетов
  5. OpenNews: Полугодовой отчёт проекта Repology, анализирующего информацию о версиях пакетов
  6. OpenNews: Введён в строй сервис для анализа версий пакетов в репозиториях
Лицензия: CC-BY
Тип: Обобщение
Ключевые слова: repology
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (31) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 08:55, 14/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >из-за изменений на сайте Guix, сделавших парсинг невозможным

    recaptcha v3? cloudflare? other anti-bot?

     
     
  • 2.3, Andrey Mitrofanov_N0 (??), 09:12, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >>из-за изменений на сайте Guix, сделавших парсинг невозможным
    > recaptcha v3? cloudflare? other anti-bot?

    Путч против дедушки.

     
     
  • 3.8, _hide_ (ok), 10:14, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Они назначили себя главными и теперь раздают команды с угрозой "исключить из проекта"? Или я что-то не понимаю?
     
     
  • 4.12, Andrey Mitrofanov_N0 (??), 11:28, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > проекта"? Или я что-то не понимаю?

    Они не твари дрожащие и прОва имеют.
      Еуроценности, хартии прав, головы - с плеч, революции пожирают - плутократы пожинают.
    Как же ты всё-всё пропустил-то?  https://www.opennet.ru/opennews/art.shtml?num=51629
    Микрософт всем ZDnet-ом/FoxNews-ом/опенетом праздновал, фейкверки пулял.

     
  • 4.30, Аноним (30), 13:13, 15/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Тоже подумалось, только ещё до того как увидел что они там что то исключат - по ... текст свёрнут, показать
     
  • 2.4, Аноним (4), 09:15, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Через сайт теперь нельзя смотреть все пакеты просто
    http://guix.gnu.org/packages/
     
     
  • 3.7, Аноним (7), 10:10, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    А с фига ли оно вообще сайт пыталось парсить?
     
     
  • 4.14, Andrey Mitrofanov_N0 (??), 11:43, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > А с фига ли оно вообще сайт пыталось парсить?

    У никса и гикса "потусторонняя"(=они далеко впереди!) проблема:  в репозитории _нет_ списка пакетов.

    Ничего похожего на дебиановский /debian/dists/unstable/main/binary-i386/Packages.xz , например.

    Вы представляете?!789

     
  • 4.15, Аноним (15), 12:24, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Ну там вариантов было немного - или сайт или скобочный кошмар.
     
     
  • 5.20, Аноним (20), 15:37, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Я выбираю скобочный кошмар =)
     
     
  • 6.21, Аноним (15), 15:43, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Шлите пулл реквест с вашим парсером.
     

  • 1.2, Аноним (2), 09:06, 14/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    из заголовка как будто он всего полгода работает
     
  • 1.5, Vascom (?), 09:20, 14/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Маинтейнеров федоры до сих пор не сделали.
     
     
  • 2.16, Аноним (15), 12:27, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    "Чего-то не сделали" в случае Repology означает только что кто-то просто чего-то не выложил в удобном для парсинга формате.
     

  • 1.6, Аноним (6), 09:23, 14/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А что с nix? Почему так много пакетов. Тем более неуникальнных.
     
     
  • 2.10, Andrey Mitrofanov_N0 (??), 11:18, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А что с nix? Почему так много пакетов. Тем более неуникальнных.

    Они просто лучшие! https://logs.nix.samueldr.com/nixos/2018-06-07#1276454
    Пришли к успеху https://logs.nix.samueldr.com/nixos/2019-09-18#2600025

    Мы все https://github.com/NixOS/nixpkgs/search?q=repology&type=Issues
    просто не понимаете. https://github.com/NixOS/nixpkgs/issues/61691
    >>>S<<<

     
     
  • 3.11, Andrey Mitrofanov_N0 (??), 11:21, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Они просто лучшие!
    > Пришли к успеху https://logs.nix.samueldr.com/nixos/2019-09-18#2600025

    + https://github.com/NixOS/nixpkgs/labels/6.topic%3A%20repology

    > Мы все
    >>>>S<<<

     
  • 3.17, Аноним (15), 12:32, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Ну насчет неуникальным они таки сами не разобрались, потому что если пакет есть в stable и unstable это не делает его неуникальным. А так cheat они только потому что автоимпортируют кучу пакетов.
     
     
  • 4.18, Фрекен Бог (?), 14:46, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    А автоимпортируют кучу пакетов потому, что могут себе позволить. Пакет в Nix - очень легковесная сущность, без лишнего оверхеда и бюрократии, как в каком-нибудь дебиане.
     
     
  • 5.19, Andrey Mitrofanov_N0 (??), 14:52, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >без лишнего оверхеда и бюрократии, как в
    > каком-нибудь дебиане.

    leftpad - наш Идеал?  Бро!

     
     
  • 6.27, Аноним (27), 20:04, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Пакет в Nix - просто вызов функции mkDerivation, даже отдельный файл не обязательно создавать.

    Вот, например, все импортированные хаскельные пакеты: https://raw.githubusercontent.com/NixOS/nixpkgs/master/pkgs/development/haskel

     
  • 5.22, Аноним (15), 15:51, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Пакет - везде легковесная сущность. Кроме дебилана, да. А позволить себе вхреначить тонны никем не проверенного кода - так себе достижение.
     
  • 2.31, DerRoteBaron (ok), 13:19, 15/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Потому, что они пакуют что попало как попало.  Например, у рисовалки диаграмм вектором на электроне draw.io, со сборкой и пакетированием которой я пытался разобраться, эти умники перепаковывали rpm из github releases.
     

  • 1.9, Аноним (9), 10:20, 14/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А что за nix?
     
     
  • 2.13, Andrey Mitrofanov_N0 (??), 11:33, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А что за nix?

    Оплати гугль скорее, а то и от опенета отключат!123

    https://nixos.org/~eelco/pubs/phd-thesis.pdf , https://tuebix.github.io/tuebix-downloads-2018/tuebix-2018-michael-weiss-einfu , ........

     

  • 1.23, Аноним (23), 16:27, 14/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    В начале этого года натыкался на упоминание этого проекта и решил проверить, в итоге, он мне не нашёл пакеты, которые находил сам через сайт Debian, и не находил пакеты из OpenSUSE, это было не с одним пакетом, я не стал разбираться почему так, но для себя решил, что этот проект не вытянивает возложенных на себя обязательств, а жаль, ведь было бы неплохо, если бы он реально находил все пакеты, и как результат, его, эти непонятные, выкладки, выдаваемые за валидную статистику, с моей точки зрения, приближаются к состоянию - "взято с потолка"!

    Не удивлюсь, если создатели проекта принадлежат к касте знаменитых научных работников, подданных царствующей королевской династии Виндзоров! (Проверять было лень, из-за обнаруженных фактов, потерял интерес к проекту)

     
     
  • 2.24, Аноним (23), 16:28, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    /*не вытягивает, возложенных на себя, обязательств
     
  • 2.25, Аноним (15), 16:43, 14/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Вам ещё в тот раз ответили, что вы наверное ищите бинарные пакеты, тогда как Repology работает главным образом с source, но на статистику это не влияет. Но вы не вытянули возложенных на вас обязательств это прочитать, а жаль, ведь через полгода вы наверняка опять так же опозоритесь.
     

  • 1.26, Аноним (15), 16:44, 14/11/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ого, сизиф удаляют. Не расстроен, несколько раз отправлял репорты о придуманных версиях оттуда.
     
     
  • 2.28, feudor (ok), 04:59, 15/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    не удаляют а пометили возможным для удаления из-за того что отсутствует домашняя страница дистрибутива АльтЛинукс
     
     
  • 3.29, Аноним (29), 05:45, 15/11/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Идите спать, у вас начались галлюцинации, ибо ни слова из бреда про домашнюю страницу дистрибутива там не написано.
     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру