Некоммерческий удостоверяющий центр Let's Encrypt, контролируемый сообществом и предоставляющий сертификаты безвозмездно всем желающим, объявил о реализации в своей инфраструктуре поддержки ARI (ACME Renewal Information), расширения протокола ACME, позволяющего передавать клиенту сведения о необходимости обновления сертификатов и рекомендовать оптимальное время для обновления. Спецификация ARI проходит процесс стандартизации комитетом IETF (Internet Engineering Task Force), занимающимся развитием протоколов и архитектуры интернета, и находится на стадии проверки чернового варианта.
До внедрения ARI клиент сам определял политику обновления сертификата, например, периодически запуская процесс обновления через Cron или принимая решения на основе разбора времени жизни сертификата.
Подобный подход приводил к трудностям при необходимости досрочного отзыва сертификатов, например, приходилось связываться с пользователями по email и вынуждать их выполнять ручное обновление.
Расширение ARI позволяет клиенту определить рекомендуемое время обновления сертификата, не привязываться к 90-дневному времени жизни сертификатов и не беспокоиться, что может быть пропущен внеплановый отзыв сертификта. Например, в случае досрочного отзыва через ARI обновление может быть инициировано не через 90, а через 60 дней. Кроме того, ARI позволяет эффективно сглаживать пиковую нагрузку на серверы Let's Encrypt, выбирая время для обновления с учётом загруженности инфраструктуры.
GET https://example.com/acme/renewal-info/
"suggestedWindow": {
"start": "2023-03-27T00:00:00Z",
"end": "2023-03-29T00:00:00Z"
},
Опубликован выпуск дистрибутива Slackel 7.6, построенного на наработках проектов Slackware и Salix, и полностью совместимого с предлагаемыми в них репозиториями. Ключевой особенностью Slackel является использование постоянно обновляемой ветки Slackware-Current. Графическое окружение основано на оконном менеджере Openbox. Размер загрузочного образа, способного работать в Live-режиме, 2.6 ГБ (i386 и x86_64). Дистрибутив может использоваться на системах с 512 МБ ОЗУ.
Новый выпуск синхронизирован с current-веткой Slackware и поставляется с ядром Linux 6.1. Обновлены версии программ, например, firefox 111, thunderbird 102.9.0, exaile 4.1.1, smtube 21.10.0, smplayer 22.7.0, MPlayer 20221009, libreoffice 7.5.1.2, filezilla 3.58.0, pidgin 2.14.12, transmission 2.94, gimp 2.10.34. В состав включена поддержка пакетов в формате flatpak. Предложены новые версии развиваемых проектом приложений: конфигуратора slackel control-center-3.0, а также графических интерфейсов для обновления ядра в установках, использующих внутренний диск (install-upgrade-kernel) и внешний USB-носитель (install-upgrade-kernel-ext-usb). Добавлено приложение Instonusb-2.0 для создания live-сборок.
Разработчики SeprentOSсообщили об успешном развёртывании инфраструктуры, к которой открыт публичный доступ. Инфраструктура состоит из трёх основных компонентов:
Summit - компонент для мониторинга Git-репозиториев с рецептами пакетов и автоматического создания сборочных заданий. Разработчики отмечают, что Summit использует граф зависимостей для эффективной сборки в параллельном режиме.
Напоминаем, что SeprpentOS - это проект Айки Доэрти (Ikey Doherty), создателя дистрибутива Solus, и Джошуа Стробла (Joshua Strobl), ключевого разработчика рабочего стола Budgie. Дистрибутив основывается на пакетом менеджере moss, который заимствует многие современные возможности, развиваемые в таких пакетных менеджерах, как eopkg/pisi, rpm, swupd и nix/guix, сохраняя при этом традиционный взгляд на манипуляцию пакетами и использующий сборку в режиме stateless по умолчанию. Пакетный менеджер использует атомарную модель обновления системы, при которой фиксируется состояние rootfs, а после обновления состояние переключается на новое.
Подведеныитоги трёх дней соревнований Pwn2Own 2023, ежегодно проводимых в рамках конференции CanSecWest в Ванкувере. Рабочие техники эксплуатации ранее неизвестных уязвимостей были продемонстрированы для Ubuntu Desktop, Apple macOS, Oracle VirtualBox, VMWare Workstation, Microsoft Windows 11, Microsoft Teams, Microsoft SharePoint и автомобиля Tesla. Всего было продемонстрировано 27 успешных атак, эксплуатирующих ранее неизвестные уязвимости. При проведении атак использовались самые свежие стабильные выпуски приложений, браузеров и операционных систем со всеми доступными обновлениями и в конфигурации по умолчанию. Суммарный размер выплаченных вознаграждений составил 1,035,000 долларов США и автомобиль. Команда, набравшая наибольшее число очков, получила 530 тысяч долларов и автомобиль Tesla Model 3.
На соревнованиях продемонстрировано пять успешных попыток эксплуатации ранее неизвестных уязвимостей в Ubuntu Desktop, предпринятых разными командами участников. Проблемы были вызваны двойным освобождением памяти (одна премия 30 тысяч долларов), обращением к памяти после освобождения (одна премии 30 тысяч долларов), некорректной работой с указателями (одна премия 30 тысяч долларов). В двух демонстрациях были использованы уже известные, но не исправленные уязвимости (две премии по 15 тысяч долларов). Кроме того, была предпринята шестая попытка атаки на Ubuntu, но эксплоит не сработал.
В каких именно компонентах проблемы пока не сообщается, в соответствии с условиями конкурса детальная информация о всех продемонстрированных 0-day уязвимостях будет опубликована только через 90 дней, которые даются на подготовку производителями обновлений с устранением уязвимостей.
Другие успешные атаки:
Три взлома Oracle VirtualBox, в которых использовались уязвимости, вызванные обращением к памяти после освобождения, переполнением буфера и чтением из области вне буфера (две премии по 40 тысяч долларов и одна премия 80 тысяч долларов за эксплоит из 3 уязвимостей, позволивший выполнить код на стороне хоста).
Повышение привилегий в Apple macOS (премия 40 тысяч долларов).
Две атаки на Microsoft Windows 11, позволившие повысить свои привилегии (премии по 30 тысяч долларов). Уязвимости были вызванны обращением к памяти после освобождения и некорректной проверкой входных данных.
Атака на Microsoft Teams с использованием в эксплоите цепочки из двух ошибок (премия 75 тысяч долларов).
Атака на Microsoft SharePoint (премия 100 тысяч долларов).
Атака на VMWare Workstation, в которой использовано обращение к памяти после освобождения и неинициализированная переменная (премия 80 тысяч долларов).
Выполнение кода при обработке контента в Adobe Reader. Для атаки, обхода sandbox и обращения к запрещённому API использована сложная цепочка из 6 ошибок (премия 50 тысяч долларов).
Две атаки на информационно-развлекательную систему автомобиля Tesla и Gateway Tesla, позволившие получить root доступ. Размер первой премии составил 100 тысяч долларов и автомобиль Tesla Model 3, а второй - 250 тысяч долларов.
Состоялся релиз десктоп-ориентированной операционной системы MidnightBSD 3.0, основанной на FreeBSD с элементами, портированными из DragonFly BSD, OpenBSD и NetBSD. Базовое десктоп-окружение построено на основе GNUstep, но пользователи имеют возможность установить WindowMaker, GNOME, Xfce или Lumina. Для загрузки подготовлен установочный образ размером 1 ГБ (i386, amd64).
В отличие от других десктоп-сборок FreeBSD, ОС MidnightBSD изначально развивалась как форк FreeBSD 6.1-beta, который в 2011 году был синхронизирован с кодовой базой FreeBSD 7 и впоследствии вобрал в себя многие возможности из веток FreeBSD 9-12. Для управления пакетами в MidnightBSD задействована система mport, которая использует БД SQLite для хранения индексов и метаданных. Установка, удаление и поиск пакетов осуществляется при помощи единой команды mport.
Новый выпуск примечателен переносом исправлений и новых возможностей из ветки FreeBSD 12. Основные новшества:
Пакетный менеджер mport обновлён до версии 2.2.7.
Предоставлена возможность запуска скрипта /etc/rc.final после завершения всех пользовательских процессов.
Перенесены изменения и исправления во многие утилиты, включая automount, bectl, bhyve, cmp, cpuset, daemon, fstyp, geli, grep, growfs, kldxref, mergemaster, mksnap_ffs, mountd, newsyslog, rtsold,
service, wpl_cli, msdosfs, pf, devd.
В утилиту growfs добавлена возможность работы с разделами, примонтированными в режиме чтения и записи.
В утилите mount обеспечен показ сведений о квотах.
В пакетном фильтре ipfw реализована утилита dnctl для управления конфигурацией системы ограничения трафика dummynet.
Добавлен sysctl kern.crypto для управления криптоподсистемой ядра, а также отладочный sysctl debug.uma_reclaim.
Netgraph-узел ng_bridge адаптирован для SMP-систем. В узле ng_nat добавлена поддержка CGN (Carrier Grade NAT, RFC 6598). Предоставлена возможность подстановки узла ng_source в любую часть Netgraph-сети.
В интерфейс vlan добавлена поддержка системы приоритизации трафика и управления пропускной способности ALTQ.
Улучшена поддержка NFSv4.
В библиотеку fetch добавлена поддержка проксирования FTP поверх HTTPS.
В rc.conf добавлена переменная "linux_mounts_enable", отвечающая за монтирование специфичных для Linux файловых систем в иерархию "/compat/linux" при включении эмуляции Linux (linux_enable=YES).
В утилиту cron добавлена поддержка новых флагов в crontab: "-n" и "-q" для отключения отправки писем при запуске задания и отключения записи в лог информации о выполненных командах.
В ядре изменено поведение системного вызова read, который теперь по умолчанию неприменим к каталогам. Для возвращения старого поведения предложен sysctl security.bsd.allow_read_dir.
Добавлена поддержка интерфейса APEI (ACPI Platform Error Interfaces), через который чипсет передаёт операционной системе сведения об аппаратных ошибках, например, ошибках PCIe при подключении оборудования.
В сетевой стек добавлена поддержка NAT64 CLAT (RFC6877).
Реализован системный вызов getrandom, который позволяет получить значения от системного генератора псевдослучайных чисел через обращение к системному вызову, что обеспечивает надёжную защиту от атак, основанных на исчерпании доступных файловых дескрипторов (при отсутствии свободных дескрипторов невозможно задействовать /dev/urandom). Также добавлена библиотека getentropy, совместимая с реализациями из Linux и OpenBSD.
Библиотека pthread приведена в соответствие со стандартом POSIX/SUSv4-2018.
В загрузчике добавлена возможность загрузки операционной системы с ram-диска, а также реализована поддержка ZFS-опций com.delphix:bookmark_written и com.datto:bookmark_v2.
Раскрытысведения о двух уязвимостях в офисном пакете Apache OpenOffice. Проблемы были устранены в выпуске Apache OpenOffice 4.1.14 под видом не связанных с безопасностью ошибок (сведения об уязвимости раскрыты спустя месяц после выпуска OpenOffice 4.1.14):
CVE-2022-47502 - атакующий может разместить в документе ссылку, вызывающую макрос с произвольными аргументами, и добиться выполнения своего скрипта при нажатии пользователем на эту ссылку или при автоматическом срабатывании связанных с документом событий без предварительного подтверждения операции. Проблеме присвоен критический уровень опасности.
CVE-2022-38745 - OpenOffice может быть настроен для добавления пустого пути поиска Java-классов, что может быть использовано для запуска произвольного Java-кода, размещённого в текущем каталоге. Проблеме присвоен умеренный уровень опасности.
Проект Wine опубликовал выпуск пакета vkd3d 1.7 с реализацией Direct3D 12, работающей через трансляцию вызовов в графический API Vulkan. В состав пакета входят библиотеки libvkd3d с реализаций Direct3D 12, libvkd3d-shader c транслятором 4 и 5 модели шейдеров и libvkd3d-utils с функциями для упрощения портирования приложений Direct3D 12, а также набор демонстрационных примеров, включая порт glxgears на Direct3D 12. Код проекта распространяется под лицензией LGPLv2.1.
Библиотека libvkd3d поддерживает большую часть возможностей Direct3D 12, включая средства для графики и вычислений, очереди и списки команд, дескрипторы и дескрипторы кучи, корневые сигнатуры, неупорядоченный доступ, Sampler-ы, сигнатуры команд, корневые константы, непрямую (indirect) отрисовку, методы Clear*() и Copy*(). В libvkd3d-shader реализована трансляция байткода 4 и 5 моделей шейдеров в промежуточное представление SPIR-V. Поддерживаются вершинные, пиксельные, тесселяционные, вычислительные и простые геометрические шейдеры, сериализация и десериализация корневой сигнатуры. Из шейдерных инструкций реализованы арифметические, атомарные и битовые операции, операторы сравнения и управления потоком передачи данных, инструкции sample, gather и load, операции неупорядоченного доступа (UAV, Unordered Access View).
Компания Docker объявила об отмене ранее принятого решения о прекращении действия сервиса по подписке "Docker Free Team", позволяющего организациям, курирующим открытые проекты, бесплатно размещать образы контейнеров в каталоге Docker Hub, организовать работу команд и использовать приватные репозитории. Сообщается, что пользователи "Free Team" могут продолжить работу в прежнем режиме и не опасаться ранее намеченного удаления их учётных записей.
Пользователям, с 14 по 24 марта перешедшим с "Free Team" на платные тарифы, будут возвращены потраченные средства и предоставлена возможность бесплатного использования выбранного тариф на оплаченный срок (далее пользователь может вернуться на бесплатный тариф "Free Team"). Пользователи, запросившие переход на упрощённую персональную подписку или тариф Pro, будут оставлены на бесплатном тарифном плане Free Team.
Ранее пользователям "Docker Free Team" было предложено перейти на платные сервисы, перевести свои учётные записи на более простой персональный тип подписки или заполнить заявку на участие в инициативе Docker-Sponsored Open Source Program, позволяющей получить бесплатный доступ к Docker Hub для активно обновляемых открытых проектов, соответствующих критериям Open Source Initiative, развиваемых в публичных репозиториях и не получающих коммерческой выгоды от своих разработок.
GitHub сообщил об инциденте, в результате которого закрытый RSA-ключ, используемый в качестве хостового ключа при доступе к репозиториям GitHub по SSH, по ошибке оказался опубликован в публично доступном репозитории. Утечка коснулась только ключа RSA, хостовые SSH-ключи ECDSA и Ed25519 продолжают оставаться безопасными. Попавший в открытый доступ хостовый SSH-ключ не позволяет получить доступ к инфраструктуре GitHub или данным пользователей, но может использоваться для перехвата Git-операций, производимых через SSH.
Для исключения возможного перехвата сеансов SSH к GitHub в случае попадания RSA-ключа в руки злоумышленников, GitHub инициировал процесс замены ключа. На стороне пользователей требуется удаление старого открытого ключа GitHub (ssh-keygen -R github.com) или ручная замена ключа в файле ~/.ssh/known_hosts, что может нарушить работу автоматически выполняемых скриптов.
В ядре Linux в реализации файловой системы OverlayFS выявлена уязвимость (CVE-2023-0386), которую можно использовать для получения root-доступа на системах, в которых установлена подсистема FUSЕ и разрешено монтирование разделов OverlayFS непривилегированным пользователем (начиная с ядра Linux 5.11 с включением непривилегированных user namespace). Проблема устранена в ветке ядра 6.2. Публикацию обновлений пакетов в дистрибутивах можно проследить на страницах: Debian, Ubuntu, Gentoo, RHEL, SUSE, Fedora, Arch.
Атака производится через копирование файлов с флагами setgid/setuid из раздела, примонтированного в режиме nosuid, в раздел OverlayFS, имеющий слой, связанный с разделом, допускающим выполнение suid-файлов. Уязвимость близка к проблеме
CVE-2021-3847, выявленной в 2021 году, но отличается более низкими требованиями к эксплуатации - в старой проблеме требовались манипуляции с xattrs, которые ограничены при использования пространств имён идентификаторов пользователя (user namespace), а в новой проблеме используются биты setgid/setuid, которые специально не обрабатываются в user namespace.
Алгоритм совершения атаки:
При помощи подсистемы FUSE монтируется ФС, в которой имеется принадлежащий пользователю root исполняемый файл с флагами setuid/setgid, доступным всем пользователям на запись. При монтировании FUSE выставляет режим "nosuid".
Отменяются (unshare) пространства имён пользователей и точек монтирования (user/mount namespace).
Монтируется OverlayFS с указанием ранее созданной в FUSE ФС в качестве нижнего слоя и верхним слоем на базе каталога, допускающего возможность записи. Каталог верхнего слоя должен размещаться в ФС, при монтировании которой не используется флаг "nosuid".
Для suid-файла в FUSE-разделе утилитой touch меняется время модификации, что приводит к его копированию в верхний слой OverlayFS.
При копировании ядро не убирает флаги setgid/setuid, что приводит к тому, что файл появляется в разделе, допускающем обработку setgid/setuid.
Для получения прав root достаточно запустить файл с флагами setgid/setuid из каталога, прикреплённого к верхнему слою OverlayFS.
Дополнительно можно отметить раскрытие исследователями из команды Google Project Zero сведений о трёх уязвимостях, которые были исправлены в основной ветке ядра Linux 5.15, но не были перенесены в пакеты с ядром из RHEL 8.x/9.x и CentOS Stream 9.
CVE-2023-1252 - обращение к уже освобождённой области памяти в структуре ovl_aio_req при одновременном совершении нескольких операций в OverlayFS, развёрнутой поверх ФС Ext4. Потенциально уязвимость позволяет повысить свои привилегии в системе.
CVE-2023-0590 - обращение к уже освобождённой области памяти в функции qdisc_graft(). Предполагается, что эксплуатация ограничивается аварийным завершением.
CVE-2023-1249 - обращение к уже освобождённой области памяти в коде записи coredump, возникающее из-за пропущенного вызова mmap_lock в file_files_note.
Предполагается, что эксплуатация ограничивается аварийным завершением.
Опубликован релиз Proxmox Virtual Environment 7.4, специализированного Linux-дистрибутива на базе Debian GNU/Linux, нацеленного на развертывание и обслуживание виртуальных серверов с использованием LXC и KVM, и способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V и Citrix Hypervisor. Размер установочного iso-образа 1.1 ГБ.
Proxmox VE предоставляет средства для развёртывания полностью готовой системы виртуальных серверов промышленного уровня с управлением через web-интерфейс, рассчитанный на управление сотнями или даже тысячами виртуальных машин. Дистрибутив имеет встроенные инструменты для организации резервного копирования виртуальных окружений и доступную из коробки поддержку кластеризации, включая возможность миграции виртуальных окружений с одного узла на другой без остановки работы. Среди особенностей web-интерфейса: поддержка безопасной VNC-консоли; управление доступом ко всем доступным объектам (VM, хранилище, узлы и т.п.) на основе ролей; поддержка различных механизмов аутентификации (MS ADS, LDAP, Linux PAM, Proxmox VE authentication).
Реализована возможность включения тёмной темы оформления.
В древовидном списке ресурсов гостевые системы теперь могут быть отсортированы по имени, а не только по VMID.
В web-интерфейсе и API обеспечен показ детальной информации о Ceph OSD (Оbject Storage Daemon).
Добавлена возможность загрузки логов выполнения задач в форме текстовых файлов.
Расширены возможности редактирования работ, связанных с резервным копированием.
Предоставлена поддержка добавления локальных типов хранилищ, размещённых на других узлах кластера.
В мастер добавления хранилища для хранилищ на базе ZFS, LVM и LVM-Thin добавлен интерфейс выбора узла.
Обеспечен автоматический проброс HTTP-соединений на HTTPS.
Улучшен перевод интерфейса на русский язык.
Продолжено развитие планировщика ресурсов кластера (CRS, Cluster Resource Scheduling), выполняющего поиск новых узлов, необходимых для обеспечения высокой доступности. В новой версии добавлена возможность автоматической перебалансировки виртуальных машин и контейнеров на этапе запуска, а не только во время восстановления.
В менеджер обеспечения высокой доступности (HA Manager) добавлена команда CRM для ручного перевода активного узла в режим обслуживания (maintenance) без необходимости перезагрузки. В рамках подготовки к внедрению системы динамического планирования нагрузки в кластере, проведена унификация ресурсов (CPU, память) различных HA-сервисов (виртуальные машины, контейнеры).
В хранилище добавлена опция "content-dirs" для переопределения типа содержимого в определённых подкаталогах (например, iso-образы, шаблоны контейнеров, резервные копии, диски гостевых систем и т.п.).
Переработано вычисление ACL и существенно повышена производительность обработки правил управления доступом на системах с очень большим числом пользователей или большими списками ACL.
Предоставлена возможность отключения уведомления о появлении обновлений пакетов.
В установочном ISO-образе предоставлена возможность выбора часового пояса в процессе инсталляции для упрощения синхронизации территориально разделённых хостов или кластеров.
В LXC-контейнерах добавлена поддержка архитектур riscv32 и riscv64 (для работы требуется установка пакетов qemu-user-static и binfmt-support).
Обновлены версии систем в шаблонах контейнеров для архитектуры amd64.
Осуществлена синхронизация с пакетной базой Debian 11.6. По умолчанию предложено ядро Linux 5.15, опционально доступен выпуск 6.2. Обновлены QEMU 7.2, LXC 5.0.2, ZFS 2.1.9, Ceph Quincy 17.2.5, Ceph Pacific 16.2.11.
Опубликованы корректирующие выпуски коммуникационного клиента Dino 0.4.2, 0.3.2 и 0.2.3, поддерживающего чат, аудиовызовы, видеовызовы, видеоконференции и обмен текстовыми сообщениями с использованием протокола Jabber/XMPP. В обновлениях устранена уязвимость (CVE-2023-28686), позволяющая неавторизированному пользователю через отправку специально оформленного сообщения организовать добавление, изменение или удаление записей в персональных закладках другого пользователя без необходимости совершения жертвой каких-то действий. Кроме того, уязвимость позволяет изменить отображение групповых чатов или принудительно подключить или отключить пользователя от определённого группового чата, а также ввести пользователя в заблуждение для получения доступа к конфиденциальной информации.
Компания NVIDIA представила выпуск новой ветки проприетарного драйвера NVIDIA 530.41.03. Драйвер доступен для Linux (ARM64, x86_64), FreeBSD (x86_64) и Solaris (x86_64). NVIDIA 530.x стала четвёртой стабильной веткой после открытия компанией NVIDIA компонентов, работающих на уровне ядра. Исходные тексты модулей ядра nvidia.ko, nvidia-drm.ko (Direct Rendering Manager), nvidia-modeset.ko и nvidia-uvm.ko (Unified Video Memory) из состава NVIDIA 530.41.03, а также используемые в них общие компоненты, не привязанные к операционной системе, опубликованы на GitHub. Прошивки и используемые в пространстве пользователя библиотеки, такие как стеки CUDA, OpenGL и Vulkan, остаются проприетарными.
Добавлен профиль приложения для решения проблем с производительностью в Xfce 4 при использовании бэкенда OpenGL с включённым G-SYNC.
Добавлена поддержка перехода в спящий режим при использовании прошивки GSP.
Пиктограмма приложения nvidia-settings перемещена в тему пиктограмм hicolor, что позволяет менять пиктограмму через выбор других тем в пользовательском окружении.
Решена проблема с Wayland-приложениями на системах, использующих технологию PRIME для выноса операций отрисовки на AMD iGPU (PRIME Render Offload).
В установщике nvidia-installer прекращено использование переменной окружения XDG_DATA_DIRS (файлы с данными XDG теперь устанавливаются в /usr/share или в каталог, указанный через опцию --xdg-data-dir). Изменение решает проблему при установленном Flatpak, из-за которого файл nvidia-settings.desktop размещался в каталоге /root/.local/share/flatpak/exports/share/applications.
Формат сжатия пакета .run заменён с xz на zstd.
Обеспечена совместимость с ядрами Linux, собранных с включённым режимом защиты IBT (Indirect Branch Tracking).
Добавлены NV-CONTROL атрибуты NV_CTRL_FRAMELOCK_MULTIPLY_DIVIDE_MODE и NV_CTRL_FRAMELOCK_MULTIPLY_DIVIDE_VALUE для синхронизации карты Quadro Sync II с другими параметрами сигнала House Sync.
Основной целью нового выпуска является обновление установочных образов для архитектуры amd64. В установочном образе решены проблемы, связанные с отзывом ключей в ходе устранения уязвимости в загрузчике GRUB2. Таким образом возобновлена возможность установки Ubuntu 20.04 на системы с UEFI Secure Boot.
Использовать представленную сборку имеет смысл только для старого оборудования, а для новых систем более актуальным является выпуск Ubuntu 22.04.2 LTS. Системы, установленные ранее, могут получить все присутствующие в Ubuntu 20.04.6 изменения через штатную систему установки обновлений. Поддержка выпуска обновлений и исправлений проблем безопасности для серверной и десктоп редакций Ubuntu 20.04 LTS продлится до апреля 2025 года, после чего ещё 5 лет будут формироваться обновления в рамках отдельной платной поддержки (ESM, Extended Security Maintenance).
Компания Яндекс объявила об открытии исходных текстов платформы распределённого хранения и обработки больших объёмов данных YTsaurus, поддерживающей манипуляцию данными с использованием парадигмы MapReduce, движка SQL-запросов, распределённой файловой системы и NoSQL-СУБД класса "ключ-значение". YTsaurus используется в инфраструктуре Яндекс для эффективного использования вычислительных мощностей суперкомпьютеров компании. Код проекта написан на языках C/C++ и открыт под лицензией Apache 2.0.
Платформа может масштабироваться до кластеров, включающих более 10 тысяч узлов и охватывающих до миллиона процессоров и тысяч GPU (для решения задач машинного обучения). В качестве образующих кластер единиц могут использоваться изолированные контейнеры, запускаемые на физических серверах. В хранилище могут находится эксабайты данных, размещённые на различных носителях, таких как жёсткие диски, SATA/SAS/NVMe SSD, а также в оперативной памяти. В кластере поддерживается динамическое добавление и удаление узлов, резервирование (нет единой точки отказа), автоматическая репликация, обновление кластерного ПО без остановки работы и автоматическое восстановление избыточности в случае выхода узлов из строя.
Поддерживается три вида кластеров: вычислительные (для массово-параллельной обработки при помощи операций MapReduce), для динамических таблиц в формате "ключ-значение" и геораспределённые. Сервис на базе платформы может предоставлять средства для хранения и обработки данных десятков тысяч пользователей. Среди типовых областей применения YTsaurus в Яндекс называется хранение информации о пользователях рекламной сети,
обучение моделей машинного обучения, формирование поискового индекса и
построение хранилищ данных для таких сервисов, как Яндекс Такси, Еда, Лавка и Доставки.
Базовые сценарии использования:
Пакетная обработка. MapReduce и SPYT (Apache Spark в качестве вычислительного движка поверх данных в YTsaurus) для обработки структурированных и полуструктурированных данных: логов или финансовых транзакций.
Ad hoc аналитика. Быстрые запросы через CHYT (кластер ClickHouse на вычислительных узлах YTsaurus) без копирования данных в отдельную аналитическую систему. Интерфейсы ODBC и JDBC позволяют подключиться из BI-систем для визуализации.
OLTP-задачи. Транзакционная работа в реальном времени с СУБД в формате "ключ-значение": например, для хранения профилей пользователей, показа рекламы или потоковой обработки.
Машинное обучение. Управление кластерами GPU для обучения моделей с миллиардами параметров.
Хранилище метаинформации. Транзакционное хранение метаинформации и надёжный сервис распределённых блокировок.
Построение хранилищ данных и ETL для многоуровневой обработки данных при помощи типовых инструментов: Apache Spark, SQL, MapReduce.
Основные элементы архитектуры:
Распределённая файловая система и отказоустойчивое древовидное хранилище метаинформации Cypress. Поддерживается хранение в форме файлов и таблиц (с разбивкой на столбцы и строки), прозрачное секционирование таблиц, сжатие данных (lz4 и zstd), поддержание кодов для восстановления в случае потери информации и контрольных сумм, фоновая репликация, транзакции, разграничение прав доступа (вплоть до уровня колонок таблиц).
Планировщик для распределённых вычислений с поддержкой модели MapReduce, а также расширенных базовых операций, таких как Erase и Sort. Горизонтальная масштабируемость вычислительных операций.
Изоляция вычислительных ресурсов и возможность выделять определённые вычислительные ресурсы (CPU, GPU, ОЗУ) в разных пропорциях.
Высокоуровневые вычислительные движки для аналитических запросов CHYT (ClickHouse поверх YTsaurus) и SPYT (Apache Spark поверх YTsaurus). Движок YQL с реализацией диалекта SQL, поддерживающего операции соединения (join), подзапросы, оконные функции и параллельное исполнение запросов произвольной сложности.
Динамические таблицы для создания OLTP-системы, поддерживающие хранение на базе модели MVCC, транзакции, возможность удаления данных после истечения времени жизни и очереди сообщений для организации потоковой обработки данных поверх динамических таблиц.
API и библиотеки для языков программирования С++, Python, Java, Go.
Web-интерфейс для пользователей и администраторов, поддерживающий навигацию по древовидному хранилищу, выполнение операций с таблицами, каталогами и файлами, отправку SQL-запросов, мониторинг за кластером, управление пользователями, назначение квот,
разграничение доступа.
