The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск Savant 0.2.4, фреймворка компьютерного зрения и глубокого обучения

17.07.2023 11:36

После месяца разработки опубликован выпуск Python-фреймворка Savant 0.2.4, упрощающего использование NVIDIA DeepStream для решения задач, связанных с машинным обучением. Фреймворк берет на себя всю сложную работу с GStreamer или FFmpeg, позволяя сосредоточиться на построении оптимизированных конвейеров вывода с помощью декларативного синтаксиса (YAML) и функций Python. Savant позволяет создавать конвейеры (pipeline), которые одинаково работают как на ускорителях в датацентре (NVIDIA Turing, Ampere, Hopper), так и на edge-устройствах (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). С помощью Savant можно легко обрабатывать несколько видеопотоков одновременно, быстро создавать готовые к рабочим применениям конвейеры видеоаналитики, использующие NVIDIA TensorRT. Код проекта распространяется под лицензией Apache 2.0.

Три новых примера использования:

  • Предсказание возраста/пола, демонстрирующее использование YoloV5-Face, работу с пользовательской атрибутивной моделью, предсказывающей возраст и пол, и аффинные преобразования в GPU на основе лицевых лэндмарок с помощью OpenCV-CUDA и Python;
  • Условное кодирование видео, демонстрирующие конвейер, который рисует на кадрах и кодирует видеопоток только по запросу (в примере - только при обнаружении объектов моделью); показывает, как избежать нерационального использования вычислительных ресурсов, когда кадры требуются по определённому внешнему условию;
  • Обработка нескольких RTSP-потоков, демонстрирующая простой конвейер, обрабатывающий два RTSP-потока; поскольку Savant сильно отличается от ожиданий пользователей в отношении динамической обработки потоков, реализован простой конвейер, обрабатывающий несколько потоков одновременно, чтобы показать, как это работает.

Новые возможности

  • Условная отрисовка и кодирование, позволяющие снизить трафик и рационально использовать ресурсы CPU/GPU;
  • Новый адаптер источника RTSP на базе FFmpeg, который работает гораздо лучше, чем GStreamer, когда потоки включают B-кадры;
  • Новый универсальный адаптер на базе FFmpeg, который может работать со всеми входными данными, поддерживаемыми FFmpeg.
  • При разработке внедрена практика отслеживания возможных регрессий производительности при объединении каждого тикета.
  • Продолжен перенос внутренних компонентов Savant с Python на Rust: реализована библиотека основной функциональности Savant-rs с тщательно тестируемым кодом; постепенно производится замена компонентов на основе Python на компоненты на основе Rust, чтобы обеспечить работу Savant без глобальной блокировки (GIL), где это возможно, и высокое качество кода.
  • Расширена документация:
    • Документированы адаптеры для работы с данными;
    • Добавлены примеры использования препроцессинга изображений;
    • Создан раздел по настройке среды разработки в VS Code.
  • Выявлена ошибка в реализации функциональности NVENC на устройствах Jetson: NVENC некорректно упорядочивает кодируемые кадры, если фактическая частота кадров в потоке не равна настроенной, что часто происходит при работе с потоками RTSP или при пропуске кадров по определённым условиям. В Savant проблема решена обходным путём через переупорядочивание кадров, когда это необходимо. Ошибка проявляется в DeepStream 6.2 и о ней отправлено уведомление компании NVIDIA, которая подтвердила наличие ошибки и исправит это в ближайшем релизе DeepStream.

В следующем релизе Savant 0.2.5 планируется интегрировать больше кода на языке Rust, чтобы сделать конвейеры менее зависимыми от GIL. Также планируется предложить новые функции, связанные с динамической конфигурацией конвейера и разработкой edge, и добавить три-четыре новых примера, охватывающих базовые и расширенные функции.

  1. Главная ссылка к новости (https://github.com/insight-pla...)
  2. OpenNews: Вышел Savant 0.2.3, Python-фреймворк для компьютерного зрения и видеоаналитики
  3. OpenNews: Компания NVIDIA опубликовала заголовочные файлы с данными для программирования 3D-движков
  4. OpenNews: Компания NVIDIA опубликовала код RTX Remix Runtime
  5. OpenNews: Выпуск библиотеки компьютерного зрения OpenCV 4.7
  6. OpenNews: Компания NVIDIA открыла код движка симуляции физических процессов PhysX
Автор новости: ivankudriavtsev
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/59454-savant
Ключевые слова: savant, ai, deepstream
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (13) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, soarin (ok), 12:45, 17/07/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Предсказание возраста/пола

    Для людей только? 🤨

     
     
  • 2.2, Аноним (2), 13:01, 17/07/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Мне нужно для текста (в рамках контекста), я вижу, с этим определённые проблемы в имеющихся моделях.
     
  • 2.34, FF (?), 21:13, 17/07/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Не для тебя и твоих любимых - те одинаково выглядят, если не нарисованы.
     

  • 1.3, Аноним (3), 13:18, 17/07/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    > упрощающего использование NVIDIA DeepStream

    AMD как обычно в пролете. Ничего удивительного, ибо видюхи AMD годятся только для игр под вантузом. Компания-неудачник.

     
     
  • 2.4, гоквч (?), 13:36, 17/07/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Толсто-же
     
     
  • 3.5, Аноним (2), 13:52, 17/07/2023 [^] [^^] [^^^] [ответить]  
  • –6 +/
    Так-то он прав же, АМД просто прогнулась и дала скидки. Как компания, они вроде бы ничего и не производят по сути, кроме рекламы и пиара. Догоняют, как получится, но это всё же аутсайдер.
     
     
  • 4.37, Аноним (37), 22:30, 17/07/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    минусуют иксперды, ни секунды в жизни не занимавшиеся ml/dl, иначе знали бы, что amd проиграла эту битву, даже толком не ввязавшись
     
  • 2.24, soarin (ok), 17:34, 17/07/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > AMD годятся только для игр под вантузом

    Для этого Nvidia лучше.

     
     
  • 3.33, Гашпшпщм (?), 19:41, 17/07/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Nvidia лучше для всего
     
     
  • 4.40, tty0 (?), 01:22, 18/07/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Вы правы, главное не забывайте обновлять железо разв 5 лет
     
  • 2.35, FF (?), 21:14, 17/07/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Сантиметрами еще рано вам мериться, меритесь цветами транснациональной корпорации, акционеры которых одинаковые
     

  • 1.26, Аноньимъ (ok), 17:48, 17/07/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    С питона на раст, хммм...
     
     
  • 2.42, Аноним (42), 10:15, 21/07/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Нормальная практика переписывать прототип на что-то более подходящее и перспективное.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру