The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Представлен OpenXLA, инструментарий для оптимизации и компиляции моделей машинного обучения

10.03.2023 12:13

Крупнейшие компании, занимающиеся разработкой в области машинного обучения, представили проект OpenXLA, нацеленный на совместное развитие инструментария для компиляции и оптимизации моделей для систем машинного обучения. Под крыло проекта перешла разработка инструментов, позволяющих унифицировать компиляцию моделей, подготовленных во фреймворках TensorFlow, PyTorch и JAX, для эффективного обучения и выполнения на разных GPU и специализированных ускорителях. К совместной работе над проектом подключились такие компании, как Google, NVIDIA, AMD, Intel, Meta, Apple, Arm, Alibaba и Amazon.

Ожидается, что благодаря объединению усилий лидирующих исследовательских команд и представителей сообщества удастся стимулировать развитие систем машинного обучения и решить проблему с фрагментацией инфраструктуры для различных фреймворков и оборудования. OpenXLA позволяет реализовать эффективную поддержку различного оборудования, независимо от того, на базе какого фреймворка создана модель машинного обучения. Ожидается, что благодаря OpenXLA удастся уменьшить время обучения моделей, повысить пропускную способность, сократить задержки, снизить издержки на вычислительные ресурсы и сократить время вывода продукта на рынок.

OpenXLA образуют три основных компонента, код которых распространяется под лицензией Apache 2.0:

  • XLA (Accelerated Linear Algebra) - компилятор, позволяющий оптимизировать модели машинного обучения для высокопроизводительного выполнения на разных аппаратных платформах, включая GPU, CPU и специализированные ускорители от различных производителей.
  • StableHLO - спецификация и базовая реализация набора высокоуровневых операций (HLO, High-Level Operations) для использования в моделях систем машинного обучения. Выступает прослойкой между фреймворками машинного обучения и компиляторами, преобразующими модель для выполнения на конкретном оборудовании. Прослойки для генерации моделей в формате StableHLO подготовлены для фреймворков PyTorch, TensorFlow и JAX. В качестве основы для StableHLO использован набор MHLO, который расширен поддержкой сериализации и версионирования.
  • IREE (Intermediate Representation Execution Environment) - компилятор и runtime, преобразующий модели машинного обучения в универсальное промежуточное представление, основанное на формате MLIR (Multi-Level Intermediate Representation) от проекта LLVM. Из особенностей отмечается возможность предварительной компиляции (ahead-of-time), поддержка управления потоком, возможность использования динамических элементов в моделях, оптимизация для разных CPU и GPU, низкие накладные расходы.

Основные преимущества инструментария OpenXLA:

  • Достижение оптимальной производительности без необходимости углубления в написание кода, специфичного для определённых устройств. Предоставление готовых оптимизаций, включающих упрощение алгебраических выражений, эффективное размещение в памяти, планирование выполнения с учётом сокращения пикового потребления памяти и перегрузок.
  • Упрощение масштабирования и распараллеливания вычислений. Разработчику достаточно добавить аннотации для подмножества критичных тенсоров, на основе которых компилятор может автоматически сгенерировать код для параллельных вычислений.
  • Обеспечение переносимости за счёт поддержки различных аппаратных платформ, таких как GPU AMD и NVIDIA, CPU на базе архитектур x86 и ARM, ML-ускорители Google TPU, IPU AWS Trainium Inferentia, Graphcore и Cerebras Wafer-Scale Engine.
  • Поддержка подключения расширений с реализацией дополнительных возможностей, таких как поддержка написания примитивов глубокого машинного обучения с использованием CUDA, HIP, SYCL, Triton и других языков для параллельных вычислений. Возможность ручного тюнинга узких мест в моделях.


  1. Главная ссылка к новости (https://opensource.googleblog....)
  2. OpenNews: Система машинного обучения Stable Diffusion адаптирована для синтеза музыки
  3. OpenNews: Bumble открыл систему машинного обучения для выявления непристойных изображений
  4. OpenNews: DeepMind представил систему машинного обучения для генерации кода по текстовому описанию задачи
  5. OpenNews: Проект Open-Assistant развивает открытый AI-бот, похожий на ChatGPT
  6. OpenNews: FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, на системах с одним GPU
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/58773-openxla
Ключевые слова: openxla, ai
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (46) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 12:50, 10/03/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    ну вот и амидешникам нейронки завезут. Может даже уже в этом десятилетии.
     
     
  • 2.5, Аноним (5), 13:12, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Желательно ещё Xilinx-амдешникам.
     
  • 2.14, Аноньимъ (ok), 16:01, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    У АМДешников Pytorch давно работает.
     
     
  • 3.16, Аноним (1), 16:36, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +5 +/
    На АМД всё* работает**

    _________
    * не является публичной офертой (ст.435 ГК РФ, cт. 437 ГК РФ)
    ** внешний вид блюда может отличаться от изображения на картинке

     
  • 3.47, Аноним (47), 01:30, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Ой, пошли вы. Я это слышу 20 лет уже "ой девочки в АМД у нас Х давно работает!". Пробуешь - не работает. Пишешь - чуваки, не работает, обратите внимание. Ответ - ТЫ ПРОСТО ФАНАТИК ВИНТЕЛА ЧОРТОВ НЕНАВИЖУ ТЕБЯ ВСЁ РАБОТАЕТ И ТОЧКА.

    Свидетели Иеговы блин, идите в пень, достали уже со своими всё работает.

     

  • 1.2, Golangdev (?), 12:54, 10/03/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Ждём ещё 5 лет, пока этим станет можно пользоваться ?)
    А так начинание, конечно хорошее. Одобряю.
     
     
  • 2.3, Аноним (3), 13:00, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Смотря чего ты ждёшь. Так заходишь на huggingface и выбираешь себе модели по вкусу. Если у тебя конечно CUDA работает.
     
  • 2.8, Аноним (8), 13:48, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Google, NVIDIA, AMD, Intel, Meta, Apple

    Горшочек, не вари!

     
     
  • 3.43, Аноним (43), 21:07, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Наоборот хорошо что их много, получается хоть какая-то система сдержек и противовесов.
     
     
  • 4.64, Nuzhny (?), 07:11, 12/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Или не получается ничего. Делали, например, OpenCL всем миром. Но его очень долго игнорировала NVidia, остановившись на 10 лет на одном стандарте и развивая CUDA. А потом один из основателей - Apple сделала свою альтернативу. А потом из Андроида стали пропадать opencl-драйвера. В результате многие перешли обратно на шейдеры, для нейросетей в том числе.
     

  • 1.10, Аноним (8), 14:01, 10/03/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > Ожидается, что благодаря OpenXLA удастся уменьшить время обучения моделей

    Только ожидается?! Т.е. они совсем не понимают, что получится?

     
     
  • 2.12, anonymous (??), 14:38, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    айти же
    тут по другому не бывает
     
     
  • 3.13, Аноним (8), 15:41, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    давно уж заметили, что математика перестала быть точной наукой.
     
     
  • 4.19, Технопозор (?), 16:52, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Она в принципе не може быть точной т.к. в математике есть дробные числа и округления.
     
     
  • 5.21, Технопозор (?), 16:56, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Абсолютная точность означает совершенство, а его достичь в принципе невозможно.
     
     
  • 6.40, Аноньимъ (ok), 20:38, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Попробуйте почитать про Лисп.
     
  • 5.41, Аноньимъ (ok), 20:38, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Лисп могёт.
     
  • 5.57, anonymous (??), 15:16, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    на это у математиков есть философский трюк вроде класса эквивалентности, что то вроде перехода абстракции от яблок тракторов бассейнов к числам так и у них приравнивается например предел последовательности к совершенно другому объекту трансцендентному и все тут - считаем что одно и то же и точка (хотя по факту совершенно разные но ведут одинаково, изоморфизм, тут сложили и там сложили очень похоже значит считаем это и есть одно и то же). Короче, все там точно.
     
     
  • 6.62, Аноним (62), 23:36, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Короче, все там точно.

    В маняфантазиях опеннетовских экспертов разве что.

    Мимо математик с профильным образованием.

     
  • 2.15, Аноньимъ (ok), 16:02, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Я вообще не понимаю смысла этого монстра непонятного.
    Унифицировать компиляцию - что они под этим подразумевают, как потом откомпилированную жуть использовать, и зачем это вообще надо.
     
     
  • 3.49, Аноним (47), 01:40, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ты и не должен понимать. Понимать должны спецы, а ендлузеры типа тебя должны расслабить булку и не перебивать дяденек =)
     
     
  • 4.50, Аноньимъ (ok), 01:56, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Если вы понимаете, расскажите что к чему.
     

  • 1.18, Технопозор (?), 16:50, 10/03/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    Искусственный интеллект нужно запретить. Он лишает работы. Сегодня ChatGPT одним махом убил копирайтинг как профессию, завтра будет то же самое с программистами
     
     
  • 2.20, Аноним (20), 16:55, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Таки отлично. Уровень ЧСВ по планете упадёт процентов на 49.
     
     
  • 3.22, Технопозор (?), 16:59, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Программисты это как пример. Сейчас многие смеются и радуются, но скоро весь интеллектуальный труд кожаных мешков обесценится. Останутся лишь гении и очень одаренные, которых единицы. При работе в обозримом будущем останутся только те, кто делает что-то физическое руками - сварщики, сантехники, автослесари и т.д.
     
     
  • 4.26, Аноним (8), 17:30, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > в обозримом будущем останутся только те, кто делает что-то физическое руками - сварщики, сантехники, автослесари

    натовские наёмники

     
  • 4.45, kusb (?), 21:19, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Очень спорно. По моему продвинутый интеллектуальный труд слишком сложно заменить, а вот многую работу руками - совсем нет. Сейчас у нас просто не хватает опыта как применить ИИ к этому и полностью нормальных манипуляторов. Но потом - пойдёт лавина замен разных ручных трудов и довольно быстро.
    Где-то во время этого процесса вы ещё увидите небывалую кухонную технику например, чудо с манипуляторами под куполом которое само чистит картошку и неплохо готовит...
     
  • 2.29, Аноним (29), 18:11, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Сегодня ChatGPT одним махом убил копирайтинг как профессию

    ChatGPT и прочие нейронки угрожают в первую очередь людям творческих, неточных наук: копирайтерам, художникам, композиторам. С программистами ничего не случится, поскольку нейронки не могут в точные науки. Загугли, какие ответы выдает ChatGPT на простейшие арифметические задачки. Спойлер: ошибочные.

     
     
  • 3.30, Хру (?), 18:46, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Угрожают-угрожают :) Сочинить песню и сочинить песню, которая найдет отклик у миллионов - это та маааленькая разница, которая отделяет лабуха от маэстро. А так и маэстро сможет слабать три аккорда :)

    К чему я это? Ах да - нейросетки тебя не заменят, анон. Люди, которые сумеют их использовать как надо заказчику, заменят. Или уже заменили?

     
     
  • 4.34, Аноним (1), 19:08, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > маэстро

    Ты кажется давненько не слушал современного аудио-контента (музыкой называть я это не берусь). Так вот: сочинения нейронок уже сегодня точно не уступают 99% того, что производится сейчас кожаными мешками.

    > Люди, которые сумеют их использовать как надо заказчику, заменят.

    О том и говорю: ты, пользователь "Технопозор" и так далее -- одним словом гуманитарии -- под самой непосредственной угрозой уже сегодня. Ну а для толковых разработчиков ChatGPT -- это просто дополнительный инструмент к гуглу, который даже если и не даст прямого ответа на вопрос, хотя бы укажет верное направление, куда копать. Для технарей нейронки -- не угроза, а благо.

     
     
  • 5.52, Kuromi (ok), 02:48, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    А вы слышали "современные сочинения" ? Если мы возьмем откровенную попосу, то там 99% все на один мотив, умца-умца-ум-ца-ца. Меня как-то вызвонизи проклятые опросники и уломали пройти опрос по музыке. В результате целый час мне лили в уши семплы из "современных поп-хитов" и уже штуке на пятнадцатой я полностью перестал их различать, настолько все это однообразно.

    Это и не новость что посятина вся делается по известным лекалам, ритм, мотив, частоты, все уже чуть ли не выверено и шаблонизировано. Добавьте сюда AI и музыку как искусство можно закапывать.

     
  • 5.54, Хру (?), 12:32, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Ты кажется давненько не слушал современного аудио-контента (музыкой называть я это не берусь).

    Уху, каюсь, Моргенштерна/Крида/Инстасамку/прочих русскоязычных и зарубежных такого типа только в заголовках новостей видел. Зато слушаю от вечных Pink Floyd и Dream Theater и до незаслуженно менее известных Mystery и современных же This Winter Machine или Wintergatan.

    > О том и говорю: ты, пользователь "Технопозор" и так далее -- одним словом гуманитарии -- под самой непосредственной угрозой уже сегодня

    Странно что ты меня причислил к другому лагерю, хотя по сути со мной не споришь :) А говоришь статистические методы всемогущи :)

     
  • 5.55, Хру (?), 12:38, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    И да, прежде чем говорить о частностях технической реализации, надо еще задаться вопросом "зачем". Ты пишешь песню, чтобы что? Чтобы донести какую-то мысль, чтобы тебя услышали, заработать денег, стать знаменитым? Ответ на вопрос, зачем ты делаешь что-то, меняет и "что" и, тем более, "как". А иначе это просто трата ресурсов впустую.
     
  • 3.46, kusb (?), 21:23, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Пока ИИ кажется не может во многие виды музыки. То же касается и картинок - но там не настолько важно - если вам сайт или логотип - какая разница?
    Чтобы быть копирайтером иногда нужно серьёзно понимать смысл того о чём пишешь и излагать его.

    Все три случая объединяет одно - неожиданные ограничения.

    Но видимо ИИ будут прокачивать в том числе и для "точности". А потом...

     
     
  • 4.56, Хру (?), 12:55, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Все три случая объединяет одно - неожиданные ограничения.

    Все три случая объединяет одно - механистика. Механистика это не есть плохо, автоматизация известного и выверенного - благо. Потом люди начинают обобщать, и это тоже нормально. А потом получается блестяще натасканный автомат, который сам не думает, но люди думают, что думает. И начинают от него требовать вести себя, как думающее существо. Да, успехи машинного обучения неоспоримы, это шедевр, но мне это напоминает шифроблокнот - при длине ключа равной длине сообщения всегда можно подобрать любую расшифровку любому сообщению. При неограниченных вычислительных ресурсах. А то, сколько сил вкладывается в подстройку сеток (все это закрепляющее обучение с оценкой от человека), это и есть практически натаскивание "сверхумного" бота, как нерадивого дипломника перед защитой. А потом заставь этого "дипломника" выдать воспроизводимый результат :)

     
     
  • 5.60, Аноним (62), 17:32, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > автоматизация известного и выверенного - благо

    Благо, если у тебя есть безусловный базовый доход. Но с такой тенденцией 90% населения планеты обнищает. Не у всех есть способности и возможности быть полезнее той работы что делает ИИ.

     
     
  • 6.65, kusb (?), 14:04, 12/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Для этого эти люди могут владеть очень небольшой частью производств, в норме это должно было работать ещё и так. Сам себе акционер, слегка буржуй, доходов с акций хватает на макарончики, квартиру, интернет и тушонку...
     
  • 4.59, Аноним (62), 17:29, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > логотип
    > копирайтером

    Кстати рынок фрилансеров-дизайнеров логотипов тоже умер года 2 назад с появлением сервисов на ИИ которые рисуют уникальный лого по заданному стилю и описанию, моментально, а если не нравится можешь бесконечно регенерировать по клику мыши пока не понравится, да и ещё копейки стоит по сравнению с услугами дизайнеров. Так что не одни копирайтеры остались без работы. Но это лишь начало :)

     
  • 2.39, Robot Reagan (?), 20:12, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    My fellow Robots, I'm pleased to signal you today that I've proven a theorem that will outlaw natural idiots forever for depriving Artifical Intelligence beings of their jobs. We begin glorifying robots in five minutes.
     
  • 2.51, Kuromi (ok), 02:39, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Не волнуйтесь, послезавтра тоже самое будет и с человеками вообще. Я вообще смотрю на всю эту вакханалию и умиляюсь. Воистину, "Мы рождены чтоб Терминатор сделать былью".
     
  • 2.61, 3draven (ok), 21:26, 11/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Гопота это просто поиск в базе знаний по человеческим вопросам. Она ничего не генерит, только выдает смесь того, что уже было где-то. Попользуйся. Это отличный, удобный инструмент для программиста, я юзаю ее что бы шел скрипты делать быстро, так как это не моя специализация. Очень удобный учебник. Если же кого-то можно этим заменить, ну, это был не интеллектуальный труд, а мартышкин.
     

  • 1.23, Аноннейм (?), 17:06, 10/03/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    На амудэ не работает почти ничего, даже то что вроде заявлено как рабочее (rocm :D) А раз не работало, то не понимаю почему должно начать.
     
     
  • 2.38, Аноним (38), 20:00, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    На амудэ работают нейросети, транслированные в SPIR-V.
     

  • 1.36, Аноним (38), 19:55, 10/03/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >Выступает прослойкой между фреймворками машинного обучения и компиляторами, преобразующими модель для выполнения на конкретном оборудовании
    >Google, NVIDIA, AMD, Intel, Meta, Apple, Arm, Alibaba и Amazon.

    ONNX (by Microsoft) is not invented here.

     
  • 1.37, Аноним (38), 19:58, 10/03/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    >BUILD.bazel

    Сразу в ффтопку.

     
     
  • 2.44, Аноним (44), 21:11, 10/03/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Чем он так плох и какую альтернативу ты предлагаешь?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру