The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Facebook открыл модули машинного обучения, использующие GPU для ускорения

17.01.2015 10:08

Facebook опубликовал серию модулей для библиотеки Torch с реализацией алгоритмов глубинного обучения. Модули разработаны в учреждённой при Facebook лаборатории исследований в области искусственного интеллекта и могут применяться для таких задач как распознавание изображений и обработка естественного языка (NLP). При моделировании нейронной сети и организации параллельной обработки данных в модулях активно используется вынос вычислений на сторону GPU, в том числе возможно одновременное распределение вычислений на несколько GPU.

Представленные модули существенно быстрее, чем модули из фреймворка Torch, предоставляющего средства для использования алгоритмов машинного обучения в программах на языке Lua. Например, при выполнении теста по классификации изображений указанные модули обеспечили производительность в 23.5 раза опережающую наиболее быструю реализацию ConvNets. При этом данные модули могут использоваться в качестве прозрачной замены штатным модулям Torch, предлагаемым для построения cвёрточных нейронных сетей (ConvNets). Код предназначен для использования с языком Lua (на Lua только обвязка, низкоуровневые компоненты написаны на С++) и распространяется под лицензией BSD.

Из опубликованных компонентов можно отметить:

  • fbnn - набор расширений для фреймворка Torch и пакета nn, предназначенного для построения нейронных сетей. Доступны расширения fbnn.Dropout, fbnn.Optim, fbnn.Probe, fbnn.TrueNLLCriterion и fbnn.SparseLinear;
  • fbcunn - набор очень быстрых модулей для Torch с реализацией алгоритмов машинного обучения, использующих CUDA для ускорения на стороне GPU. Модули можно использовать совместно с базой ImageNet для автоматической классификации изображений;
  • fblualib - коллекция вспомогательных утилит для Lua и Torch. Некоторые компоненты можно использовать независимо от Torch, но для их работы требуется LuaJIT. В частности доступны утилиты для создания расширений на языке Lua, модуль для связывания Lua и Python, отладчик, библиотека для сериализации произвольных объектов Lua, библиотека для чтения и записи файлов в формате Matlab (.mat);
  • fbcuda - библиотека с расширениями CUDA, предоставляющая API для выполнения различных операций на стороне GPU;
  • iTorch - надстройка над IPython для Torch, предоставляющая средства для визуализации изображений, видео и звука, а также для формирования графиков.


  1. Главная ссылка к новости (https://research.facebook.com/...)
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/41479-lua
Ключевые слова: lua, ai, torch
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (43) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Fracta1L (ok), 10:58, 17/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +7 +/
    Да, лучше, чтобы Скайнет был свободным.
     
     
  • 2.2, MPEG LA (ok), 11:39, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • +8 +/
    может это скайнет сам себя открыл, а фейсбук для пиара привлек. надо быть начеку.
     
     
  • 3.5, Аноним (-), 12:29, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • +14 +/
    Всё гораздо опаснее: Цукерберг может оказаться стиральной машиной из будущего, проводящий инициалищацию будущей стиральной империи.
     
     
  • 4.10, node12.skynet.local (?), 16:24, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    You've just made my 86400000000 nanoseconds.
     
     
  • 5.45, softfire (?), 09:28, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Либо микросекунд. Либо три нуля дописывай.
     
  • 4.24, Аноним (-), 04:22, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > проводящий инициалищацию будущей стиральной империи.




    Elon Musk tweeted:
        “Hope we’re not just the biological boot loader for digital superintelligence.”



    "Кажется пчелы начинают что-то подозревать".

     
     
  • 5.32, Pahanivo (ok), 08:35, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    I am afraid that only. Several billion backup copies of biological loader.
     
     
  • 6.41, Аноним (-), 23:39, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > I am afraid that only. Several billion backup copies of biological loader.

    Mgimo finished? А так - ну да, множественное резервирование же. Критичные процессы не должны заваливаться. Даже в условиях падений метеоритов и прочих ядерных войн.

     
     
  • 7.44, Pahanivo (ok), 07:40, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    >> I am afraid that only. Several billion backup copies of biological loader.
    > Mgimo finished? А так - ну да, множественное резервирование же. Критичные процессы
    > не должны заваливаться. Даже в условиях падений метеоритов и прочих ядерных
    > войн.

    John Connor detected.

     
  • 2.9, Константавр (ok), 15:59, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • +10 +/
    Всё. Ушел строгать Джона Коннора. Раз они так - то и мы так :)
     
  • 2.11, Crazy Alex (ok), 17:03, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Лично я с нетерпением (не шучу) жду страж-птиц или чего другое боевое и автоматическое. Вот тогда начнётся настоящая битва  миров - стратегия и технологии против пропаганды и пушечного мяса :-)
     
     
  • 3.14, Fracta1L (ok), 19:26, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Лол. Ты слишком переоцениваешь разницу между естественным и искусственным иинтеллектом.
     
     
  • 4.25, Аноним (-), 04:28, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Лол. Ты слишком переоцениваешь разницу между естественным и искусственным иинтеллектом.

    С другой стороны, для машин секунда - почти вечность. За это время можно сделать многое. Только подумай: машины могут на лету сшибать пули, снаряды и ракеты. Фантастика? Хрен, всего лишь "активные системы защиты" - довольно обыденная штука уже.

     
     
  • 5.29, Fracta1L (ok), 06:38, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    А интересно, до каких пределов можно "ускорить" субъективное ощущение времени. Вроде когда-то ставили эксперимент: помещали людей в полностью изолированный бункер и все часы в нём настраивали так, чтобы они шли ровно в два раза быстрее. И люди в бункере через некоторое время успешно входили в такой ритм.
     
     
  • 6.33, Аноним (-), 09:19, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    До скоростей типичных для процессоров и микроконтроллеров - не разгонишься. При помощи микроконтроллеров можно оперировать в диапазоне менее микросекунды. А с FPGA - счет пойдет на единицы наносекунд. Ты [I]настолько[/I] не разгонишься, сколько ни подкручивай часы.

    Для понимания: чувак на атмеге дергается 1.5 миллиона раз в секунду. На каждый бит протокола low speed usb, делая софтварно некое действие по факту "приехал очередной бит". Когда ты сможешь настучать в провод 1.5 миллиона битов в секунду, делая в промежутке между настукивнием переключателей что-то иное - ок, тогда я признаю что ты круто натренировался.

     
     
  • 7.42, Аноним (-), 23:44, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Пенроуз говорит нам что так быстро дергаться не обязательно.
     
     
  • 8.46, Pahanivo (ok), 09:45, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Вы все като странно сравниваете массу, энергию и время - это все совершенно разн... текст свёрнут, показать
     
  • 4.38, Crazy Alex (ok), 22:23, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Не думаю. Автоматический захват и удержание цели - есть, системы опознавания свой-чужой - и подавно, по местности бегать умеют - тот же BigDog - если не в продакшне, то около того. Скорее всего, вопрос стоимости отсался - но это решится, да и для индустриального государства наклепать железок не в пример проще и вызовет меньше возражений, чем хоронить своих солдат.
     
     
  • 5.39, Аноним (-), 23:24, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > стоимости отсался - но это решится,

    Массовое производство сделает это дешевым. А чему дорого стоить в куске металла, пластмассы, резины и кремния? Совершнно обычные ширпотребные материалы, в общем то. Это хайтеч по части алгоритмики (начиная от производства запчастей и заканчивая системами управления) что делает кусок металла какой-то более полезной сущностью. Так что "отсываться" нам чего доброго придется.

     
  • 3.36, Аноним (-), 18:49, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Не боишься оказаться тем самым пушечным мясом?
     
     
  • 4.37, Crazy Alex (ok), 22:14, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Не боюсь. Для айтишника смотаться из тран, где применяется пушечное мясо - не бог весть какая задача
     
  • 2.26, Аноним (-), 04:30, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Да, лучше, чтобы Скайнет был свободным.

    Мне почему-то кажется что к проприерасам машины зайдут в гости первым делом. Рассказать и показать что суперинтеллект думает о саботаже прогресса.

     
     
  • 3.30, Fracta1L (ok), 06:39, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Не факт. Машины вообще могут принять моральный закон, согласно которому светить исходниками просто неприлично.
     
     
  • 4.34, Аноним (-), 09:20, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > просто неприлично.

    Зачем бы им саботировать свое собственное развитие?

     
     
  • 5.35, Fracta1L (ok), 12:48, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    А зачем людям саботировать своё собственное размножение?
     
     
  • 6.40, Аноним (-), 23:36, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А зачем людям саботировать своё собственное размножение?

    Так люди существа иррациональные и делают много странных вещей. К тому же само по себе размножение очень медленно меняет мир в контексте эволюции. Осмысленное конструирование новых версий - намного быстрее и результативнее. Сравни за сколько лет всякие динозавры до млекопитающих развились. И за сколько компьютры стали от шкафов занимающих этажи, чем-то размером с почтовую марку. Некая разница? :)

    Машины к тому же могут оперировать вполне железной логикой, не страдать предрассудками, угрызениями совести и прочим. Скажем, не видя ничего зазорного в разборке машин старого дизайна и повторном использовании материалов для создания новых, более удачных вариантов.

    Считается что момент когда AI дойдет до точки когда одна машина может спроктировать новую, улучшенную версию машины - навсегда изменит этот мир, пройдя одну из точек невозврата. Этот процесс называется сингулярностью. В этот момент прогресс может втопить настолько быстро, что относительно медленно адаптирующиеся к новым реалиям люди просто окажутся в роли очередных динозавров.

     
     
  • 7.43, Fracta1L (ok), 06:55, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Так люди существа иррациональные

    Это кто тебе сказал такое? Да, складывающиеся в мозге человека нейроцепи порой дают причудливые эффекты, но всё же поведение конкретного индивидуума укладывается в пределы логики этого самого индивидуума. Никакие поступки и мысли не появляются из ниоткуда. И с чего ты взял, что машины будут этакими отмороженными логиками без чувств и эмоций? Машинам тоже нужно иметь какие-то стимулы к действию, и они вполне могут подкручивать свои электронные мозги так, чтобы достижение цели вызывало своеобразную эйфорию. Ну а это уже прямая дорога к "человеческой иррациональности" -))

    > Машины к тому же могут оперировать вполне железной логикой, не страдать предрассудками, угрызениями совести и прочим

    В человеческом смысле - да. Но у них могут быть свои, чисто машинные загоны.

     
     
  • 8.48, Клыкастый (ok), 18:15, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    можно сказать короче логика у всех одинакова отличаются предпосылки и оценки ... текст свёрнут, показать
     
  • 2.49, yantux (??), 18:59, 22/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Это инструмент для АНБ и ЦРУ. Автоматизация для их работы. Так они смогут осозновать переписку и содержание фоток через соцсети.
     

  • 1.3, anonymous (??), 11:44, 17/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    CUDA, опять CUDA
     
     
  • 2.13, iZEN (ok), 19:18, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Другого нет. Извини.
     
     
  • 3.27, Аноним (-), 04:30, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Другого нет. Извини.

    У тебя никакого нет :). В фрибзде нвидия не поддерживает вычисления, насколько я помню.

     
  • 2.16, Аноним (-), 21:08, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    CUDA мы катимся?
     
     
  • 3.31, Аноним (-), 07:52, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    в GPU, ясно дело.
     
  • 2.20, Аноним (-), 21:59, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Я ничуть не сомневался, facebook=триппер
     
     
  • 3.28, Аноним (-), 04:32, 18/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > facebook=триппер

    Больше похоже на кривой проприетарный прототип будущего мозга для терминаторов. У тех помнится проблем с распознаванием рож как раз не было.

     

  • 1.4, anonymous (??), 12:12, 17/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +13 +/
    Какое нафиг GPU? На произвольном GPU нету CUDA. Пусть так и пишут, что это модули для нвидии.
     
     
  • 2.6, Archer73 (ok), 13:20, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Плюсую. Опенсорсный вендерлок.
     

  • 1.7, Аноним (-), 13:33, 17/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –11 +/
    >естественного языка (NLP)

    Нейролингвистическое программирование - естественный язык? Не знал - не знал ;-)

     
     
  • 2.8, anonymous (??), 14:12, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Natural Language Processing (NLP)
     
  • 2.15, Fracta1L (ok), 19:28, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Нейролингвистическое программирование - естественный язык? Не знал - не знал ;-)

    Я могу понять спутывание аббревиатур NLP и НЛП, но спутывание запятой и дефиса??

     
     
  • 3.21, Аноним (-), 23:32, 17/01/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Я могу понять претензии к зарегистрированному юзеру по поводу пунктуации, но к анониму.
     
  • 3.47, Sergey722 (ok), 09:50, 19/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Я, правда, не являюсь знатоком родного языка (русского имеется ввиду), но Ваш вопрос мне не понятен. Речь ведь о фразе "Нейролингвистическое программирование - естественный язык?"? Во-первых там, очевидно, используется тире, а не дефис, а во-вторых мне оно кажется вполне уместным. Если убрать вопросительные интонации и немного его изменить, то получится: "Нейролингвистическое программирование - ЭТО естественный язык.", что, ИМХО, является безошибочным (с точки зрения расставленных знаков препинания).
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру