The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Представлена новая открытая система синтеза изображений Stable Diffusion

16.08.2022 10:23

Открыты наработки, связанные с системой машинного обучения Stable Diffusion, синтезирующей изображения на основе текстового описания на естественном языке. Проект развивается совместными усилиями исследователями из компаний Stability AI и Runway, сообществ Eleuther AI и LAION, а также группы CompVis lab (лаборатория исследований в области машинного зрения и машинного обучения при Мюнхенском университете). По возможностям и уровню качества результата Stable Diffusion напоминает проект DALL-E 2, но развивается как открытый и общедоступный. Реализация Stable Diffusion написана на языке Python и распространяется под лицензией MIT.

Готовые модели в настоящий момент предоставляются по отдельному запросу образовательным учреждениям и независимым исследователям, но разработчики обещают открыть их для всех желающих после завершения тестирования и готовности первого релиза. Для обучения системы использовался кластер из 4000 GPU NVIDIA A100 Ezra-1 и коллекция LAION-5B, включающая 5.85 миллиардов изображений с текстовыми описаниями. Компоненты для генерации изображения отмечаются как достаточно легковесные для работы на пользовательских системах, например, для синтеза изображений с разрешением 512x512 достаточно наличия в системе GPU с 10GB видеопамяти.

Кроме синтеза изображений по текстовому описанию предлагается вариант для модификации изображений, который может с использованием уточняющих текстовых подсказок генерировать картины по схематичным наброскам, редактировать и изменять изображения или восстанавливать утраченные детали при увеличении масштаба. В разработке также находится вариант Stable Diffusion для редактирования видео на основе текстовых команд на естественном языке.



  1. Главная ссылка к новости (https://stability.ai/blog/stab...)
  2. OpenNews: Реализация системы машинного обучения для синтеза изображений по текстовому описанию
  3. OpenNews: NVIDIA открыла код StyleGAN3, системы машинного обучения для синтеза лиц
  4. OpenNews: Yahoo открыл модель машинного обучения для выявления неприличных изображений
  5. OpenNews: Опубликован проект PIXIE для построения 3D-моделей людей по фотографии
  6. OpenNews: HyperStyle - адаптация системы машинного обучения StyleGAN для редактирования изображений
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/57638-ai
Ключевые слова: ai, diffusion
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (78) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 12:33, 16/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    Только электричество зря жгут. Какое применение у этой игрушки?
     
     
  • 2.3, Аноним (3), 12:36, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    ответ очевиден: GPU с 10GB...
     
     
  • 3.19, Аноним (1), 13:00, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Такие игрушки для частников надо запретить. А то неизвестно с какой целью они эти картинки используют.  
     
     
  • 4.31, Kusb (?), 14:30, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Но государтвенные средства массовой информаци могут использоват
     
     
  • 5.33, YetAnotherOnanym (ok), 15:05, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А, типа, негосударственные не могут. Мэрдок или Тэрнер не потянут же GPU с 10 GB, у них, бедненьких, нет бездонного государственного бюджета.
     
     
  • 6.51, kusb (?), 17:37, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    И много кто ещё может, но не всем надо
     
  • 3.20, Roman (??), 13:23, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    В целом ничего удивительного, 3060 с 12 гб как раз для энтузиастов отлично подходит и стоит недорого.
     
  • 2.32, лютый ж.... (?), 14:53, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >Только электричество зря жгут. Какое применение у этой игрушки?

    Типичный опеннетный брэд. Революция покруче автопилота (который как раз лютое лобби+обосрамс-на-обосрамсе). Потом ещё прогер-copilot, а ты так и будешь спрашивать "какое применение"....

     
     
  • 3.38, Аноним (1), 15:34, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Типичный опеннетный брЭд. Рассказал про что угодно кроме того чтобы ответить что делать с этими идиотскими картинками?
     
     
  • 4.57, barmaglot (??), 18:04, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Почему идиотскими? Midjourney вон вполне успешный коммерческий сервис уже запустила. Подключи бота к своему серверу на дискорде и генеририруй любой контент. А на этот контент потребителей куча. Т.е. если тебе не нужны "картинки", то это не значит, что они никому не нужны. Эти боты вытеснят тысячи кожаных мешков с позиций художник-оформитель-дизайнер, т.к. за секунды генерируют лучший и более качественный контент. И если тебе не нравится, что то на результирующих картинках, то просто дополни запрос новым уточнением. И через минуту или меньше будет результат. Вообще, если кол-во кожаных мешков сократится, то и выборсы ЦО2 уменьшатся, т.к. ИИ точно эффективнее в данном вопросе.
     
     
  • 5.59, Михрютка (ok), 19:30, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Подключи бота к своему серверу на дискорде и генеририруй любой контент.

    слон (засовывая хобот в жеппу): - вечный кайф!!!

     
     
  • 6.60, Аноним (-), 19:34, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    продолжай проецировать
     
  • 4.99, Дмитрий (??), 10:34, 23/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    распечатать, свернуть в трубочку и настучать тебе по эбальничку
     
  • 2.73, Аноним (73), 21:23, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Иллюстрации к художественным книгам делать, например
     
     
  • 3.81, Аноним (81), 03:30, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Книги художественные тоже запретить... только драгоценное вермя своей жизни тратят на пустые размышления... искать нужно решение вопросов насущных... что есть где срать кого бить кдуа бежать
     
     
  • 4.88, Первая буква (?), 08:36, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Насущные вопросы нужно запретить. И не нужно будет искать решения.
     
  • 2.78, Аноним (-), 01:35, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Дезигнеры не нужны. Тебе хочется логотип под свой сайт? Поиграйся с AI, он тебе нарисует. Тебе хочется в своём блоге сопроводить пост иллюстрациями? Поиграйся с AI, он нарисует. Тебе хочется мемчик сгенерировать, объединив в одной картинке деда и бункер? Поиграйся с AI, он нарисует.
     
     
  • 3.89, Первая буква (?), 08:38, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А как нарисовать хриплого наркомана? Использовать два цвета?
     

  • 1.2, Аноним (3), 12:34, 16/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > легковесные для работы ... GPU с 10GB видеопамяти

    точно-точно легковесные?!

     
     
  • 2.4, Аноним (4), 12:37, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Ну извините, на 750 Ti не заработает.
     
     
  • 3.97, Ыр2.0 (?), 14:55, 20/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Я на 750 Ti сидел вплоть до прошлого года и проблем не знал. В прошлом году купил новый комп.

    Crysis/Skyrim/Oblivion/Morrowind, HoMM I/II/III/IV/V/VI шли без проблем. На ней я подбирал пароль к архиву, хотя, не подобрал.

     
  • 2.5, Аноним (5), 12:39, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • –15 +/
    Оно на питоне. Если догадаются переписать на С, смогут увеличить скорость на 2 порядка и на порядок сократить аппаратные требования.
     
     
  • 3.8, Бывалый смузихлёб (?), 12:49, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    но как это снизит потребление памяти на видеокарте ?
     
     
  • 4.13, Аноним (13), 12:53, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • –6 +/
    не нужно будет забивать память видеокарты интерпретатором и питоновским кодом
     
  • 4.39, anonymous (??), 15:35, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    на отступах пробелы сэкономят, тоже быйты между прочим!!!1
     
  • 3.9, Аноним (1), 12:49, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Лол python это просто обвязка весь код что конкретно считает нативный.
     
     
  • 4.16, Аноним (16), 12:55, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Лол сегодня в GPU есть аппаратный интерпретатор python
     
     
  • 5.17, Аноним (1), 12:58, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Лол ага и вселенский телепортатор для связи с высшим разумом. Ничего разумнее CUDA в видеокарте аппаратного нет.  
     
  • 3.15, Аноним (15), 12:55, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Приступай, флаг в руки!
     
     
  • 4.25, Аноним (5), 13:51, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Зачем? Чужой проект - пускай дерзают. Для своего все, что нужно, я сделал.
     
     
  • 5.40, Аноним (40), 15:35, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    И что ты сделал, покажи.

    Отходы жизнедеятельности которые ты вывалил на opennet и в другие места, можешь не показать

     
  • 3.54, None (??), 17:58, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Если питон используется только как обвязка для куды, откуда там два порядка возьмутся?
     
     
  • 4.77, iLex (ok), 01:14, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Большинство нейронок сейчас оформлено в виде т н исследовательского кода Это... большой текст свёрнут, показать
     
     
  • 5.79, Аноним (-), 01:39, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Вот только всем плевать

    Ты сам приводишь примеры тому, что не всем плевать.

     
  • 2.92, Dmitry (??), 13:37, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Конечно: для обучения спопользовался кластер из 4000 GPU
     

  • 1.6, EuPhobos (ok), 12:41, 16/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +9 +/
    > Model Details
    >    Developed by: Robin Rombach, Patrick Esser
    >    Model type: Diffusion-based text-to-image generation model
    >    Language(s): English
    >    License: Proprietary

    Не думал, что синонимы это: "открытый, общедоступный, проприетарный"

     
     
  • 2.7, Аноним (5), 12:44, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > предоставляются по отдельному запросу образовательным учреждениям и независимым исследователям

    Согласен. Зачем это здесь?

     
     
  • 3.11, Аноним (3), 12:51, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    умиляет строчка "независимым исследователям"... от кого?! каков критерий?
     
     
  • 4.76, Аноним (76), 22:02, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Чтобы мамины циники на Опеннете бесились.
     
  • 3.12, Аноним (1), 12:51, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Сложно читать длинные предложения? Тогда зачем ты здесь?

    > обещают открыть их для всех желающих после завершения тестирования и готовности первого релиза.

     
     
  • 4.24, Аноним (5), 13:50, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Извиняюсь, а что тогда представлено?
     
     
  • 5.27, Аноним (1), 13:54, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Сисетма синтеза изображений. Это знаешь как сегодня представляют новый айфон. А в продаже он будет только через месяц. И тут так же.
     
     
  • 6.35, Аноним (3), 15:07, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Я анонсировал сложение! Но какие числа складываю - не скажу :)
     
     
  • 7.41, Аноним (1), 15:37, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    И твою новость добавят не беспокойся ссылка для тебя https://www.opennet.ru/announce_news.shtml?cache=off можно туда высылать что ты там сложил, зачем это надо и почему ты это никому не покажешь.
     

  • 1.10, InuYasha (??), 12:49, 16/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    Сначала писали с 5, теперь с 10ю гигами врам... Вы уж определитесь. Хотя, что взять с питонистов?
    Also, видюх со слотами под память ещё не изобрели там? :)
     
     
  • 2.14, Аноним (1), 12:54, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Куртки замшевые две. Слоты это чтобы были дешевые видеокарты? Ну это ты смешно пошутил да, отмочил там отмочил.
     
  • 2.18, анон анонович анонов (?), 12:58, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    У меня в конце 90-х была S3 Trio в которую можно было микросхемы памяти вставлять (там свободные разъемы были).
     
     
  • 3.23, Аноним (23), 13:44, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Она у меня теперь лежит. Обменяю на Riva TNT
     
     
  • 4.58, Михрютка (ok), 19:07, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    вторую вуду проси, чоуш
     
     
  • 5.90, Аноним (4), 11:33, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну TNT действительно хлам.
     
     
  • 6.95, Михрютка (ok), 19:35, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну TNT действительно хлам.

    на s3 trio я поменял бы ее только с доплатой в стоимость TNT + 20% за наглость.

     
  • 3.75, InuYasha (??), 21:35, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    У меня тоже. Причём, насколько помню, нужно это было в первую очередь для true color 24 бита. )
     
  • 2.29, commiethebeastie (ok), 14:27, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Питон там вообще не причем.
     

  • 1.30, Kusb (?), 14:28, 16/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Почему вообще они скрывают модели, пусть не готовые? Для открытого проекта это ещё более странно.
     
  • 1.36, Аноним (36), 15:19, 16/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Не забудьте приложить 5.85 миллиардов "copyright notice" с авторами изображений. А, я забыл, ИИ можно тырить код и искусство, это нам нельзя.
     
     
  • 2.48, Аноним (48), 16:24, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Текстовые описания к картинкам защищаются авторскими правами?

    Картина - это не только художник, но (текстовая) история про картину.

     
     
  • 3.65, kusb (?), 19:52, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Может быть (как мне сильно кажется) дело в тех исходниках на которых её тренировали.
     
     
  • 4.69, Аноним (48), 20:37, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > дело в тех исходниках

    Дело в том, что "исходники" - "5.85 миллиардов изображений с текстовыми описаниями". И эти "текстовые описания" тоже писали некие авторы.

    И вообще, в машинном обучении чему-то "человеческому" в обучении, в формировании обучающей выборки, участвует человек, например, маркирует, пишет текстовые описания. Какие права у этого писателя миллиардов текстовых описаний?

     

  • 1.37, Аноним (37), 15:27, 16/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > синтезирующей изображения на основе текстового описания на естественном языке

    интересно, а сможет он порнуху сгенерировать из описания "чпок-чпок" ?

     
     
  • 2.42, Аноним (48), 15:40, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Если в базе были соответствующие миллиарды картинок, промаркированные ученым мужем (нет, он не извращенец, пишущий комментарии к таким картинкам), то сможет.
     
     
  • 3.44, Аноним (37), 16:14, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > извращенец, пишущий комментарии к таким картинкам

    извращенец это тот кто пишет на Rust. Умалчивать про "чпок-чпок" для ИИ - это ханжество.

     

  • 1.43, Аноним (43), 16:01, 16/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Красивое. Исходники раздаёте?
     
     
  • 2.46, Аноним (46), 16:21, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Только показываем по запросу.
     

  • 1.45, Alexey Torgashin (?), 16:20, 16/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Слушайте . А дайте ссылку на сайт который юзает эту или другую такую же систему . Чтоб картинки выкладывал на главную. Ну хотя бы два таких сайта. И не мусорных!

    Что , нет таких? Такое арт г-o никому не нужно ? Все уродливо? Люди пугаются и говорят что картинки блевотны? Так и думал …..

     
     
  • 2.47, Аноним (46), 16:24, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    https://www.midjourney.com/home/ можешь меня не благодарить.
     
     
  • 3.55, None (??), 18:01, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Нда, нужно новый комп купить, чтобы такие сайты открывать...
    Перегрузить CPU просто показывая ASCII art - это сильно.
     
     
  • 4.91, Аноним (4), 11:36, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Очередной опеннетовец с Celeron-300.
     
     
  • 5.93, Аноним (93), 15:05, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А что кроме того LFS который на нём когда-то собрали никакой ОС больше на нём не запустится. А джавускрипт можно и отключить это такой секрет неизвестный для многих.  
     

  • 1.50, User (??), 17:36, 16/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Ну, идеальная сфера применения для ml/Ai - 80% результата можно выкинуть в корзину, никто и не заметит.
     
     
  • 2.53, Аноним (46), 17:55, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    И? В электронике в принципе выход годных не такой высокий.
     
     
  • 3.84, User (??), 06:43, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Там, внезапно, сотые доли процента разницы замечают-а тут можно и 99% выкинуть и, ничего не изменится
     
  • 2.56, None (??), 18:02, 16/08/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Можно подумать это этого момента всё в интернете было ценное. Применение номер 1 кстати - генерация иллюстраций к копирайтинговому поносу.
     
     
  • 3.85, User (??), 06:44, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Оттож! И если нет разницы - зачем платить.
     

  • 1.74, Ананоним (?), 21:35, 16/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Помню лет 20 назад программу видел, генерирующую музыку. Ни что, наслушались музыки, нагененрированной той программой? Человеку всегда будет хотеться творить самому, даже такой шлак как эта система генерации битовых карт. Ну а уж художники не вымрут никогда. Даже пальцем по песку будут рисовать.
     
     
  • 2.87, Аноним (87), 08:34, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Художники будут пока будут лохи способные платить за их высеры.
     
  • 2.94, Аноним (93), 15:06, 17/08/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это 20 лет назад была завлекалочка для неумных людей. Послушай нормальную современную нейромузыку у яндекса или у других например https://mubert.com/ заслушаться можно.
     

  • 1.96, Аноним (96), 11:12, 18/08/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    DALL-E 2 лучше рисует
     
     
  • 2.98, Gbnth (?), 01:28, 23/08/2022 [^] [^^] [^^^] [ответить]  
  • +/
    так да, но DALL-E 2 под присмотром, а у этой уже веса спизжены и выложены
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру