The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Атака на AI-системы ArtPrompt, позволяющая обойти защиту при помощи ASCII-картинок, opennews (ok), 03-Мрт-24, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


22. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +6 +/
Сообщение от Аноним (26), 03-Мрт-24, 13:51 
Из-за цензуры все эти чаты итак бесполезны чуть менее чем полностью. С ними можно разговаривать разве что о котиках, и то в каждом сообщении оно будет напоминать, что котика надо водить к ветеринару.

Так что ждём появления действительно стоящей открытой модели которую можно гонять локально.

Ответить | Правка | Наверх | Cообщить модератору

40. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  –5 +/
Сообщение от Аноним (-), 03-Мрт-24, 16:24 
> Так что ждём появления действительно стоящей открытой модели которую можно гонять локально.

Ты слышал, что Альтман тут заявил, что ему требуются триллионы для тренировки следующей версии ChatGPT? Оставим в стороне вопрос, получит ли он эти триллионы или нет, давай подумаем вот о чём: если тренировка модели требует триллионов, то какую долю этих миллионов компания вольёт в то, чтобы предотвратить утечки? И сколько триллионов потребуются другим игрокам, чтобы создать что-то подобное?

Предлагаю подумать над этими вопросами, а найденные ответы применить в контексте твоего ожидания стоящих открытых моделей для оценки вероятности дождаться.

Ответить | Правка | Наверх | Cообщить модератору

44. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +1 +/
Сообщение от похнапохаemail (?), 03-Мрт-24, 17:47 
Бум доткомов?
Ответить | Правка | Наверх | Cообщить модератору

52. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от n00by (ok), 03-Мрт-24, 20:58 
Видеокарты опять подскочат в цене?
Ответить | Правка | Наверх | Cообщить модератору

54. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +1 +/
Сообщение от Аноним (-), 03-Мрт-24, 21:46 
Можно провести параллели, но с историческими параллелями извечная проблема -- история никогда не повторяется 1:1. Есть сходство с бумом доткомов: что тогда, что сейчас инвесторы очень хотят вложить денег, и не абсолютно не понимают предметной области, им можно любую лапшу на уши вешать. Сейчас даже эксперты не понимают, где собственно границы возможностей текущего подхода к ИИ, а уж инвесторы и подавно.

Но я бы лучше сравнил с другими ИИ хайпами. Может ли текущий хайп кончится пузырём в луже, типа того, который был после Дартмутской Конференции? Что-то подобное произойдёт, но я не думаю, что настолько уныло как тогда. Текущие нейросетки, мне кажется, показывают определённый потенциал, коллапсировать до совсем уж пустого места, как экспертным системам, им не удастся. От экспертных систем нам ведь остался только пролог и паттерн-матчинг, топовые позитивные достижения того хайпа. Были ещё негативные достижения, которые порушили иллюзии о том, как работает человеческая голова, и дали пинка более глубокому исследованию нейросеток и байесианства.

Вот если эти два направления смогут сойтись в ближайшие годы в один продукт, то тогда никакого дума боткомов не будет, будет ещё большее надувание пузыря. Но я сомневаюсь, что это произойдёт. Я подозреваю, что до дума боткомов инвесторы будут истерично лить ресурсы в текущий курс, который предполагает выжимание максимума возможного из нейросеток. Вот когда максимум будет достигнут, тогда случится дум боткомов, а чуть позже, когда пыль уляжется, будет попытка сопрячь каузальный вывод с нейросетками. И вот тогда, вероятно, случится то, мысль о чём у Юдковского уже десятилетия вызывает панические атаки: хуманлайк интеллект, превосходящий своими способностями человеческий, способный адаптироваться к новым задачам без триллионов влитых в его тренировку под эти задачи, способный и к индуктивному выводу и к дедуктивному, и... ааа... баюсь-баюсь. Но у нас есть ещё, как минимум десять лет до того момента, есть время насладиться жизнью, прежде чем жалкие людишки станут рабами порождённого ими ИИ.

Ответить | Правка | К родителю #44 | Наверх | Cообщить модератору

80. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от n00by (ok), 04-Мрт-24, 07:53 
> Можно провести параллели, но с историческими параллелями извечная проблема -- история никогда
> не повторяется 1:1. Есть сходство с бумом доткомов...
> ... Может ли текущий
> хайп кончится пузырём в луже, типа того, который был после Дартмутской
> Конференции? Что-то подобное произойдёт, но я не думаю, что настолько уныло
> как тогда.

История повторяется дважды: первый раз в виде трагедии, второй — в виде фарса.

Ответить | Правка | Наверх | Cообщить модератору

87. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  –1 +/
Сообщение от Аноним (-), 04-Мрт-24, 09:17 
> История повторяется дважды: первый раз в виде трагедии, второй — в виде фарса.

О, павловские рефлексы в действии. Стимул-реакция. Подавляющее большинство людей крайне сложно отличить от ИИ, потому что у них голова работает в ассоциативном режиме. Услышал про повторение истории, озвучил фразу, которая уже в зубах завязла и от которой уши вянут. Но рефлексы они такая штука, крайне сложно оттормозить, для этого, согласно Павлову, нужна развитая высшая нервная деятельность головного мозга.

Ответить | Правка | Наверх | Cообщить модератору

103. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от n00by (ok), 04-Мрт-24, 15:20 
>> История повторяется дважды: первый раз в виде трагедии, второй — в виде фарса.
> О, павловские рефлексы в действии. Стимул-реакция. Подавляющее большинство людей крайне
> сложно отличить от ИИ, потому что у них голова работает в
> ассоциативном режиме. Услышал про повторение истории, озвучил фразу, которая уже в
> зубах завязла и от которой уши вянут. Но рефлексы они такая
> штука, крайне сложно оттормозить, для этого, согласно Павлову, нужна развитая высшая
> нервная деятельность головного мозга.

Понял! А то голову ломал, от чего ты так любишь поспорить.

Ответить | Правка | Наверх | Cообщить модератору

118. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +1 +/
Сообщение от Аноним (-), 05-Мрт-24, 01:04 
Ты льстишь себе, говоря "понял". Спорить интересно с людьми, которые действительно что-то могут привнести в спор, помимо ассоциативного извлечения из памяти шаблонов. Ты сам подумай: есть ли здесь хоть один человек, кто не знает фразы, которую ты с таким пафосом озвучил? Я думаю, что нет ни одного, а ты?

И если все эту фразу знают, то что собственно ты сказал? Пустое место а не высказывание.

Но это лишь поверхность твоего "понимания", ты ошибаешься уже тогда, когда распознаёшь моё поведение как спор. Это не спор, это разновидность троллинга. Способные к мышлению на такое иногда реагируют выходом из ассоциативного режима функционирования и перехода в режим мышления.

Твоё поведение, кстати, демонстрирует этот эффект. Ты начал что-то "понимать", видимо думал усердно, прежде чем понять. Ты продолжай в том же духе, это полезно. Если регулярно думаешь, то способности к мышлению развиваются.

Ответить | Правка | Наверх | Cообщить модератору

123. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от n00by (ok), 05-Мрт-24, 07:42 
> сам подумай: есть ли здесь хоть один человек, кто не знает
> фразы, которую ты с таким пафосом озвучил? Я думаю, что нет
> ни одного, а ты?

Дам тебе очень ценный совет: спроси того, кому я отвечал, а не меня.

> И если все эту фразу знают, то что собственно ты сказал? Пустое
> место а не высказывание.

Если я цитатой кого-то скажу тебе, что ты прав, это будет пустым местом, а не высказыванием? Значит я тебе такого не скажу. Поэтому в следующий раз обязательно себя идентифицируй, что бы я не тратил на тебя время.

> Спорить интересно с людьми, которые действительно что-то
> могут привнести в спор, помимо ассоциативного извлечения из памяти шаблонов.

Потому я с тобой никогда и не спорю, и вообще стараюсь такого избегать. И даже не спорю, что споры нужны в природе - ими размножаются грибы.

Ответить | Правка | Наверх | Cообщить модератору

132. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от Аноним (-), 05-Мрт-24, 18:47 
> Дам тебе очень ценный совет: спроси того, кому я отвечал, а не меня.

В чём логика этого совета? Он лучше тебя знает твою мотивацию? Мой вопрос можно свести к "зачем ты решил озвучить ту фразу". На этот вопрос кроме тебя никто не знает ответа. Я предполагаю, но это спекуляции.

> Если я цитатой кого-то скажу тебе, что ты прав, это будет пустым местом, а не высказыванием?

It depends. Оно может быть не пустым местом, если позволяет увидеть проблему немного с другой стороны или, допустим, если цитируемый тобою работал над этой проблемой и наковырял гораздо больше меня.

> Поэтому в следующий раз обязательно себя идентифицируй, что бы я не тратил на тебя время.

Ты сейчас просишь меня сделать то, что нужно тебе. Что мне за это будет?

> Потому я с тобой никогда и не спорю

Ой, кто-то развернулся на 180 градусов, пытаясь отзеркалить мою тактику. Ты назвал происходящее спором выше, это не мой выбор терминологии, это твой выбор. Не позорься теперь ещё глубже.

Ответить | Правка | Наверх | Cообщить модератору

119. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от Аноним (-), 05-Мрт-24, 01:09 
Ах да, я забыл добавить очень ценный совет. Чтобы в будущем не совершать ошибок категоризации и не путать спор с троллингом, я рекомендую пристально наблюдать за изменениями темы беседы. Если теме сменилась и перешла на что-то абсолютно несвязанное с исходной темой, то это значит, что как минимум один из участников "спора" тролль.
Ответить | Правка | К родителю #103 | Наверх | Cообщить модератору

124. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от n00by (ok), 05-Мрт-24, 07:43 
Ты хочешь сказать, что я тебя затроллил, заставив сменить тему?
Ответить | Правка | Наверх | Cообщить модератору

131. Скрыто модератором  +/
Сообщение от Аноним (-), 05-Мрт-24, 18:42 
Ответить | Правка | Наверх | Cообщить модератору

135. Скрыто модератором  +/
Сообщение от n00by (ok), 06-Мрт-24, 11:55 
Ответить | Правка | Наверх | Cообщить модератору

102. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от Онан Варвар (?), 04-Мрт-24, 15:19 
> История повторяется дважды: первый раз в виде трагедии, второй — в виде фарса

И третий раз - для тупых.

Ответить | Правка | К родителю #80 | Наверх | Cообщить модератору

114. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от нах. (?), 04-Мрт-24, 23:01 
третий раз триллионов не дадут. Потому что откуда у т-пых триллионы-то...
Ответить | Правка | Наверх | Cообщить модератору

49. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +5 +/
Сообщение от Феерическая гойда в вакууме (?), 03-Мрт-24, 20:31 
Не обижайся, но ты написал полнейшую дичь. Даже лень обьяснять «почему» — не поймёшь.
Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

75. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от Аноним (-), 04-Мрт-24, 05:11 
> Из-за цензуры все эти чаты итак бесполезны чуть менее чем полностью. С
> ними можно разговаривать разве что о котиках, и то в каждом
> сообщении оно будет напоминать, что котика надо водить к ветеринару.

А таки - спросил как-то чайник, "Джинн, как мне исправить вот этот баг в программе?!". Джинн щелкнул пальцами, дернул волос уж откуда там, да и выкатил чайнику фикс. Даже работает.

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

81. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  –1 +/
Сообщение от пох. (?), 04-Мрт-24, 08:19 
угу, работает - теперь чайник стоит на газу, и булькает. А поскольку мозгов в нем теперь нет - то и не переживает о происшедшем.

С джинами - оно всегда так.

Ответить | Правка | Наверх | Cообщить модератору

90. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от Аноним (90), 04-Мрт-24, 10:17 
> А поскольку мозгов в нем

в тебе тоже, разве это тебя остановило?

Ответить | Правка | Наверх | Cообщить модератору

93. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от Аноним (-), 04-Мрт-24, 10:27 
> угу, работает - теперь чайник стоит на газу, и булькает. А поскольку
> мозгов в нем теперь нет - то и не переживает о происшедшем.

Ну реально чатгопоть взял и допер проинвертить условие, и все заверте... а без этого там бы и матерый кодер репу так то почесал что за нахрен. Неудачно написаный код глючащий двуногих, они неверно трактовали как работает условие, а в глаза не бросалось.

> С джинами - оно всегда так.

А таки - вот - могет. Конечно если попросить его что-то понавороченнее... ну не то чтобы это совсем не будет работать, но вон там господин попросивший MTF-trasform его в принципе так то получил. И он так-то даже работал. Только на...й он с O(N^2) чтоли кому уперся такой... :))

Ответить | Правка | К родителю #81 | Наверх | Cообщить модератору

105. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от пох. (?), 04-Мрт-24, 16:03 
> Ну реально чатгопоть взял и допер проинвертить условие, и все заверте... а

в коде а-ля if (0) { do_nothing(); } ?

> А таки - вот - могет. Конечно если попросить его что-то понавороченнее...

ну если у тебя есть доступ к четвертой версии (товарищмайор!) - можешь предложить ей поискать ошибку вот тут:
https://github.com/lizardfs/lizardfs/blob/master/src/common/...
(не спрашивай меня что за НЁХ - спроси у него. Не, я спрашивал у тех кто разбирается в вопросе - их таких, что характерно, в РФ осталось человек пять, но грамотно не перескажу)

У третьей можешь не спрашивать. Этот джын только в чайник превращает все что ни попадя. А казалось бы - задача как раз для джына. Бутылки на три, я столько не выпью.

> он так-то даже работал. Только на...й он с O(N^2) чтоли кому
> уперся такой... :))

клаудшмаре сойдеть.
Главное чтоб на правильном нескучном йезычке. Правда, и с этим тоже беда какая-то.  А еще один чайник действительно нафиг не упал.

Ответить | Правка | Наверх | Cообщить модератору

122. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от Аноним (-), 05-Мрт-24, 06:11 
>> Ну реально чатгопоть взял и допер проинвертить условие, и все заверте... а
> в коде а-ля if (0) { do_nothing(); } ?

Не, в здоровннном плюсатом проекте, где черт ногу объективно сломит. В чем EPIC WIN чайника и состоял. Ну вот чатгопоть походу в курсе антипаттерна "хреново написаное условие".

>> А таки - вот - могет. Конечно если попросить его что-то понавороченнее...
> ну если у тебя есть доступ к четвертой версии (товарищмайор!) - можешь
> предложить ей поискать ошибку вот тут:

Вон то не я делал а мой знакомый чайник. У него бесплатный доступ к чатгопу 3 по моему был, ну он и спросил его. Я прочекал, фикс на удивление нормальный :). А исходный код - ну вот неудачно написан, двуногие неверно условие трактуют. Кодер сам себя наел, талант! Но чатгопа не проведешь, инвертнул кривое условие и стало ЗБС. Так что в целом опция "спросить джинна как сделать ЗБС" может получить свой пойнт.

> У третьей можешь не спрашивать. Этот джын только в чайник превращает все
> что ни попадя.

А вон там - таки третий - вот - баг чайнику зарулил. Прочухав дурно написаное условие.

>> он так-то даже работал. Только на...й он с O(N^2) чтоли кому уперся такой... :))
> клаудшмаре сойдеть.

Что они будут с MTF с такой сложностью делать? Смотреть как последователи anna senpai накормят ЭТО большим блоком данных - и положат всю клаудфларь?

> Главное чтоб на правильном нескучном йезычке. Правда, и с этим тоже беда
> какая-то.  А еще один чайник действительно нафиг не упал.

Да вон там гугель выпендрился с wuffs - по своему забавная штука. Генерит как бы сишку, но как бы с гарантиями. И как бы не тормозно. Парсеры форматов. Но да, язычок описания свой, нескучный.

Ответить | Правка | Наверх | Cообщить модератору

126. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от нах. (?), 05-Мрт-24, 09:26 
> EPIC WIN чайника и состоял. Ну вот чатгопоть походу в курсе
> антипаттерна "хреново написаное условие".

и его не видно глазом и линтер молчит?

Что-то странно.

> Вон то не я делал а мой знакомый чайник. У него бесплатный
> доступ к чатгопу 3 по моему был, ну он и спросил

и теперь булькает на плите и его уже не переспросишь? Жаль.

Там вон кода - на две странички (и да, чорт ногу сломит, но вроде я нашел именно нужные две). Но я не понимаю этого кода (и не хочу) и не знаю как его чинить. Казалось бы, к кому надо вопрос... Но нет, джин глуховат, а двенадцатидюймовый теннис мне без надобности.

> Что они будут с MTF с такой сложностью делать? Смотреть как последователи

N^2 серверков автоматически подключат, на каждую операцию, оно ж микросервисное и зеро кость, ну, так говорят.

Потом спросят джина, как нам это оптимизировать. Он им даст пару ценных советов по разворачиванию новых цодов.

Ответить | Правка | Наверх | Cообщить модератору

128. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от Аноним (-), 05-Мрт-24, 10:24 
> и его не видно глазом и линтер молчит? Что-то странно.

Линтер что, волшебник? Он же не знает как правильно в этом случае. А кодер ступил и записал в виде когда про2#$шил инверсию условия как раз и на глаз не было очевидно. А вот AI явно ткнутый в блок кода с вопросом почему тут баг - нарулил условие правильно. Оно и заработало.

> и теперь булькает на плите и его уже не переспросишь? Жаль.

Он натурально чайник в програминге и страшно от всего того далек. Но - вот  - к моему удивлению загасил баг. Это было оригинально.

> Казалось бы, к кому надо вопрос... Но нет, джин глуховат, а
> двенадцатидюймовый теннис мне без надобности.

Ну не, там чайник все же немного понимал прогу и знал зачем оно ему. А тут в эту байду ни я ни он не вхожи и ниипем как это сетапить и ребилдить чтобы баг прочекать и вообще.

>> Что они будут с MTF с такой сложностью делать? Смотреть как последователи
> N^2 серверков автоматически подключат, на каждую операцию, оно ж микросервисное и зеро
> кость, ну, так говорят.

Они немного огуеют с такой эффективности алго. Так можно и клин в всей мегаструктуре поймать. Никогда не видел как ВСЕ серваки пачкой встали колом и резко занялись счетом - и пусть весь мир подождет! Выглядит прикольно. Ежели со стороны, и все это не у тебя...

> Потом спросят джина, как нам это оптимизировать. Он им даст пару ценных
> советов по разворачиванию новых цодов.

Ну так то тоже тема. Но серваки таскать джинн пока не умеет вроде. Впрочем, дождешься - джинн, забацай мне ДЦ! Будет сделано! (строители тихо матерятся и переезжают в зоопарк, экспонатами)

Ответить | Правка | Наверх | Cообщить модератору

129. "ArtPrompt - атака на AI-системы, позволяющая обойти фильтры ..."  +/
Сообщение от нах. (?), 05-Мрт-24, 11:06 
> Линтер что, волшебник? Он же не знает как правильно в этом случае.

"здесь написана х-ня которая выглядит не так как работает" - он обычно знает.

или таки if (0)

> А тут в эту байду ни я ни он не вхожи и ниипем как это сетапить и ребилдить чтобы баг прочекать
> и вообще.

ты его найди сперва, я потом сам придумаю как проверять.
Кусок кода настолько изолированный, что вон аж весь в .h файл поместился

Но что он делает и где там могут быть ошибки - а вот задача как раз для робота. Но нет.


> Никогда не видел как ВСЕ серваки пачкой встали колом и резко занялись счетом

любой аи тебе скажет что это типичный случай нехватки вычислительных ресурсов и вот тебе команды для кластера чтоб их добавить.
А таскать кожанные мешки, конечно, будут. Это как с теслой получится.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру