The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  правила/FAQ  поиск  регистрация  вход/выход  слежка  RSS
"В рамках проекта subpixel подготовлена нейронная сеть для во..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от opennews (??) on 02-Окт-16, 11:12 
Лаборатория Tetrachrome открыла исходные тексты проекта subpixel (https://github.com/Tetrachrome/subpixel), в рамках которого подготовлена реализация свёрточной нейронной сети, выполняющей работу по восстановлению качества изображений. Система может использоваться для воссоздания элементов изображения, утерянных в результате масштабирования, или для повышения качества деталей на общих снимках. Иными словами, subpixel предоставляет средства для обратного масштабирования с восстановлением утраченной пиксельной детализации. Код открыт под лицензией MIT.


Например, subpixel позволяет довести до узнаваемого вида пикселизированное изображения лиц, запечатлённых на камеру наблюдения, в обычных условиях невоспринимаемых из-за недостаточной детализации. Для воссоздания недостающих параметров изображений Subpixel использует нейронную сеть на базе пакета Tensorflow (https://www.tensorflow.org/) в сочетании с наработками в области компьютерного зрения и машинного обучения.


URL: https://news.ycombinator.com/item?id=12619413
Новость: https://www.opennet.ru/opennews/art.shtml?num=45263

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +15 +/
Сообщение от Аноним (??) on 02-Окт-16, 11:12 
Лучше скажите, нет ли чего для восстановления детализации картинки на основе нескольких изображений. Есть видеозапись ДТП с камеры наблюдения, где номер скрывшегося виновника аварии в отдельных кадрах размыт до контуров. Но кадров много и контуры меняются.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +4 +/
Сообщение от анонимм on 02-Окт-16, 11:31 
Интересная задача, подскажите пожалуйста,мне бы тоже пригодилось
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

5. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +6 +/
Сообщение от aliceklipper (ok) on 02-Окт-16, 11:57 
Вот, например:
http://www.sciencedirect.com/science/article/pii/S0032063315...
Тут, правда, речь идёт про фотки Марса, но суть та же: есть несколько снимков одного и того же места, из них мы получаем один снимок лучшего качества.

Ну и вообще гугли публикации по super-resolution, там много интересного.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

7. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  –1 +/
Сообщение от Андрей (??) on 02-Окт-16, 12:22 
Похожее цифровые мыльницы научились делать чуть-ли ни 10 лет тому назад. Вроде бы с целью уменьшения шумов: несколько кадров при слабом освещении дают один кадр с... именно заметно лучшим разрешением (для такой освещённости), т.к. меньше шумов.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

18. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +1 +/
Сообщение от Mihail Zenkov (ok) on 02-Окт-16, 14:07 
Не так там все просто: даже при съемке с одной точки камера немного смещается в каждом кадре. Нужно провести сложное преобразование для точного совмещения нескольких снимков. В итоге шумов меньше, но и детали понемногу размываются.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

58. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 09-Окт-16, 04:14 
Так это хорошо что смещается - если есть несколько кадров, в них попадет больше информации. Нет никакого смысла захватывать один и тот же кадр два раза - произвольное количество таких дублей можно получить при помощи memcpy().
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

60. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Mihail Zenkov (ok) on 09-Окт-16, 13:23 
Нет. Весь смысл операции уменьшении искажений вносимых оцифровывающем устройством (в нашем случае - сенсором камеры). А конкретно - в уменьшении шумов и ошибки квантования. Снимая неподвижную картинку мы получаем постоянный (неизменный и идеальный - без шумов и искажений) поток информации, на который накладываются искажения сенсора. Те искажения, которые для каждого захвата будут разными (шум, ошибки квантования), при сложении множество кадров будут уменьшаться.

Если же информация будет меняться при каждом захвате - ничего не хорошего не получится. Для наглядности сделайте снимок с длиной выдержкой неподвижной камерой, а затем движущейся.

Если интересна тема - смотрите "AVR121: Enhancing ADC resolution by oversampling", там подробно с графиками рассказывается как из АЦП на 10 бит получить 11-16 бит.

Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

62. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 13-Окт-16, 09:06 
> - без шумов и искажений) поток информации, на который накладываются искажения
> сенсора. Те искажения, которые для каждого захвата будут разными (шум, ошибки
> квантования), при сложении множество кадров будут уменьшаться.

В этой логике есть некоторый промах. Вы считаете что ошибка измерений может быть только случайной, а она может быть еще и систематической.

Пример: если вы оцифруете 5 раз подряд значение hot пикселя - при идеальной неподвижности это не улучшит результат измерения в этой точке вообще никак. Какая вам радость от получения 5 раз данных о том что картинка в этом месте кислотно-зеленая? Информации о картинке в этой точке - не будет совсем. Вместо нее битый пиксел. С другой стороны при сдвиге - этот фрагмент картинки попадет на другой пиксел. С одной стороны это обеспечит "радость" от состыковки. С другой - в группе картинок информация о картинке в этой точке по крайней мере вообще будет. И ее можно попытаться извлечь. А из серии 5 выбитых пикселей извлечь не получится ничего. Конечно продвинутый софт умеет маскировать битые пикселы, но он не может достать информацию которой нет. Только сделать менее заметно. А другой продвинутый софт умеет состыковывать границы картинок. Конечно идеально состыковать - получается не всегда и вообще гемор. Но такая возможность - есть.

А что до оверсэмплинга - в случае камеры имеет намного больше смысла ухватить несколько кадров с разной экспозицией, меняя усиление. Поскольку динамический диапазон матрицы гораздо меньше чем глаза, кручением усиления можно ухватить несколько картинок на разных рабочих точках. И вот такой оверсэмплинг имеет смысл - получится HDR, у которого динамический диапазон больше похож на диапазон глаза (у монитора эта проблема тоже есть). И вот там битов на отсчет может получиться довольно много. Вплоть до того что придется использовать экзотичные форматы по типу OpenEXR, чтобы вообще сохранить столько битов на отсчет. А следующей остановкой - удачи просмотреть такой динамический диапазон на мониторе. Придется познакомиться с костылями типа tone mapping.

> Если же информация будет меняться при каждом захвате - ничего не хорошего
> не получится. Для наглядности сделайте снимок с длиной выдержкой неподвижной камерой,
> а затем движущейся.

Это некорректный пример. Движение камеры с длинной выдержкой не эквивалентно движению камеры со съемкой кадров с короткой выдержкой. При короткой выдержке кадры будут четкие. Просто из-за движения они будут смещены относительно друг друга. Видеокодеки так вообще довольно агрессивно используют кодирование перемещений (motion vectors) для описания очередного кадра на основе предыдущего. Если удалось подобрать motion vectors, пиксели для нового кадра можно и не передавать. В этом случае если мы хотим состыковать такие кадлы, это довольно похожая задача. С оговоркой что кроме самого очевидного 2D перемещения камеры, которое можно компенсировать аж одним motion vector, может быть немного вращения вокруг оси объектива или даже трапеция. Самое веселое в таких вещах то что объединение нескольких кадров может быть "не совсем прямоугольным" если какие-то кадры потребовалось немного крутануть для правильной стыковки. Но это лечится кадрированием. А общая успешность начинания зависит от наличия резких линий по которым можно хорошо состыковать все части кадров. Если на кадрах какая-то мазня, состыковать их точно софтом будет маловероятно.

> Если интересна тема - смотрите "AVR121: Enhancing ADC resolution by oversampling", там
> подробно с графиками рассказывается как из АЦП на 10 бит получить
> 11-16 бит.

У фотографов перед ADC стоит еще и усилок, с программируемым из софта коэффициентом усиления. Это позволяет ухватить битность выше номинала всего лишь покрутив этот коэффициент между съемкой "идентичных" кадров. Которые более не будут "идентичными" и вместо этого будут разными представлениями одной картинки в разных рабочих точках.

Ответить | Правка | ^ к родителю #60 | Наверх | Cообщить модератору

63. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Mihail Zenkov (ok) on 13-Окт-16, 14:06 
>> - без шумов и искажений) поток информации, на который накладываются искажения
>> сенсора. Те искажения, которые для каждого захвата будут разными (шум, ошибки
>> квантования), при сложении множество кадров будут уменьшаться.
> Вы считаете что ошибка измерений может
> быть только случайной, а она может быть еще и систематической.

Нет, я специально отметил "Те искажения, которые для каждого захвата будут разными".

> Пример: если вы оцифруете 5 раз подряд значение hot пикселя - при
> идеальной неподвижности это не улучшит результат измерения в этой точке вообще
> никак. Какая вам радость от получения 5 раз данных о том
> что картинка в этом месте кислотно-зеленая? Информации о картинке в этой
> точке - не будет совсем. Вместо нее битый пиксел. С другой
> стороны при сдвиге - этот фрагмент картинки попадет на другой пиксел.

Да, но нормальной (не убитой) матрице, переменный шум на порядок (а то и два) выше, чем эффект от битого пиксела. К примеру у sony slt-a37 при iso800 и выдержке в 8 секунд вообще нет битых пикселей. Это не смотря на то, что камере 4 года и снимали ее в основном видео - то есть матрица прилично грелась.

> С одной стороны это обеспечит "радость" от состыковки. С другой -
> в группе картинок информация о картинке в этой точке по крайней
> мере вообще будет. И ее можно попытаться извлечь.

Увы, "радость" от состыковки сведет все на нет, так как вы не сможете состыковать движущийся объект с точностью менее пиксела. Так что проще выкинуть этот пиксел.

> А из серии
> 5 выбитых пикселей извлечь не получится ничего. Конечно продвинутый софт умеет
> маскировать битые пикселы, но он не может достать информацию которой нет.
> Только сделать менее заметно.

Да, обычно пиксел тупо интерполируется. Хотя есть и алгоритмы вроде GREYCstoration
(http://freecode.com/screenshots/e0/df/e0df3704fd66de625a504a...).

> А что до оверсэмплинга - в случае камеры имеет намного больше смысла
> ухватить несколько кадров с разной экспозицией, меняя усиление. Поскольку динамический
> диапазон матрицы гораздо меньше чем глаза, кручением усиления можно ухватить несколько
> картинок на разных рабочих точках. И вот такой оверсэмплинг имеет смысл
> - получится HDR

Да, но это совершенно другой случай.

> Если на кадрах какая-то мазня, состыковать их
> точно софтом будет маловероятно.

Так об этом я и говорю. При недостаточном освещении у камеры увеличивается выдержка и возникает та самая "мазня" на движущихся объектах.

>> Если интересна тема - смотрите "AVR121: Enhancing ADC resolution by oversampling", там
>> подробно с графиками рассказывается как из АЦП на 10 бит получить
>> 11-16 бит.
> У фотографов перед ADC стоит еще и усилок, с программируемым из софта
> коэффициентом усиления. Это позволяет ухватить битность выше номинала всего лишь покрутив
> этот коэффициент между съемкой "идентичных" кадров. Которые более не будут "идентичными"
> и вместо этого будут разными представлениями одной картинки в разных рабочих
> точках.

Естественно, но речь о другом. При слабом освещении будет шум. Нет смысла увеличивать усиление выше шума матрицы, так как вы одинаково усилите полезный сигнал и шум. Но есть смысл состыковать несколько неподвижных кадров. После стыковки картинка будет хуже, чем при съемке со штатива, но лучше чем один шумный кадр.

Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

64. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 13-Окт-16, 18:07 
> Нет, я специально отметил "Те искажения, которые для каждого захвата будут разными".

Хм, действительно. Значит вы в курсе и я прокапитанил :)

> Да, но нормальной (не убитой) матрице, переменный шум на порядок (а то
> и два) выше, чем эффект от битого пиксела.

А вот это зависит от коэффициента усиления ("ISO"). При высоких усилениях на малой яркости - шума много, поскольку он тоже усиливается вместе с сигналом. Если SNR был "не очень", картинка неизбежно будет состоять наполовину из рандома. Чтобы было веселее, рандом может демонстрировать не совсем рандомные свойства с некими статистическими перекосами.

Кроме того - а не является ли при статичности сцены съемка N кадров с некими параметрами аналогом съемки 1 кадра, с условием что усиление убавили в N раз а выдержку для компенсации этого увеличили в N раз? При динамичности сцены даже искажения будут похожие - при попытке склеить N дискретных кадров получится достаточно похожая размазня.

> К примеру у sony slt-a37 при iso800 и выдержке в 8 секунд вообще нет
> битых пикселей. Это не смотря на то, что камере 4 года и снимали ее в основном
> видео - то есть матрица прилично грелась.

Обычно битые пиксели если есть - то с завода. Да, некоторые из них вылезают только при определенном коэффициенте усиления. Лучше всего это проверяется съемкой black frame т.е. делается кадр с закрытым объективом несколько раз, случайности пытаются усреднить и убрать. То что осталось и будет горячими пикселами. В хучшем случае они могут быть выбиты совсем, а могут и не совсем - демонстрировать сильный bias, так что при очень высоком усилении можно увидеть больше паттерн из особенностей матрицы заодно с картинкой.

Ну и у крутых камер наверное может быть прямо с фабрики какой-нибудь defect list, который image processor чего доброго костыльнем каким-нибудь nearest neighbor'ом сам. Не думаю что им трудно сделать несколько кадров в темноте и сформировать defect list конкретного сенсора, прокостылив его nearest neighbor'ом или даже чем покруче. Но в силу проприетарности узнать о том что случилось с данными после того как они попали с интерфейса матрицы в процессор будет не так то просто.

> Увы, "радость" от состыковки сведет все на нет, так как вы не
> сможете состыковать движущийся объект с точностью менее пиксела.

Если вы сделаете 5 отдельных кадров движущегося объекта, даже с короткой выдержкой - на объединении кадров в один - объект тоже будет размазан, как при увеличении выдержки.

Только возможно более дискретно, если интервал между кадрами большой и объект успевал сдвинуться сразу на несколько пикселей. В этом случае объект получится полосатыми "слоями". Однако общий смысл как я понимаю больше всего похож на увеличение выдержки в 5 раз (плюс оверхед) и один кадр с пятикратной выдержкой. При достаточной частоте кадров - даже смазывание картинки воспроизведется так же. При недостаточной - будет еще дискретизация смазывания.

> Так что проще выкинуть этот пиксел.

Если какой-то пиксел выкинут - значит информация в этом месте кадра утеряна. В большинстве случаев это не проблема. Но в некоторых граничных случаях, типа вот таких пожеланий сделать волшебство и прочитать "нечитаемый" номер или марсианскую поверхность из черти-какого исходного материала воссоздать, при том что перефотографировать вы это уже не сможете за обозримое время - в таких случаях терять пиксели может быть уже нехорошо. Ну то-есть визуальная симпатичность картинки это одно, а полный набор содержащейся в ней информации - другое. Многие фотографии (и скриншоты) намного более информативны чем может показаться на первый взгляд. Если человек плюс-минус пару битов в младших разрядах различает со скрипом и склонен считать что там нет информации, софтом за это можно зацепиться и ... например, некоторые любители замазывать свои пароли и персональные данные дурными фильтрами фотошопа на этом регулярно погорают, когда им демонстрируют "проявление" того что они замазали :). Если что-то нечитаемо глазом так сразу - это еще не значит что информацию оттуда нельзя извлечь.

> Да, обычно пиксел тупо интерполируется. Хотя есть и алгоритмы вроде GREYCstoration
> (http://freecode.com/screenshots/e0/df/e0df3704fd66de625a504a...).

Ну так если информации нет - как максимум ее можно так или иначе придумать, но это все-таки не исходная информация а самодеятельность. Мне как-то не хватило но фото динамического диапазона и небо выбило в насыщение. А остальной кадр хороший. Я плюнул и нарисовал небо сам, взяв за основу куски которые не выбило и сделав относительно правдоподобные градиенты (благо облаков не было). Это даже более похоже на оригинальную сцену чем то что ухватила матрица которой динамического диапазона не хватило. Но - самодеятельность. Будем считать что недостающую информацию дорисовала нейросеть :P.

> Да, но это совершенно другой случай.

Это несколько другой подход к повышению битности и имхо он имеет больше смысла. Таскать одинаковые кадры стопкой - как я понимаю можно вместо этого просто выдержку увеличить с тем же по смыслу результатом. Единственное принципиальное отличие которое я смог придумать - в таком методе размазывание движущихся объектов можно квантовать. Ну еще усреднение можно делать не по всей площади как "хардварный" вариант путем увеличения выдержки, а более избирательно, например только в некоторых областях кадра, если сильная постобработка ваше все.

> Так об этом я и говорю. При недостаточном освещении у камеры увеличивается
> выдержка и возникает та самая "мазня" на движущихся объектах.

Если вы снимете 5 кадров друг за другом - фон у вас конечно будет состыкован, но вот чудес не бывает и движущийся объект будет на всех 5 кадрах в разных местах. Если кадры были достаточно часто, при их усреднении вы даже получите размазню как при увеличении выдержки. А если редко - тогда слои/контуры или даже несколько экземпляров объекта если он мелкий и быстрый. Можно попробовать не усреднять объект, но тогда и профита от нескольких кадров в этой области кадра не наступит. Хотя возможно это и устраивает. Как я понимаю - это более гибкий эквивалент увеличения выдержки. Если матрица хардварно  отработает похожий процесс по всему полю, тот кто постпроцессит может выборочно сделать на свое усмотрение.

> Естественно, но речь о другом. При слабом освещении будет шум. Нет смысла
> увеличивать усиление выше шума матрицы, так как вы одинаково усилите полезный
> сигнал и шум.

Сигнал и шум всегда одинаково усиливаются. А единственный вариант не задирать ISO при прочих равных - увеличить выдержку. Как я понимаю, серия из нескольких кадров - это эквивалент увеличения выдержки, только в одном случае это хардварно и по всему полю а тут более софтварно, можно и не по всему полю например усреднять. Но общий смысл процесса останется.

> Но есть смысл состыковать несколько неподвижных кадров. После
> стыковки картинка будет хуже, чем при съемке со штатива, но лучше
> чем один шумный кадр.

Есть еще вариант увеличения выдержки. Если камера _неподвижна_ он срабатывает так же как и серия кадров. Только усреднение - хардварное и по всему полю. Но SNR улучшится.

Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

65. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Mihail Zenkov (ok) on 13-Окт-16, 21:12 
Стыковка нескольких фотографий с разной экспозицией приминается при большом количестве света, когда контраст выше, чем может захватить матрица. На практике этот метод приминается редко, так как современные матрицы и так имеют диапазон в 12-14 бит, чего для большинства ситуаций достаточно.

Я же виду речь о более сложном и распространенном случае - слабой освещенности.
В этой ситуации наоборот контраст минимален и света не хватает даже чтобы заполнить 8 бит за 1/25 секунды. Если не менять матрицу/оптику, то остается только два решения - увеличить выдержку или снять несколько кадров и объединить их. По сути это одно и тоже.
Но если снимать без штатива с длинной выдержкой - камера будет двигаться - кадр смажется.
Если снять несколько кадров с короткой выдержкой - каждый из них будет четким. Остается их только совместить. Но из-за не идеальности совмещения результат тоже будет не идеальным.

Любое движение камеры или в кадре ухудшит результат. Так что либо штатив и длинная выдержка, либо снимать серию и стыковать. А лучше full frame и светосильная оптика с хорошим стабилизатором ;)

Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

66. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 13-Окт-16, 22:46 
> Стыковка нескольких фотографий с разной экспозицией приминается при большом количестве
> света, когда контраст выше, чем может захватить матрица.

Динамический диапазон у матриц значительно меньше чем у глаза, даже у лучших. Упомянутым методом битность повышается существенно, мощнее оверсэмплинга. За счет изменения усиления - то что было бы младшими разрядами может стать средними. Или то что было бы шумом - может быть удвинуто за пределы LSB у ADC, но тогда и детали в тенях не получатся.

> На практике этот метод приминается редко, так как современные матрицы
> и так имеют диапазон в 12-14 бит, чего для большинства ситуаций достаточно.

Если заморочаться вопросом и знать что ищешь, в большинстве фотографий снятых в яркий солнечный день с темными тенями - в тенях часто будет выбитый в 0 черный, а в ярких областях будет выжженое до белого (или в менее клиническом случае 1-2 канала). В darktable показометр вполне доходчивый, показывает и уход в "все 0" и "все 1". Сразу видно что кто и где :)

> Я же виду речь о более сложном и распространенном случае - слабой освещенности.

Я бы не назвал упомянутый случай редким. Потыкавшись darktable'ом в свои и чужие фоты я обнаружил что уход в нули или единицы - вполне распостраненное явление.

> В этой ситуации наоборот контраст минимален и света не хватает даже чтобы
> заполнить 8 бит за 1/25 секунды. Если не менять матрицу/оптику, то
> остается только два решения - увеличить выдержку или снять несколько кадров
> и объединить их. По сути это одно и тоже.

Насколько я понимаю - несколько кадров что-то типа квантованной дискретной версии увеличения выдержки получится. Только обработка не в хардваре а в софте.

> Но если снимать без штатива с длинной выдержкой - камера будет двигаться
> - кадр смажется.

Ну да. Поэтому сообразительные фотографы пытаются найти неподвижную поверхность если штатива нет, а выдержку побольше хочется.

> Если снять несколько кадров с короткой выдержкой - каждый из них будет
> четким. Остается их только совместить. Но из-за не идеальности совмещения результат
> тоже будет не идеальным.

А насколько вообще при слабом освещении границы стыкуются? При ярком освещении контрастные сцены с резкими границами как раз хорошо склеиваются потому что границ по которым можно проверять правильность преобразования - более чем. А вот если таких границ мало, точность стыковки может выйти плюс-минус лапоть.

> и длинная выдержка, либо снимать серию и стыковать. А лучше full
> frame и светосильная оптика с хорошим стабилизатором ;)

Только как-то так получается что тащить это в самые красивые места зачастую очень уж хребтина протестует. Потому что самые красивые места обычно подальше от людей, а светосильная оптика и штатив это здорово, но они прилично весят и занимают изрядно места.

Кстати если говорить об открытых камерах - мне бы имхо хватило для повседневных целей (я не печатаюсь на трехметровые транспаранты) чего-то типа чутка усиленного варианта вещиц типа https://www.crowdsupply.com/mapir/kernel-camera

Там обычный проц, матрицы конечно заурядненькие и ближе к мобилочным но оптику можно явно поприличнее того чем в мобилах, и размеры куда как более человеческие.

Ответить | Правка | ^ к родителю #65 | Наверх | Cообщить модератору

68. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Mihail Zenkov (ok) on 14-Окт-16, 00:52 
> Динамический диапазон у матриц значительно меньше чем у глаза, даже у лучших.

Так же, как у современных камер, у глаза - 10-14 бит. Вы также не видите деталей в тенях при свете в глаза. Другое дело, что такие контрастные фотографии, да еще и обрезанные до 8 бит (если не повезло - до 6) монитором выглядят совсем не так, как хотелось бы.

>> На практике этот метод приминается редко, так как современные матрицы
>> и так имеют диапазон в 12-14 бит, чего для большинства ситуаций достаточно.
> Если заморочаться вопросом и знать что ищешь, в большинстве фотографий снятых в
> яркий солнечный день с темными тенями - в тенях часто будет
> выбитый в 0 черный, а в ярких областях будет выжженое до
> белого (или в менее клиническом случае 1-2 канала). В darktable показометр
> вполне доходчивый, показывает и уход в "все 0" и "все 1".
> Сразу видно что кто и где :)

Ну сделаете вы картинку в 20 бит. На чем вы ее смотреть будите? Где возьмете такой монитор? Даже имеющиеся 12-14 бит приходится сжимать до 8 с нарушением исходной контрастности.

>> В этой ситуации наоборот контраст минимален и света не хватает даже чтобы
>> заполнить 8 бит за 1/25 секунды. Если не менять матрицу/оптику, то
>> остается только два решения - увеличить выдержку или снять несколько кадров
>> и объединить их. По сути это одно и тоже.
> Насколько я понимаю - несколько кадров что-то типа квантованной дискретной версии увеличения
> выдержки получится. Только обработка не в хардваре а в софте.

Совершенно верно.

>> Но если снимать без штатива с длинной выдержкой - камера будет двигаться
>> - кадр смажется.
> Ну да. Поэтому сообразительные фотографы пытаются найти неподвижную поверхность если штатива
> нет, а выдержку побольше хочется.

Или хотя бы занять максимально жесткую позицию прижав локти к груди.

>> Если снять несколько кадров с короткой выдержкой - каждый из них будет
>> четким. Остается их только совместить. Но из-за не идеальности совмещения результат
>> тоже будет не идеальным.
> А насколько вообще при слабом освещении границы стыкуются? При ярком освещении контрастные
> сцены с резкими границами как раз хорошо склеиваются потому что границ
> по которым можно проверять правильность преобразования - более чем. А вот
> если таких границ мало, точность стыковки может выйти плюс-минус лапоть.

Ну смотря что снимать. В любом случае 4-6 бит обычно есть - этого вполне достаточно. А софт для стыковки действительно весьма капризный - иногда, на казалось бы чуть-чуть сместившейся фотографии, совершенно не может найти общие точки. Я раньше практиковал съемку девяти кадров подряд, затем смотрел сколько общих точек программа могла найти для каждого кадра. Те кадры, у которых было существенно меньше точек я отбрасывал. Без них качество итогового фото было лучше (сними слишком сильно размывало). Обычно таких "плохих" кадров было 1-3 в серии из 9.

Вот отличная презентация по теме: http://web.stanford.edu/class/cs448f/lectures/3.2/Stacking.pdf
На базе этих занятий была создана открытая программа. Я в основном ее и пользовался (+ hugin для сравнения).

>> и длинная выдержка, либо снимать серию и стыковать. А лучше full
>> frame и светосильная оптика с хорошим стабилизатором ;)
> Только как-то так получается что тащить это в самые красивые места зачастую
> очень уж хребтина протестует. Потому что самые красивые места обычно подальше
> от людей, а светосильная оптика и штатив это здорово, но они
> прилично весят и занимают изрядно места.

Ну пока хватает света - это все без надобности. Обычно в "красивые местах" хватает света - а то как эту красоту оценить :)

> Кстати если говорить об открытых камерах - мне бы имхо хватило для
> повседневных целей (я не печатаюсь на трехметровые транспаранты) чего-то типа чутка
> усиленного варианта вещиц типа https://www.crowdsupply.com/mapir/kernel-camera
> Там обычный проц, матрицы конечно заурядненькие и ближе к мобилочным но оптику
> можно явно поприличнее того чем в мобилах, и размеры куда как
> более человеческие.

Интересно, спасибо за ссылку. Что-то сайт их у меня глючит и цены у меня не меняются. Но в первом преближении - какие-то они совершенно не адекватные.

Мне в плане железа нравится другой открытый проект: https://apertus.org

Ответить | Правка | ^ к родителю #66 | Наверх | Cообщить модератору

70. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 14-Окт-16, 07:56 
> Так же, как у современных камер, у глаза - 10-14 бит. Вы
> также не видите деталей в тенях при свете в глаза.

Проблема в том что глаз оперативно адаптируется и поэтому человк может разглядеть и детали в тенях и детали на свету. Т.к. это все нативно и довольно быстро - человека не напрягает. А вот выбитые в нули или единицы области на картинках выглядят мерзотненько, особенно для тех кто в курсе что так бывает.

> бит (если не повезло - до 6) монитором выглядят совсем не
> так, как хотелось бы.

Если darktable подсвечивает выбитые области на необработанном RAW - до монитора дело даже не дошло. Данных не было изначально. Процент продолбов конечно варьируется от квалификаци фотографа, но он достаточно высокий и часто хороший кадр оказывается неприятно попорчен отсутствующим небом или полным отсутствием информации в тенях. И да, со всякими HDR те еще грабли с тем что отобразить столько битов потом очень отдельное приключение. Tonemapping то еще жульничество и в конце концов картинка все-равно отличается от того что было.

> Ну сделаете вы картинку в 20 бит. На чем вы ее смотреть будите?

А это следующая стадия грабель - придется с позором сделать tonemapping в LDR в меру талантов. Выглядеть может и получше чем выбитые темные или светлые места, т.к. детали более проработаны, но специфично и все-таки не совсем так как было в оригинале.

> Где возьмете такой монитор? Даже имеющиеся 12-14 бит приходится сжимать
> до 8 с нарушением исходной контрастности.

Вообще, хорошие мониторы вроде уже декларируют понимание 10-12 битов на канал. Но там довольно много всего что касается поддержки в софте. Чтобы с вишенкой там еще всякие FreeSync появились. К делу не относятся, но юзвери уже покусывают разработчиков графического стэка и они это ощущают. Так по хорошему юзеры могут попросить чуть ли не 120FPS при 4К в стерео, и чтоб 16 битов на канал да с FreeSync (потому что существующие GPU стабильный FPS на этом не выдюжат). А что, выжмете столько из иксов? :)

> Совершенно верно.

Вообще забавный подход - так можно попробовать какой-то алгоритм который усредняет не по всему полю кадра а только по части. Из очевидного профита - от усреднения если что и размажется - темная область на которой все-равно мало что видно было, а достаточно светлая по SNR и так может быть вполне приличной :)

> Или хотя бы занять максимально жесткую позицию прижав локти к груди.

При этом прицеливаться наверное очень уж сложно. Вообще с зеркалками есть такие грабли что целиться ими не сказать чтобы удобно, юзабилити у них так себе. Мало того что на большие качественные экраны жмутся, так на солнце еще обычно не видно нифига, а все и вся зависит от правильного подбора параметров. Что превращается в тот еще прон. Если в студии можно полчаса покрутить параметры и солнце не слепит, то например на природе когда слепит солнышко, на экране нифига не видать а время ограничено - большинство фотографов жестко косячат везде где можно накосячить. Что не удивительно, но упомняутые продолбы с экспозицией - вообще совершенно обычное дело. В студии или при съемке в тумане это конечно не проблема, а вот контрастные сцены на солнышке фотографов по прежнему часто обламывают печальным результатом.

> у которых было существенно меньше точек я отбрасывал. Без них качество
> итогового фото было лучше (сними слишком сильно размывало). Обычно таких "плохих"
> кадров было 1-3 в серии из 9.

Интересно.

> На базе этих занятий была создана открытая программа. Я в основном ее
> и пользовался (+ hugin для сравнения).

А что за программа? Я hugin и его командлайновыми тулзами пользовался. Он в принципе работает, но иногда как вы и заметили может упереться и плохо состыковать даже очень похожие фото.

> Ну пока хватает света - это все без надобности. Обычно в "красивые
> местах" хватает света - а то как эту красоту оценить :)

Наличие света зависит от времени суток и переходы между временами суток могут быть очень красивы. И вызывать батхерт у тех кто не взял штатив.

> Интересно, спасибо за ссылку. Что-то сайт их у меня глючит и цены
> у меня не меняются.

Тот сайт всего лишь краудфандинговая площадка, а конторка всего лишь запилили прототипы и вроде хотели запилить массово. В этот момент я на них и набрел. В данный момент они вроде бы приостановили кампанию. Деталей не знаю, я никакого отношения к этому не имею. Просто пример железки которая не очень далека по некоторым параметрам от того что мне хотелось бы. Ну то-есть мелкое, железо не экзотичное, линухом i.MX поддерживается на нормальном уровне вроде, да и доки на i.MX - весьма приличные.

> Но в первом преближении - какие-то они совершенно не адекватные.

Мне они интересны в основном тем что используют обычный апликушник который нормально поддерживается обычным линухом и формфактор более чем таскабельный, а остальное вроде бы без жесточайшего оверинжиниринга и поэтому может стоить вменяемо и не создавать кучу дурного гемора.

> Мне в плане железа нравится другой открытый проект: https://apertus.org

Вообще выглядит весьма интересно. Но я так сходу не понял некоторые вещи...

А у упомянутого проекта:
- Сколько это примерно может вообще стоить? Может я глупый но на сайте почему-то нет ни покупки, ни fund'инга.
- Насколько это железо поддерживается mainline?
- Меня несколько смущает вентилятор. Оно сильно прожорливое?
- Куда оно данные сохраняет? И есть ли у этого zynq аппаратный кодер видео?

Ответить | Правка | ^ к родителю #68 | Наверх | Cообщить модератору

71. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Mihail Zenkov (ok) on 14-Окт-16, 14:28 
> А это следующая стадия грабель - придется с позором сделать tonemapping в
> LDR в меру талантов. Выглядеть может и получше чем выбитые темные
> или светлые места, т.к. детали более проработаны, но специфично и все-таки
> не совсем так как было в оригинале.

Я к тому, что непринципиально - что сжимать 12-14 бит в 8 или 20 в 8 - в любом случае большую часть выкидывать. Так как если сжать 14 бит до 8 (с сохранением неба и деталей в тенях) то смотреться это будет как минимум не естественно и странно.

>> Где возьмете такой монитор? Даже имеющиеся 12-14 бит приходится сжимать
>> до 8 с нарушением исходной контрастности.
> Вообще, хорошие мониторы вроде уже декларируют понимание 10-12 битов на канал.

Угу, а реально показывают 6 бит :) Даже честные 8 бит есть далеко не всегда. Те исключительные мониторы, которые действительно умеют 10 бит стоят на порядок дороже обычных и в обозримом будущем вряд ли станут массовыми.

> А что, выжмете столько из иксов? :)

Иксам все равно какое разрешение и fps - главное чтобы железо справлялось. Вот с битностью - да, придется дописывать. Но с учетом что иксы умеют от 8 до 32 бит, дописать 48/64 бита не проблема.


> Из очевидного профита - от усреднения если что и размажется - темная область на которой все-равно мало что видно было, а достаточно светлая по SNR и так может быть вполне приличной :)

Нет - на практике светлая область тоже шумная. А так да - идея интересная ;)

> Мало того что на большие качественные экраны жмутся, так на солнце еще обычно не видно нифига,

Наоборот - при ярком свете оптический видоискатель в не конкуренции и выдает те самые 10-14 бит на канал (или сколько ваше зрение позволит) ;)

> Что не удивительно, но упомняутые продолбы с экспозицией - вообще совершенно обычное дело.

Есть такое мнение, что многим "профессионалам" религия не позволяет использовать автомат/полуавтомат :)

Тоже и с raw - получить из него картинку лучше, чем ее сделала камера в jpg - весьма не тривиальная задача, требующая знаний, времени и цветовой профиль камеры (про который "профессионалы" забывают/не знают).

> А что за программа?

https://github.com/abadams/ImageStack

> - Сколько это примерно может вообще стоить? Может я глупый но на
> сайте почему-то нет ни покупки, ни fund'инга.

Это пока бета в разработке.

> - Насколько это железо поддерживается mainline?

ХЗ, но открытое - так что все решаемо.

> - Меня несколько смущает вентилятор. Оно сильно прожорливое?

Не думаю - проблема современных камер, что они даже на HD видео перегреваются через 20-30 минут. Что уж про 4K с кучей fps говорить ...

> - Куда оно данные сохраняет?

Там есть слоты расширения - в них подключаешь нужный модуль (ssd/hdd/sd/eth/wifi/etc).

> И есть ли у этого zynq аппаратный
> кодер видео?

Не знаю, но очевидно да - при заявленых параметрах без него просто не реально.

Ответить | Правка | ^ к родителю #70 | Наверх | Cообщить модератору

73. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 15-Окт-16, 16:09 
> Я к тому, что непринципиально - что сжимать 12-14 бит в 8 или 20 в 8 -

Это принципиально при обработке и преобразованиях: если информации нет - это совсем облом и не лечится, кроме "кисти художника". А если нужные битики все-же есть - вопрос твикания кривых передачи и проч. Как было не получится, но достаточно симпатично глазу - будет.

Человеку сложно померять на глаз контраст сцены, 5000 к 1 или 150 000 к 1. Зато человек видит что веток в ельнике не видно, а небо белесое. Если исходный материал позволял - небо и ветки "чинятся". Не совсем правильно показометрически, поскольку будет какая-то компрессия диапазона по нелинейным кривым и алгоритм tonemapping. Зато приятнее визуально. Потому что и небо и ветки бросающиеся в глаза станут без явных ляпов.

А поскольку конечный результат не показометрия как с ADC а для того чтобы людям нравится, это конечно будет замаплено в 8 битов. Но - иначе, с использованием битов исходного материала которых могло бы и не быть. А вот если их нет - номер не прокатит и придется пережить с лысым небом и/или без веток в ельнике.

> в любом случае большую часть выкидывать.

Это так, но вопрос сводится к тому что намного лучше выкинуть биты так чтобы глазу это было малозаметно. А если в ельнике веток не видно или небо лысое - всем понятно что это продолб. Лучше выкинуть биты где-нибудь еще.

> Так как если сжать 14 бит до 8 (с сохранением неба
> и деталей в тенях) то смотреться это будет как минимум не естественно и странно.

Это при условии что биты не ушли в "все 1" или "все 0". Когда делают серию из нескольких кадров с разным усилением - софт обычно удостоверяется что желаемый диапазон битов захвачен хорошо. Остальное не его дело, юзер при обработке сам разберется. А если всего один кадр - уже как повезет. Если вручную - еще и насколько лоханулся фотограф. Если в студии фотограф почти не лажает, то когда светило солцне на экран, жало время и кончались батарейки, а сцена была сложной - хорошо если результат компромиссный. А то и FAIL бывает. И придя за большой компьютер фотограф делает фэйспалм.

> Угу, а реально показывают 6 бит :)

Ну это уж совсем свинство, да и чревато, потому что повышенную битность обычно хотят те кто работает с графикой а их обдурить в их же области сложно и чревато очень плохой репутацией.

> Даже честные 8 бит есть далеко не всегда.

Сейчас уже матрицы с честными 8 битов не такая уж экзотика и 6-битные остались вроде только в дешевых офисных мониторах и недорогих потребительских устройствах.

> Те исключительные мониторы, которые действительно умеют 10 бит
> стоят на порядок дороже обычных и в обозримом будущем вряд ли станут массовыми.

Мониторы для работы с графикой никогда и не были дешевыми. А почему не станут? Есть какие-то непреодолимые технологические проблемы делать 10 битов вместо 8? Ну вон IPS с разрешением в 4К и даже вроде честными 8 битами - не экзотика особо. И стоит уже не так дико. Вообще, 6-битные матрицы в сколь-нибудь дорогих мониторах и даже гаджетах уже начинают вроде постепенно считать чем-то неприличным и простительным только для офисных мониторов, дешевых китайских гаджетов и прочих геймерских мониторов которым 144 FPS важнее чем хорошая картинка и они согласны на мерзенький но зато быстрый TFT.

>> А что, выжмете столько из иксов? :)
> Иксам все равно какое разрешение и fps - главное чтобы железо справлялось.

Это шутка такая? В CRTC тормозить нечему: он долбит себе из буфера в дисплейный интерфейс, аппаратно. И это есть не только у могучих видеокарт но и даже у большинства малохольных SoC, с хоть каким-то контроллером дисплея. Поэтому если железо вообще декларирует какой-то видеорежим - оно с ним и справляется, в самом железном понимании этого слова. Если софт чего-то не успевает, CRTC если его не трогать, долбит на автомате. А вот успеть сгенерировать кадр и положить его до того как станет пора рисовать очередной кадр и CRTC начнет его долбить в провод - проблема на стороне софта. Правда в случае крутого 3D софтом могут и шейдеры на стороне GPU быть, а в сторону CPU это может вообще никогда не летать, но это другой вопрос.

А у иксов все данные толкаются через протокол и его парсер как умолчальный режим работы. Как это будет работать с такими гигазами данных - ежику понятно.

> Вот с битностью - да, придется дописывать. Но с учетом что
> иксы умеют от 8 до 32 бит, дописать 48/64 бита не проблема.

С freesync наверное еще больше проблем будет - вся инфраструктура изначально подразумевала постоянный FPS. А тут на тебе. И если низкоуровневые кишки DRM к этому наверное частично готовы, из-за того что там в процессе войны с тирингом сильно заморачивались с вещами типа precise timestamps и page flipping, когда CRTC просто переключают на другой буфер по мере его готовности, так что тиринг невозможен из-за того что CRTC рисует или из одного полного буфера или из другого, а перекидывается между буферами только если CRTC не рисует на экран (что убивает тиринг довольно кардинально), такое наверное и переменный FPS переварит. Но вот кто и как будет объяснять юзермоду что FPS на CRTC может быть переменным...

> Нет - на практике светлая область тоже шумная. А так да - идея интересная ;)

По моим наблюдениям шум заметнее всего в темных областях. В них мало что видно, с шумом проблема в том что он не похож на оригинал сцены, это все портит. А т.к. там мало что видно - размытие никто особо не заметит, можно более агрессивно сделать чем на светлых областях и тем более границах, где малейшее смещение камеры вызовет трудноустранимый и назойливый hosting. Наверняка до чего-то такого сто раз все доперли в "обычных" (space domain) денойзерах. То что вы описали больше всего похоже на time domain denoiser, чтоли. Почему бы таким подходам не работать и в этом случае? Заодно могу себе представить "3D denoiser". Несколько кадров по сути добавляют 3-ю координату, т.е. денойзер может потенциально считать значение точки не по 1D времени или 2D плоскости а по окрестностям точки в таком себе 3D. Я почти уверен что это тоже баян.

> Наоборот - при ярком свете оптический видоискатель в не конкуренции и выдает
> те самые 10-14 бит на канал (или сколько ваше зрение позволит) ;)

Оптический - может быть. Но я же не могу сохранить сигнал с сетчатки на SD карточку, даже если меня и устраивает. Сохранять будет камера, с матрицы, по параметрам которые фотограф дал. А это не то же что в оптическом видоискателе.

> Есть такое мнение, что многим "профессионалам" религия не позволяет использовать автомат/полуавтомат :)

У зеркалок и т.п. по моим наблюдениям на работу алгоритмов автоматики забивают сами производители. Этакий infinite loop: этим не будут пользоваться - нет смысла улучшать - плохо работает, невозможно пользоваться - никто не пользуется - нет смысла улучшать :). Корпоративщики экономят на оптимизации dead code, узкая каста прокачивает ЧСВ. Остальные часто получают паршивые фоты или пользуются хомяковыми устройствами.

> Тоже и с raw - получить из него картинку лучше, чем ее
> сделала камера в jpg - весьма не тривиальная задача, требующая знаний,
> времени и цветовой профиль камеры (про который "профессионалы" забывают/не знают).

У жыпега проблема в том что если случился какой-то продолб, исправить его потом ... ээ ... ну, я например, не умею хорошо вырубать шум приправленный жпеговскими артефактами. Да и остальные операции ограничены.

>> А что за программа?
> https://github.com/abadams/ImageStack

А, я мог бы и догадаться, в презентации упоминатся же.

> Это пока бета в разработке.

Да понятно что бета.

>> - Насколько это железо поддерживается mainline?
> ХЗ, но открытое - так что все решаемо.

Решаемость может быть очень разного уровня :).

> Не думаю - проблема современных камер, что они даже на HD видео
> перегреваются через 20-30 минут.

Странно. Там что, софтварный энкодер на куче ядер? У всяких более мобилкообразных в SoC чаще всего есть аппаратный энкодер. Битрейт/качество у него конечно не рекордное, но битрйта можно разрешить и побольше, а какого-то особого нагрева даже от FullHD я у мобильных девайсов вроде не замечал. Ну то-есть аппаратный энкодер конечно трескает электричество но меньше чем проц молотящий всеми ядрами. И как-то все это обходится без вентиляторов да и даже радиатор там "неявный" (BGA отводят много тепла через шарики в плату).

> Там есть слоты расширения - в них подключаешь нужный модуль (ssd/hdd/sd/eth/wifi/etc).

Ух, блин, этак оно большое и дорогое будет пожалуй. Я не собираюсь таскать с собой HDD или SSD чтобы пофоткать, это для маньяков. Но в целом выглядит довольно интересной штукой.

> Не знаю, но очевидно да - при заявленых параметрах без него просто не реально.

Мало ли, может они в FPGA собираются запилить. В общем это надо RTFM по этому SOC :)

Ответить | Правка | ^ к родителю #71 | Наверх | Cообщить модератору

16. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от nuzhny on 02-Окт-16, 13:35 
Метод называется superresolution. Вроде как даже в последней версии OpenCV есть вариант реализации. Так что надо пробовать.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

19. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Mihail Zenkov (ok) on 02-Окт-16, 14:08 
Для superresolution погрешность совмещения снимков должна быть менее пиксела, что без штатива не реально.
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

42. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от КО on 03-Окт-16, 09:07 
>> Камеры наблюдения (в вопросе Анонима), обычно приколочены к стене дома. :)
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

47. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +1 +/
Сообщение от Mihail Zenkov (ok) on 03-Окт-16, 12:21 
Да, но насколько я понимаю, номер (вместе с автомобилем) движется, иначе он не был бы размыт.


Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору

59. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 09-Окт-16, 04:17 
> Да, но насколько я понимаю, номер (вместе с автомобилем) движется, иначе он
> не был бы размыт.

Что не мешает попытаться состыковать желаемые регионы на манер того же hugin-а.

Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

61. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Mihail Zenkov (ok) on 09-Окт-16, 13:32 
Вы скорее всего имеете ввиду совмещение из-за недостаточной глубины резкости (часть в фокусе, часть размыта). Для этого случая это не применимо.

1. Глубина резкости у камер наблюдений большая.
2. Размытие вызвано длиной выдержкой: не хватало света или большая скорость движения объекта.


Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

67. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 13-Окт-16, 23:01 
> 1. Глубина резкости у камер наблюдений большая.
> 2. Размытие вызвано длиной выдержкой: не хватало света или большая скорость движения
> объекта.

Видеокамера не сможет слишком уж длинную выдержку, реалтайм не ждет. Так что наверное скорость/тряска. Но вообще в видео довольно много избыточной информации. Поскольку цель всего лишь цифры распознать и даже не сделать их симпатичными на вид - отличить цифры друг от друга не так уж и много надо.

Ответить | Правка | ^ к родителю #61 | Наверх | Cообщить модератору

69. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Mihail Zenkov (ok) on 14-Окт-16, 01:13 
> Видеокамера не сможет слишком уж длинную выдержку, реалтайм не ждет.

Точно не скажу, но скорее всего камера просто очищает матрицу не после каждого кадра, а через несколько. Попробуйте снять видео с движением на телефон в полумраке, а затем при большом количестве света. В полумраке останется явный шлейф от движения и ощущение, что камера тормозит.

Ответить | Правка | ^ к родителю #67 | Наверх | Cообщить модератору

72. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 14-Окт-16, 21:15 
> останется явный шлейф от движения и ощущение, что камера тормозит.

Это софт (или аппаратный блок image processing, если он есть в SoC) прикалывается: при низкой освещенности явно врубается усреднение нескольких кадров для уменьшения шума.

Поэтому получается все как вы и описывали примерно: шума меньше. Но FPS падает и получаются характерные артефакты. В видеопоток при этом идет меньше кадров. Я не знаю, может на уровне потока там дубли врезаются или dummy кадры которые минимально влияют на декод, но по факту FPS падает в разы.

Ответить | Правка | ^ к родителю #69 | Наверх | Cообщить модератору

20. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Mihail Zenkov (ok) on 02-Окт-16, 14:11 
> Лучше скажите, нет ли чего для восстановления детализации картинки на основе нескольких
> изображений. Есть видеозапись ДТП с камеры наблюдения, где номер скрывшегося виновника
> аварии в отдельных кадрах размыт до контуров. Но кадров много и
> контуры меняются.

Не совсем то, но возможно поможет: http://refocus-it.sourceforge.net

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

24. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +1 +/
Сообщение от trustno1 on 02-Окт-16, 15:30 
На Хабрахабре есть отличный цикл статей Владимира Южникова про слепую деконволюцию и разработку приложения, её реализующую.
https://habrahabr.ru/users/yuvladimir/topics/

Кроме того

Исправление смазанных фотографий в новой версии Photoshop
https://habrahabr.ru/post/130198/

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

29. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  –4 +/
Сообщение от DeadLoco (ok) on 02-Окт-16, 18:14 
Апскейлишь все 16-32х, совмещаешь со скьюингом по ключевым точкам, перемножаешь и даунскейлишь обратно.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

31. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +1 +/
Сообщение от Аноним (??) on 02-Окт-16, 21:14 
Такое для астрономии есть. Из нескольких изображений одного объекта делается одно. При этом детализация и выдержка как бы увеличиваются. Точно софта не помню, извините.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

51. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 03-Окт-16, 15:05 
Registax например
Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

54. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Devider (ok) on 03-Окт-16, 21:08 
Чтобы это проканало в ГИБДД, Вам придется нобелевку по математике получить.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

55. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Mihail Zenkov (ok) on 03-Окт-16, 21:25 
Обычно проблемно найти нарушителя, а доказать можно иным способом (повреждение/остатки лакокрасочного покрытия). Более того - у нас (Беларусь) записи с видеорегистратора не имеют юридической силы, но на практике имеют решающее значение.

Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

3. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +3 +/
Сообщение от angra (ok) on 02-Окт-16, 11:44 
Ну теперь еще остается написать нейронную сеть, которая взламывает любой комп после набирания на клавиатуре 'upload virus' или вообще произвольного набора символов без пробелов, и компьютерные сцены в фильмах перестанут вызывать улыбку.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору
Часть нити удалена модератором

22. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  –1 +/
Сообщение от омномномнимус on 02-Окт-16, 15:20 
https://www.youtube.com/watch?v=ZmhMsa015sQ :-)
Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

26. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +1 +/
Сообщение от Disaron (ok) on 02-Окт-16, 16:20 
Ага, даже ip адреса стали на правильные похожи, а не на что-то типа 414.260.680.22
Правда вирусы на питоне пишут...
Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

48. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 03-Окт-16, 13:12 
Mr. Robot?
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

49. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 03-Окт-16, 15:01 
Из блокбастеров, в деталях правда не помню:
Форсаж. Симпотная девочка создала чип, который позволял взломать любую камеру на планете под любой ОС и распознавать лица, в реальном времени.
Всякий Марвел(одна Минута Славы Фейлтрона чего стоит), ну это вообще треш и угар.
Сериал Кастл, там вообще была атака котиками(!) и конечно же "о нет, сейчас он сбросит бомбу, я не успеваю, ааа, всю инфу стер!"
Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

4. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +4 +/
Сообщение от john123 (ok) on 02-Окт-16, 11:52 

А на самом деле слева голубоглазая, одного зуба не хватает и шрам на левой щеке.
Нейросеть обучили когнитивным искажениям.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

23. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +1 +/
Сообщение от all_glory_to_the_hypnotoad (ok) on 02-Окт-16, 15:25 
ну и вообще кажется же что правая немного улыбвается, а на додуманном варианте всё совсем не так.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

33. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +1 +/
Сообщение от KOT040188 (ok) on 02-Окт-16, 22:06 
to`/Z вам секрет открою, только вы никому не говорите: первая пара фотографий на самом деле вторая, и наоборот…
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

35. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +2 +/
Сообщение от Анонимс on 02-Окт-16, 22:16 
если узко-узко прищурится на исходное изображение и немного абстрагироваться - результат близок к нейросети, у правой нос немного поуже.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

8. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +4 +/
Сообщение от YetAnotherOnanym (ok) on 02-Окт-16, 12:31 
> subpixel позволяет довести до узнаваемого вида пикселизированное изображения лиц, запечатлённых на камеру наблюдения, в обычных условиях невоспринимаемых из-за недостаточной детализации.

Вот я посмеюсь, когда кого-то признают виновным на основании такой восстановленной картинки, а потом окажется, что это был кто-то другой. И какой иск этот человек влепит авторам сего поделия.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 02-Окт-16, 12:52 
>какой иск этот человек влепит авторам сего поделия.

если бы это было возможно, то пострадавшие от кухонных ножей разорили бы исками производителей утвари.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

17. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +1 +/
Сообщение от ПолковникВасечкин on 02-Окт-16, 13:40 
В США это вполне возможно, а чтобы избежать исков, производитель пишет disclaimer к своим изделиям.
Не написал -- ССЗБ.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

25. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от all_glory_to_the_hypnotoad (ok) on 02-Окт-16, 15:30 
В штатах судья решает что подходит под улики, а что нет. И вообще там же нет призумпции невиновости и бывает что вполне достаточно просто подозрений чтобы закрыть человека на лет 20. Так что всё зависит от адвоката, если сумеет разыграть шоу и затроллить улику, то восстановленную картинку может быть и не будут учитывать.
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

27. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Crazy Alex (??) on 02-Окт-16, 16:42 
Что, блин?

Из википедии: In many states, presumption of innocence is a legal right of the accused in a criminal trial, and it is also regarded as an international human right under the UN's Universal Declaration of Human Rights, article 11

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

36. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 02-Окт-16, 22:25 
какое слово тут не ясно?
In many == In All - что-то не ясно ?
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

9. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +3 +/
Сообщение от Ordu email(ok) on 02-Окт-16, 12:44 
А если взять исправленную фотографию, и исправить её ещё раз? А потом ещё и ещё? Можно ли из одного пикселя получить HD картинку?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 02-Окт-16, 13:24 
вплоть до 4К и стереоэффекта... смишно* вы шутите.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

21. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +6 +/
Сообщение от Mihail Zenkov (ok) on 02-Окт-16, 14:20 
> А если взять исправленную фотографию, и исправить её ещё раз? А потом
> ещё и ещё? Можно ли из одного пикселя получить HD картинку?

Теоретически можно, но она совершенно не будет соответствовать оригиналу. Нельзя восстановить утраченную информацию. Программа "додумывает" детали на основании предыдущего опыта.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

52. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от YetAnotherOnanym (ok) on 03-Окт-16, 15:49 
Есть забавный рассказ "Будни Модеста Павловича" про попытку создать информацию из ничего.
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

74. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от PSV email on 06-Ноя-17, 15:26 
+ (долго сам вспоминал название, спасибо!)
Ответить | Правка | ^ к родителю #52 | Наверх | Cообщить модератору

40. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +5 +/
Сообщение от x0r (??) on 03-Окт-16, 02:34 
Не вы первый: http://img0.joyreactor.cc/pics/post/fuuuu-auto-111812.jpeg
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

53. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от YetAnotherOnanym (ok) on 03-Окт-16, 15:52 
> Не вы первый: http://img0.joyreactor.cc/pics/post/fuuuu-auto-111812.jpeg

О, пасиб! Тоже эту картинку вспомнил, только не знал, как её найти.

Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

10. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +1 +/
Сообщение от Аноним (??) on 02-Окт-16, 12:48 
А есть инструкция как это запустить?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +2 +/
Сообщение от Аноним (??) on 02-Окт-16, 13:25 
Вот ещё есть аналог: https://github.com/david-gpu/srez
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

28. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +2 +/
Сообщение от vit (??) on 02-Окт-16, 17:45 
круууть! наконецто киношный прием притварен в жизнь!!!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

50. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 03-Окт-16, 15:05 
> круууть! наконецто киношный прием притварен в жизнь!!!

До киношного еще как без рук, ног и летательных средств до Луны.

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

30. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +17 +/
Сообщение от Аноним (??) on 02-Окт-16, 19:53 
Теперь японскую порнуху можно будет розпикселить
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

57. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 07-Окт-16, 16:08 
Ага интересно что после такого обучения эта нейронная сеть будет в обычных фотках рисовать :D
Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

32. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +1 +/
Сообщение от Necrogrinder (ok) on 02-Окт-16, 21:49 
Что за фигня. В кино с 2000-ых годов у всяких ЦРУ, лучше улучшение качества.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

34. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним email(??) on 02-Окт-16, 22:13 
Интересены последствия многократного прогона изначально ужатого изображения через сию приблулу, потом опять ужатого и так несколько (десятков?) итераций =))
Что-то наподобие многократного машинного перевода ((английский->русский)^английский)*N
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

56. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от axredneck on 04-Окт-16, 00:49 
Красивый узор Тьюринга будет.
А вообще мне тоже хотелось бы на это поглядеть.
Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

37. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Аноним (??) on 02-Окт-16, 23:01 
Только в реальных делах, вроде восстановления фото лиц для уголовного розыска эта фигня бесполезна. Ибо не увеличивает количества информации о картинке, а только достраивает один из возможных вариантов по уже известным примерам.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

46. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от Анонимум on 03-Окт-16, 10:42 
Семь новых шапок из одной овцы не сделаешь никак. (C)
Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

38. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +1 +/
Сообщение от Necrogrinder (ok) on 02-Окт-16, 23:12 
Так дома сейчас я могу использовать или мне квантовый комп нужен?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

39. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +2 +/
Сообщение от Аноним (??) on 03-Окт-16, 00:04 
> Так дома сейчас я могу использовать или мне квантовый комп нужен?

Плазменный генератор и гравицапа нужны.

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

41. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от ОШИБКА Отсутствуют данные в поле Name on 03-Окт-16, 04:34 
Без КЦ негде достать!
Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

43. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от commiethebeastie (ok) on 03-Окт-16, 09:30 
1 рубль в магазине.
Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

44. "В рамках проекта subpixel подготовлена нейронная сеть для во..."  +/
Сообщение от пучапучс on 03-Окт-16, 09:56 
там без цкешника - надо в центр везти, проверять.
Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру