URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 120014
[ Назад ]
Исходное сообщение
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено opennews , 10-Мрт-20 11:55 
Доступен выпуск проекта Hobbits 0.21, развивающего графический интерфейс для анализа, обработки и визуализации бинарных данных в процессе проведения обратного инжиниринга. Код написан на С++ с использованием библиотеки Qt и распространяется под лицензией MIT...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=52500

Содержание
Сообщения в этом обсуждении
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено A.Stahl , 10-Мрт-20 11:55 
Блин. Висит у меня над душой одна задачка по парсингу бинарного файла неизвестной структуры. В своё время не получилось, но необходимость никуда не делась. А тут какой-то новый инструмент. Придётся щупать чтобы потом с чистой совестью можно было сказать: "Ну, я всё перепробовал, не получается".
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 15:54 
попробуйте пробовать криптографию;)
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено A.Stahl , 10-Мрт-20 19:25 
Да нет там никакого шифрования, просто нужно набраться терпения...


"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 21:18 
> Блин. Висит у меня над душой одна задачка по парсингу бинарного файла неизвестной структуры

А этот файл секретный? И на что вообще похож?

"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено A.Stahl , 10-Мрт-20 21:27 
Туда большая сложная программа записывает своё "состояние".
Исходников программы нет.
А вот некоторые мелкие правки хотелось бы вносить без оригинальной программы.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Зз , 11-Мрт-20 00:23 
Первое что приходит на ум - сделать по гексдампу на каждом шагу, и потом сравнивать диффом
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 11-Мрт-20 23:34 
Это случаем не база данных какая-нибудь встраиваемая?
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 22:17 
Сабж нужен если используются структуры размером с нецелое число байтов, особая жопа - когда каждый кусок занимает разное количество БИТОВ. Тогда в хексе полная каша, выглядит как будто зашифрованный или пожатый. Если у вас структуры, каждое поле которых занимает с целое число байтов, то попробуйте Kaitai Web IDE. Там можно реверсить форматы, о которых даже ничего не знаешь, просто кучу файлов имеешь. Просто смотришь в хекс и замечаешь регулярности.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 11-Мрт-20 02:00 
> особая жопа - когда каждый кусок занимает разное количество БИТОВ.

Так редко делают, в основном в сжатии и проч, где биты надо экономить любой ценой. Потому что кодить парсинг этого довольно канительно, а програмеры тоже люди. Как вариант может быть сжатие опосля - но тогда чаще всего оно какое-нибудь из более-менее типовых, библиотечных. Потому что кодить свое собственное сжатие опять же канительно.

Но реверс сжатия вообще отдельная тема. Если надо это - сходите на compress.su какой, чтоли. Там пара человек любит такие ребусы.

> Просто смотришь в хекс и замечаешь регулярности.

Однозначно. Если он не сжатый, конечно. И желательно чтобы их несколько было, так назначение разных структур может стать понятнее.

"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 11-Мрт-20 09:30 
>Потому что кодить парсинг этого довольно канительно, а програмеры тоже люди.

Ну с Kaitai кодить парсинг такого легко и просто. Единственный недостаток - кучу памяти жрёт. А вот сериализации в Kaitai пока нет и очень долго не будет.

"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 12:40 
binwalk же
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено 1234 , 10-Мрт-20 12:50 
он что-то кроме прошивок openwrt понимает?
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено n80 , 10-Мрт-20 14:15 
Да, много чего понимает, успешно доставал им файлы из тех же инсталляторов, например.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Unnamed , 10-Мрт-20 16:15 
Может помочь 7z x
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено n80 , 10-Мрт-20 19:01 
> Может помочь 7z x

Есть такое дело, тоже частенько использую, особенно в совсем простых случаях. Но иногда нужно больше возможностей, так что binwalk тоже нужен.

"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено имя , 10-Мрт-20 14:09 
radare2! Им, как ни странно, не только над исполняемыми файлами орудовать можно.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 14:16 
IDA Pro. Искать народную версию сам знаешь где.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 21:19 
Варез же. И под линух вроде нету. К тому же именно анализ, именно структуры, именно неизвестного файла - это ну вообще совсем не ее.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено anonimous , 10-Мрт-20 21:26 
По поводу вареза не совсем так. Версия Pro - варез, версия Free - нет. И для Linux есть и то, и другое.

Вот ссылка на версию Free (правда для задач из этой новости ее полезность неизвестна):
https://www.hex-rays.com/products/ida/support/download_freeware/

"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 21:36 
Там вроде фри версия из разряда "файлы не открывай, работу не сохраняй, и вообще давай неси нам миллионы денег"?
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 11-Мрт-20 04:35 
И если кто думает что этой чудной компании так прямо просто дать денег - хаха, сейчас. Когда я пробовал это, было проще пройти квест 80 уровня...
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Рейко Каневская , 10-Мрт-20 21:45 
Ида идеально работает под вайном искаропки
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 11-Мрт-20 04:33 
Спасибо, но wine - в пень. А еще там очень милая компания и автор. Если в иде что-то пойдет не так, единственная реальная опция - застрелиться. Примерно то же самое касается идеи это чудо честно купить...
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 22:46 
Это ту, которая на 10 лет устарела, но, в отличии от retdecа, на i686 бинарях хотя-бы hex-ray работает и прожёвывает довольно быстро и при адекватных требованиях к памяти? Кто-нибудь уже допилите этот грёбанный retdec, чтобы для его построения не требовалось строить llvm (у неё есть deb-репозиторий с "ночными" либами, а построение её с нуля занимает часы).
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено user90 , 10-Мрт-20 13:27 
Картинки понравились, обобряю.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 13:55 
Работает ли он с блоками бит переменной длины некратной 8? Можно ли проанализировать им файл ZIP, восстановив алгоритм распаковки? Есть ли готовые примеры такого разбора?
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 12-Мрт-20 12:28 
Визуализировать блоки некратные 8 битам можно!
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 14:15 
А ассемблеры понимает?
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено АНБ , 10-Мрт-20 18:39 
ассемблер objdump -D показывает.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 15:39 
Работает ли он с блоками бит переменной длины некратной 8? Можно ли проанализировать им файл ZIP, восстановив алгоритм распаковки? Есть ли готовые примеры такого разбора?

Этому умнику: бери да проверяй

"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 16:55 
а вот этот умник поди не знает что такое трэды.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено териванов , 10-Мрт-20 17:17 
А известно чего этой тулзой уже отреверсили?
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено name , 10-Мрт-20 17:27 
файлы от photoshop открывает?
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено хз.кто , 10-Мрт-20 18:20 
http://kaitai.io/ - это лучше, если нужно описывать структуру файлов
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 21:20 
Какая-то хипстерская фигня для хомячков.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 22:26 
kaitai офигенная штука (доступная по https кстати), я ей сам постоянно пользуюсь. Но её недостаточно для black-box реверсинга всякой дерьмовой каши.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 11-Мрт-20 01:55 
> доступная по https кстати

Ну, это, конечно, самое главное при реверсинге :)

"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 11-Мрт-20 08:23 
Это не самое главное, но постить ссылки со схемой http, если сайт работает по https - это моветон.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 23:45 
Она научилась описывать GIF, PNG, ZIP, GZ и прочие форматы со сжатием дальше заголовка? Судя по примеру на главной странице — всё ещё нет. Она позволяет легко сделать парсер, который покажет оглавление архива, но для написания распаковщика не поможет. Потому что работает не с битами, а только с байтами.

По крайней мере, так было 4 года назад, и с тех пор принципиальных изменений в примерах не было.

"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 10-Мрт-20 23:59 
Если размер сжатого потока известен заранее, если и на сжатый и на разжатый хватит памяти, и если есть модуль декомпрессии (из `kaitai.compress.`) для языка.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 11-Мрт-20 12:17 
> kaitai.compress

Молодцы, развиваются.

> если и на сжатый и на разжатый хватит памяти

На диск писать не умеет?

> Если размер сжатого потока известен заранее

То есть на каждый сжатый файл нужен свой kty? Или можно брать этот размер из данных в анализируемом файле?

"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 11-Мрт-20 23:31 
>Или можно брать этот размер из данных в анализируемом файле?

Да, каждое поле с `process` обязанно быть подпотоком. `process` пршсто трансформирует подпотоки. А подпотоки реализованы так: вычитываются в память, проходится processором, на расжатые данные создаётся объект потока, объект скармливается парсеру. Не нравится - шли pull requestы.

"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 12-Мрт-20 12:32 
Чтобы написать пулл-реквест на документацию, нужно долго изучать код. Гораздо проще, когда документацию апдейтит автор кода.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 14-Мрт-20 22:38 
Плагин для вызова Kaitai с самописной заменой его Web IDE уже пишут: https://github.com/Mahlet-Inc/hobbits/issues/24
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено bOOster , 11-Мрт-20 06:11 
33 года назад делал что-то подобное - поиск спрайтов, на Bk0010-01. С переписыванием модуля загрузки с магнитофона, грузил в видео память (хотя на бк между видео и основной разницы нету, кроме того что последняя отображается) и в небольшом окошке осуществлял манипуляции. Редактировать и записать тоже можно было. При небольшой усидчивости получалась другая игра.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 11-Мрт-20 20:33 
Как его запускать? Какой указать параметр mode в командной строке?
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 11-Мрт-20 21:39 
Автокорреляция глючит.
"Выпуск Hobbits 0.21, визуализатора для реверс-инжиниринга би..."
Отправлено Аноним , 12-Мрт-20 12:29 
Уже починили в 0.22.1.