> На файловых системах типа ext3 несложно.Кто ж сейчас EXT3 пользуется, ext4 шустрее все-таки из-за экстентов.
> После того как за inode зацепился уже дальше все просто.
Это "просто" если ты структуры файлухи знаешь. И сколько опеннетчиков покажет нам этот номер? Особенно из хорохорившихся тут?
> Даже если собрать целиком файлы лога не вышло по найденным inode, то пропуски
> легко найти по ожидаемым сигнатурам (хоть регексами),
О да, пару терабайтов регэксами :). Как максимум могу себе представить что если это поимка хакера по типу криминалистики, что-то такое еще может прокатить. Но это явно не полное вытаскивание всех логов блин и даже не поиск неизвестно чего.
А вот как разместить системдшные логи чтобы целиком в 1 фрагменте "вечно" были, с фиксированным размером и известной сигнатурой начала - я себе представляю. В таком виде можно и flawless recovery закатить. При том вместо регэкспов искать маркер начала файла. Ну да, там надо себе заранее подыграть, но так по крайней мере более-менее можно.
> если формат данных известен. С текстом особенно легко.
С текстом легко только если знать что искать. И именно регэкспом на именно 2 терабайтах будет не совсем прикольно. Если вопрос на миллион, можно и это конечно. Но на практике горячие головы скорее всего забьют: соотношение траха и результата фэйловое. А вот как накорябать автоматическую утилсу которая вынет мне системдшные логи зная минимум данных (размер кольцевого буфера который я настроил) - я по крайней мере так смогу. И быстро. И там кондовый маркер LPKSHHRH в начале файла. Левого добра где это по 0-му смещению сектора на диске будет немного. Остается прочесть по размеру кольцевого буфера - и лог у меня. Вообще весь.
А еще поскольку фрагментация и вообще 2 терабайта бинарного мусора, парсинг этого наверняка доставит мягкотелым любителям текста. Которым придется жевать таки явно бинарные данные.
> Я так в 2004-ом как раз с посыпавшегося рейда собирал инфу. Там
> был склад xml-файлов известного формата.
У XMLок часто бывает характерный маркер начала. А еще в 2004 диски были малось поменьше. Одно только чтение винча на несколько Тб может занять полдня. Сколько там займет регэксп - очень интересный вопрос.
> Достал почти всё. Аппаратный контроллер рейд запускать отказывался,
> поэтому пришлось диски вычитывать отдельно.
Надеюсь это объясняет почему я не особый фанат неведомых проприетарных форматов метаданных и аппаратных рейдов.
> Где-то несколько дней ушло, данных было 70 гигов примерно.
> С двумя терабайтами не вижу проблемы. Тогда диски были большие по сравнению
> со скоростью процов и памятью машин :)
Проблема простая: желательно все вынуть за 1 проход, потому что читать 2 терабайта можно заманаться. Как что-то такое для системдшных логов (а точнее кандидатов на таковые) изобразить, если себе подыграть немного - я еще догадываюсь.
