forum.opennet.ru

"Релиз GNU tar 1.30"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Присылайте удачные настройки в раздел примеров файлов конфигурации на WIKI.opennet.ru.

. "Релиз GNU tar 1.30"	+/–
Сообщение от Аноним84701 (ok), 19-Дек-17, 22:11
>> От tar вижу смысл отказываться только тогда, когда действительно важен произвольный доступ (squashfs), нужна дедупликация (borg) > squashfs имеет встроеную дедупликацию. Если ее не дополнили, т.е. дедупликация на уровне файлов, то это не то. В дедупе борга, аттики, zbackup (и вроде бы, лезть в сорцы лень) rsync и еще целой кучи утилит/клонов основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины. Пример: Файл А: 11 22 33 44 55 Файл Б: 11 22 33 44 55 Файл В: 11 22 33 44 56 Файл Г: 00 11 22 33 44 А и Б (дупликаты на уровне файлов) распознаются сквошем (хэш/пров. сумма файла) B (часть данных различается) детектится блочными дедупликаторами, типа ZFS и сохраняется только отличающийся блок. На Г ("сдвиг") блочный дедупликатор обломится (если конечно "сдвиг" не равен кратному длины блока), а вот "кусочная" дедупликация сможет "отделить мух от котлет". Естественно, все имеет свою цену - первый способ почти "бесплатен", т.к. при упаковке пров. суммы файлов все равно считаются, тем более, пакуются данные только один раз. Поблочный дедупликатор считает при каждой записи, плюс ему нужны индексы (см. классическую интернациональную драму на форумах всего интернета "ZFS дедап жрет ОЗУ как не в себя!" - фряшники советуют исходить от 2 до 5ГБ ОЗУ на 1 ТБ файлов). У дедапа с кусками различной длины есть недостатки предыдущих способов, плюс еще более подтормаживающий хэш (тут правда смотреть надо - питон он обычно скоростью не отличается, а zbackup-овых 40-60 МБ/s может вполне хватать). Но для инкрементальных бэкапов, хранения или передачи схожих данных по узкому каналу и прочего оно вполне себе очень даже ничего. Ключевые слова chunks + rolling hash + rabin karp Кроме педивикии, см. можно тут: https://github.com/YADL/yadl/wiki/Rabin-Karp-for-Variable-Ch... https://software.intel.com/en-us/articles/accelerate-data-de...
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Релиз GNU tar 1.30, opennews, 18-Дек-17, 00:56 [смотреть все]

Всю жизнь жду когда же наконец уже эту окаменелость отправят на свалку истории и, Онаним, 18-Дек-17, 00:56 (1) //
- Не осилил -J , QuAzI, 18-Дек-17, 01:01 (2)
- tar это не запакованный формат , Аноним, 18-Дек-17, 01:03 (3) //
  - Вообще-то он как раз формат упаковки архивирования, а не сжатия компрессии , angra, 18-Дек-17, 03:30 (9) //
    - Да, но часто вы встречаете просто tar, а не tar gz файлы Для каких-то своих кас, Онаним, 18-Дек-17, 04:42 (17)
      - Хотя даже на кассетах непонятно зачем оно нужно такое - почему бы перед записью , Онаним, 18-Дек-17, 04:48 (18)
        
        ты забегаешь вперед Этот нюанс как раз является одной из проблем tar, которые д, Greg KH, 18-Дек-17, 06:19 (24)
        Еще раз, tar - формат архивирования Не сжатия Нужно сжатие - жми отдельно Мож, Вася, 19-Дек-17, 21:06 (111)
      - Это уже случилось бы давно, если бы существовал нормальный архиватор Но вместо , Greg KH, 18-Дек-17, 06:27 (25)
        
        Рад, что хоть кто-то понимает о чём я Чем не нравится 7zip Формат вроде достато, Онаним, 18-Дек-17, 09:31 (27)
        
        Можете начать прямо сейчас , Аноним, 18-Дек-17, 10:19 (32)
        его надо весь лопатить Изначально 7z был настолько инороден POSIX, GNU Linux и , Greg KH, 18-Дек-17, 11:32 (39)
        
        WinRAR к твоим услугам , VINRARUS, 19-Дек-17, 08:00 (94)
        
        Тот же tar сверху никто не принимал Он сначала стал распространённым благода, Аноним, 18-Дек-17, 13:38 (54)
        
        bsdtar умеет через libarchive И есть ещё http www mirbsd org pax htm которы, Пользователь Debian, 18-Дек-17, 17:53 (70)
        
        Я про него и говорил Из pax 1 Усё , Аноним, 18-Дек-17, 19:59 (78)
        
        Как человек, не понаслышке знакомый с внутренностями 7z хотя все-таки понаслышк, Вася, 19-Дек-17, 21:15 (112)
        
        Ничего не заменило tar, потому что ерунда это, а не проблема На практике 99 юз, Crazy Alex, 18-Дек-17, 16:24 (64)
      - Да запросто, когда нужно перенести кучу jpg png avi, сжимать которые смысла нету, ALex_hha, 19-Дек-17, 19:28 (109)
- я вам 7zip 18 лет назад написал, пользуйтесь, и правнукам передайте А tape arch, Pgor Iavlov, 18-Дек-17, 01:08 (4) //
  - Тише ты, чего расшумелся Ну не знают хомячки что архивация и сжатие это абсолют, DiabloPC, 18-Дек-17, 01:38 (5) //
    - В 99 случаев это разделение не нужно Приведите мне хоть один пример, когда tar, Онаним, 18-Дек-17, 04:32 (15)
      - Как минимум там, где мне это нужно, я могу выкинуть tar gz в пользу хоть tar l, имя, 18-Дек-17, 04:48 (19)
        
        7z a -t gzip bzip2 lzma2 xz и т п Не пробовал хотя понимаю, что чудом не понадо, Онаним, 18-Дек-17, 05:34 (21)
        
        Такие форматы есть, просто они не так часто бывают нужны tar чаще всего использ, Аноним, 18-Дек-17, 14:41 (59)
        Не работает ни с какими ключиками Точнее работает в том случае, когда пакуется , Аноним, 18-Дек-17, 15:55 (62)
        Понимаешь, у тебя чисто виндовый подход засунуть в одну утилиту все и вся Чтоб, Вася, 19-Дек-17, 21:24 (113)
  - Вот пускай бы те, кто пишет на кассеты этим и пользовались Но нет, этим по дура, Онаним, 18-Дек-17, 04:29 (14) //
    - Выкинь на помойку свой RAR уже Его лет 10 как тот же 7-zip обскакал по скорости, Аномномномнимус, 18-Дек-17, 10:51 (34)
      - RAR не тронь , VINRARUS, 19-Дек-17, 07:57 (93)
        
        Да с чего бы Даже под форточкой перешёл на 7z , ., 20-Дек-17, 02:53 (122)
        
        WinRAR реализовал идею tar gz под винду в виде непрерывных архивов, токо не так , VINRARUS, 21-Дек-17, 01:14 (129)
      - умиление О, да Это несомненный плюс, прямо таки обдно из главных достоинств лю, Дим, 19-Дек-17, 11:20 (99)
      - Вот не надо Не знаю как сейчас, но раньше он был гвоздями прибит к COM какая н, dq0s4y71, 19-Дек-17, 15:43 (105)
    - С 7zip просто невозможно нормально работать в консоли В частности потому что в , Аноним, 18-Дек-17, 13:41 (55)
  - Оу, а split-ом нарезать архив и гордо именовать это многотомным архивом ты тоже , Аноним, 18-Дек-17, 09:06 (26) //
    - ваши внуки уже не будут помнить, зачем вы пользовались split , Pgor Iavlov, 18-Дек-17, 16:48 (67)
      - Да не - у них размер файла до гуглебайта всего то Так что придётся сплитить - , ., 20-Дек-17, 02:45 (119)
- Ругаются на ftp, теперь на tar а когда надо быстро прокинуть по сети миллионы м, Аноним, 18-Дек-17, 04:24 (13) //
  - Всегда когда не нужно сохранять права доступа и ссылки делаю это через 7z по SFT, Онаним, 18-Дек-17, 04:38 (16) //
    - Да знаю я 7z, но мне когда надо образ рабочей системы клонировать, то нужны прав, Аноним, 18-Дек-17, 11:33 (40)
      - netcat tarНа исходной машине tar -czf - 124 nc целевой_ip portна целевой , anonymous, 18-Дек-17, 12:33 (45)
        
        То же самое хотел написать Наименее затратный вариант И совершенно непотребный, Аноним, 18-Дек-17, 13:54 (57)
        
        Это с единичным примером все хорошо, а у меня автоматизированное управление с ан, Аноним, 18-Дек-17, 19:57 (77)
        
        Ну и что в приведённом мной примере не автоматизировано Полностью неинтерактивн, Аноним, 18-Дек-17, 20:13 (79)
        
        Зачем городить какие-то костыли с поднятием FTP если он поднимается по запросу н, Аноним, 18-Дек-17, 21:28 (84)
        
        Где же просто Ты используешь дополнительный сервис как минимум FTP, если VPN у, Аноним, 19-Дек-17, 13:29 (102)
      - я бы не был так категоричен, никто не мешает отключить компрессию и использовать, ALex_hha, 19-Дек-17, 19:37 (110)
        
        мы мешаем, секьюрить наша всьо Поэтому мы отломали этот ваш вредный аркфор, сле, openssh, 20-Дек-17, 17:54 (128)
  - так в этом и проблема, что у всех синдром утенка, и кроме tar ничего нет более-м, Greg KH, 18-Дек-17, 05:56 (23) //
    - Огласите пожалуйста минусы tar У cpio я знаю проблемы, у tar - нет , Аноним, 18-Дек-17, 11:29 (38)
      - Самый критичный - отсутствие индекса для оптимального рандомного доступа к данны, Greg KH, 18-Дек-17, 11:42 (41)
        
        Вообще-то, это зависит от реализации pixz, например, умеет создавать индекс , Аноним, 18-Дек-17, 12:42 (47)
        
        squashfs тоже умеет Но это совсем другой формат, к тому же прибито к компрессор, Greg KH, 18-Дек-17, 12:55 (49)
        
        tar pixz создают совершенно обычный tar xz, у которого в конце индекс Распак, Аноним, 18-Дек-17, 13:16 (51)
        
        А, это точно, ведь tar-у хвост не нужен Согласен, юзабельно, вот такое можно ре, Greg KH, 18-Дек-17, 13:37 (53)
        
        См mksquashfs 1 , Аноним, 18-Дек-17, 13:58 (58)
        
        аноним, Но pixz это совсем другой формат, к тому же прибито к компрессору xz , Greg KH, 18-Дек-17, 19:40 (76)
        
        Рассматривать squashfs 124 btrfs 124 zfs в качестве архиватор упаковщик дл, PnDx, 18-Дек-17, 15:06 (61)
        
        Это надо основательно yпороться, чтобы присовокупить btrfs и zfs А squashfs 8, Аноним, 18-Дек-17, 16:02 (63)
        
        Ну, тогда удачи поменять в архиве 3 ТБ вот тот файлик и потом отдать изменё, PnDx, 18-Дек-17, 17:06 (68)
        
        Ну да, есть оговорки в плане области применения Там, где нужно менять файлы, на, Аноним, 18-Дек-17, 18:00 (71)
        
        Зависит от количества файлов, мы же про tar, не про tar gz Для распаковки одног, Аноним, 18-Дек-17, 20:33 (80)
  - rsync , Аноним, 20-Дек-17, 17:09 (127)
- Я тоже жду такого в отношении местных Онанимов, бедный буратино, 18-Дек-17, 04:55 (20)
- Есть резон, да Присоединяйтесь http duplicity nongnu org new_format html, Greg KH, 18-Дек-17, 05:38 (22) //
  - Да, на duplicity стоит обратить внимание И про замену tar хорошие мысли, но, ког, Аноним, 18-Дек-17, 11:09 (36) //
    - Согласен Всё го но, пусть уже делают мене хорошоу, бездельники XXX , Andrey Mitrofanov, 18-Дек-17, 13:35 (52)
- хе-хе, видать ты еще не вкурсе, что есть еще и долго еще будет cpio я бы не д, Sfinx, 18-Дек-17, 10:46 (33)
- И это реально такая большая проблемма чтобы ждать ее решения всю жизнь Чувак, н, Дим, 19-Дек-17, 11:26 (100)
Ого Оно еще развивается, я думал, что утилиту уже отшлифовали до идеала Круто , Борщдрайвен бигдата, 18-Дек-17, 02:57 (7) //
- Одно время отсылал авторам пару мелких патчей, для чего ковырялся в исходниках , Аноним, 18-Дек-17, 03:37 (10) //
  - Реальный мир вообще не склонен укладываться в любые модели системы архитектуры , angra, 18-Дек-17, 03:46 (11)
  - Интересно было бы переписать тар на лиспе или схеме и посмотреть, что получитс, Vjatcheslav, 18-Дек-17, 20:53 (82) //
    - На чём угодно гораздо удобнее и быстрее написать прототип, чем составлять специф, Аноним, 18-Дек-17, 23:46 (86)
    - Уже https github com froydnj archive blob master tar lisp, Вася, 19-Дек-17, 21:44 (114)
Mc все так же виснет на 12 минут при нажатии F3 по нему , Аноним, 18-Дек-17, 03:09 (8) //
- Может ты zip имел в виду, дурашка , Аноним, 18-Дек-17, 12:23 (44)
частенько использую tar для того чтобы сохранить большое число маленьких файлов , eganru, 18-Дек-17, 09:58 (30) //
- данет see 41 , Greg KH, 18-Дек-17, 11:44 (42) //
  - Если У Вас 100GB в архивах, то Вам явно необходимо что-то менять в консерватории, Аноним, 18-Дек-17, 12:04 (43) //
    - А это не нашей консерватории архив Понимаешь в чем дело, когда все вокруг следу, Greg KH, 18-Дек-17, 12:39 (46)
      - Кстати, для gz - не больше 2GB Там внизу man gzip написано, что оно не работа, Greg KH, 18-Дек-17, 12:46 (48)
        
        Во-первых, 4Г Во-вторых, работает, только размер сжатого файла неправильно отоб, Аноним, 18-Дек-17, 14:55 (60)
        
        О, замечательно, заглянули в мансамому то не смешно Ты либо сознательно прикиды, Greg KH, 18-Дек-17, 19:22 (73)
        
        Я и не предлагаю таким образом проверять размер файла, я таким образом просто по, Аноним, 18-Дек-17, 21:08 (83)
        
        А ты видимо тред не читал Здесь всё есть, грепай по 100 Когда припекает, а так, Greg KH, 19-Дек-17, 03:39 (90)
        
        Это не наколенные поделки, просто они отчасти морально устарели и не всегда соот, Аноним, 19-Дек-17, 13:07 (101)
        
        squashfs имеет встроеную дедупликацию , VINRARUS, 19-Дек-17, 18:02 (108)
        
        Если ее не дополнили, т е дедупликация на уровне файлов, то это не то В дедуп , Аноним84701, 19-Дек-17, 22:11 (115)
        Это ж какие размеры используемой оперативки должны быть при упаковке В блочной , VINRARUS, 20-Дек-17, 00:34 (117)
        Там в основном оперативка под индексы уходит, а данные полностью в ОЗУ держать н, Аноним84701, 20-Дек-17, 01:57 (118)
        Ну так ясно Другими словами должен совпадать 1 кб непрерывных данных Ну да, 16 , VINRARUS, 20-Дек-17, 02:59 (123)
    - Так и что плохого в архивах по паре сотен гб где-то в s3, например , Борщдрайвен бигдата, 18-Дек-17, 13:52 (56)
      - Да ничего, но товарищ там зачем-то листинги хочет и частичную распаковку Не пом, Crazy Alex, 18-Дек-17, 16:33 (66)
        
        хватит лицемерить Неужели, желание списка файлов в архиве - это такой жупел, чт, Greg KH, 18-Дек-17, 19:26 (74)
        Так ведь tar не особо для этого Собрать файлы в один, положить на ленту и забыт, Борщдрайвен бигдата, 18-Дек-17, 20:36 (81)
    - Отлично не держать слишком больших архивов, потому что с ними неудобно работать, Анонимм, 18-Дек-17, 16:32 (65)
      - Влет это как Смонтировать через losetup, и скопировать необходимый файл Ну, , Аноним, 18-Дек-17, 17:45 (69)
        
        дамп в смысле высокоуровневого , сделанного через утилиту dump Влет, это подклю, Анонимм, 18-Дек-17, 19:16 (72)
        Вы реально настолько некомпетентны, не понимаете, почему dump-архив позволяет вы, Greg KH, 18-Дек-17, 19:30 (75)
        
        Спасибо, за публичную порку Так давно это было, что аж успело забыться Еще ра, Аноним, 19-Дек-17, 09:35 (96)
        
        Спасибо за адекват, анонимусМне вообще странно, почему dump не особо популярен в, Greg KH, 19-Дек-17, 11:19 (98)
        
        Мне вообще кажется, что достаточно важно в этом вопросе это то, что система позв, Аноним, 19-Дек-17, 13:42 (103)
  - У меня нет цели какого-либо детального анализа или желания вдруг что-то там по о, eganru, 18-Дек-17, 23:13 (85)
Вендузоиды бомбят Хорошо , Аноним, 18-Дек-17, 12:58 (50)
какой консольный компрессор под уникс посоветуете главное требование максимальн, Аноним, 19-Дек-17, 00:24 (87) //
- xz, Глупышь, 19-Дек-17, 02:11 (88)
- Какие ещё требования Какой способ применения, что потом будет с файлами Как бу, Борщдрайвен бигдата, 19-Дек-17, 02:44 (89)
- lzip конечно же и его параллельная реализация plzip, Greg KH, 19-Дек-17, 03:42 (91) //
  - Есть какие-то объективные причины использовать его, а не xz, ставший уже стандар, Аноним, 19-Дек-17, 15:23 (104) //
    - http www nongnu org lzip xz_inadequate htmlКраткая выжимка Key findings includ, Анонимм, 19-Дек-17, 16:05 (106)
      - Почитал Отчасти выглядит разумно, отчасти 8212 явные придирки, отчасти 821, Аноним, 19-Дек-17, 17:45 (107)
- спасибо почитаю подробнее про алгоритмы файлы обычные не системные из хоум дир, аноним_оп, 19-Дек-17, 05:53 (92) //
  - предлагаю использовать squashfs см man mksquashfs , компрессию ему можно указат, Greg KH, 19-Дек-17, 09:06 (95) //
    - squashfs крут тем шо его можна просто смонтировать в любую папку и работать даль, VINRARUS, 19-Дек-17, 10:53 (97)
      - Подскажи как на WindowsXP Solaris AIX iOS11 смонтировать сквошу , pavlinux, 20-Дек-17, 02:46 (120)
        
        Наш, Советский матрос - умеет задать правильный вопрос С , ., 20-Дек-17, 03:55 (125)
        Я на винде открывал через 7zip В теории возможно монтирование как обычный iso с, VINRARUS, 20-Дек-17, 04:15 (126)
        
        А я откуда знаю, зачем вы сквошем пытаетесь заменить всея платформенный tar ta, pavlinux, 21-Дек-17, 03:01 (130)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру