The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Компания Paragon Software возобновила сопровождение модуля NTFS3 в ядре Linux , opennews (ok), 03-Июн-22, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


24. "Компания Paragon Software возобновила сопровождение модуля N..."  +1 +/
Сообщение от Аноним (24), 03-Июн-22, 20:15 
Это проблема именно NTFS. Воспроизводится как под Windows, так и под Linux. Лично столкнулся с этим, когда нужно было перекинуть между дисками большое число мелких файлов, но небольшого суммарного объема. Долго не мог понять, почему настолько медленно копируется, пока не вспомнил про эту особенность NTFS.
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

30. "Компания Paragon Software возобновила сопровождение модуля N..."  +1 +/
Сообщение от Без аргументов (?), 03-Июн-22, 20:54 
может потому что журналы. и потому что если это внешний накопитель -- то без кэширования. в линухе по крайней мере другая подстава: нажал ctrl+c, ctrl+v, и файл будто скопировался. а на самом деле нет еще -- в оперативе.
Ответить | Правка | Наверх | Cообщить модератору

49. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от shardddin (?), 03-Июн-22, 23:51 
А есть другие способы/сочетания клавиш для "мгновенного" копирования в таком случае?
Ответить | Правка | Наверх | Cообщить модератору

79. "Компания Paragon Software возобновила сопровождение модуля N..."  +1 +/
Сообщение от Аноним (79), 04-Июн-22, 10:59 
cp или gcp  
Ответить | Правка | Наверх | Cообщить модератору

167. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от Аноним (167), 06-Июн-22, 10:49 
Мне помог планировщик BFQ, почему - не знаю. Копировал много файлов с флэш - тормозило, после BFQ перестало. https://unix.stackexchange.com/questions/375600/how-to-enabl...
Ответить | Правка | К родителю #49 | Наверх | Cообщить модератору

62. "Компания Paragon Software возобновила сопровождение модуля N..."  +2 +/
Сообщение от leap42 (ok), 04-Июн-22, 04:44 
Вот это в sysctl.conf:

vm.dirty_bytes = 268435456
vm.dirty_background_bytes = 33554432
vm.dirty_expire_centisecs = 1000
vm.dirty_writeback_centisecs = 250

Просто попробуйте.

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

84. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от Zenitur (ok), 04-Июн-22, 11:20 
Что за "грязные" байты?
Ответить | Правка | Наверх | Cообщить модератору

87. "Компания Paragon Software возобновила сопровождение модуля N..."  +2 +/
Сообщение от n00by (ok), 04-Июн-22, 12:34 
Грязная страница памяти - это когда отобразили файл в ОЗУ (сделали mmap), а потом модифицировали память. Теперь у ОС стоит задача синхронизировать данные на накопителе. После чего страница становится чистой, менеджер может освободить её при нехватке памяти (а при надобности опять считать с накопителя). Байты - наверное, потому что размер страниц не на всех архитектурах 4К. Какое это всё имеет отношение к беферизированному копированию - не знаю, это надо читать документацию, но зачем? Как уверяют Анонимы, для разработки операционных систем типа POCA LINUX даже программировать не надо уметь.
Ответить | Правка | Наверх | Cообщить модератору

123. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от Андрей (??), 04-Июн-22, 16:01 
> Байты - наверное, потому что размер страниц не на всех архитектурах 4К.

Кстати, недавно прокатилась волна исправлений из-за хардкода 4K.

> "This is almost always due to incorrect/incomplete support for 16K pages. Packages are sometimes built assuming a 4K page size, or are otherwise incompatible with large pages. This has not been a serious issue for desktop Linux software, as x86/amd64 supports only 4K pages and PowerPC supports only 4K or 64K pages. AArch64 is unique in that an AArch64 machine can use 4K, 16K or 64K pages."

https://github.com/AsahiLinux/docs/wiki/Broken-Software

Ответить | Правка | Наверх | Cообщить модератору

142. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от n00by (ok), 05-Июн-22, 09:41 
Это пока только вершина айсберга. Волшебные 4К крепко засели в головах и даже повлияли на размер сектора накопителей. Где-то могли применить для оптимизаций, в итоге работать будет, но не очень. Если проект жив, то автор исправит, а с остальными как повезёт.
Ответить | Правка | Наверх | Cообщить модератору

132. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от leap42 (ok), 04-Июн-22, 18:21 
> Грязная страница памяти - это когда отобразили файл в ОЗУ (сделали mmap),
> а потом модифицировали память. Теперь у ОС стоит задача синхронизировать данные
> на накопителе. После чего страница становится чистой, менеджер может освободить её
> при нехватке памяти (а при надобности опять считать с накопителя). Байты
> - наверное, потому что размер страниц не на всех архитектурах 4К.
> Какое это всё имеет отношение к беферизированному копированию - не знаю,
> это надо читать документацию, но зачем? Как уверяют Анонимы, для разработки
> операционных систем типа POCA LINUX даже программировать не надо уметь.

При поведении по умолчанию на современной машине буфер измеряется гигабайтами (или даже десятками гигабайт), а блокирующая синхронизация не может начинаться до 50% наполнения буфера. В итоге во многих случаях она вообще не начинается до принудительного сброса буфера при извлечении. Отсюда это странное и неудобное поведение. А ещё дикие всплески IO - то пусто, то всё сразу пишем. Уменьшение буферов делает поведение более приспособленным к десктопу с SSD, а не серверу на HDD.

Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

141. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от n00by (ok), 05-Июн-22, 09:38 
А буфер, куда программа копирования читает файл, расположен в виртуальной памяти, потому может быть выгружен на накопитель? Таким образом в некоторый момент времени на накопителе может оказаться две копии данных. И это как раз в ситуации, когда ОЗУ не хватает, а система ввода-вывода загружена запросами. Но виноват в 12309 - Линус Торвальдс, тут вопросов ни у кого нет.
Ответить | Правка | Наверх | Cообщить модератору

78. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от vitektm (?), 04-Июн-22, 10:52 
В Windows также в кеш кидает при копировании. И мелкие файлы копируется дольше.
Потому и есть параметры скорость линейной записи и блоками 4К.


И когда речь про множество файлов я так понимаю тут подразумевают более 100000-300000 файлов.

В папки более ~1млн я не заходил.  Но это боль.

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

166. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от ivakon (?), 06-Июн-22, 09:41 
ctrl + insert
shift + insert
Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

31. "Компания Paragon Software возобновила сопровождение модуля N..."  +1 +/
Сообщение от InuYasha (??), 03-Июн-22, 21:12 
С другой стороны, наличие большого числа мелких файлов - это тоже проблема линукса и его софта. Всё-таки, system32 будет поменьше */lib/. И уж точно - без миллиона конфигов. Хотя, честно говоря, в винде (сямёрка) папка GoodNES читается довольно шустро, за несколько секунд на старом ноуте.
Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

39. "Компания Paragon Software возобновила сопровождение модуля N..."  +5 +/
Сообщение от имярек (?), 03-Июн-22, 21:51 
В /usr/lib* довольно много всякого, но действительно ли сильно больше, чем в system32/syswow64?

> И уж точно - без миллиона конфигов.

Это проблема типа "слишком много денег". Хорошо такие проблемы иметь, когда альтернатива это реестр.

Ответить | Правка | Наверх | Cообщить модератору

41. "Компания Paragon Software возобновила сопровождение модуля N..."  +2 +/
Сообщение от Аноним (41), 03-Июн-22, 22:00 
> В /usr/lib* довольно много всякого, но действительно ли сильно больше, чем в system32/syswow64?

$ tree /usr/lib|grep directories
2970 directories, 31184 files

$ tree /media/user/SYSTEM_SSD/Windows/System32|grep directories
2665 directories, 15495 files

$ tree /media/user/SYSTEM_SSD/Windows/SysWOW64/|grep directories
429 directories, 5154 files

Ответить | Правка | Наверх | Cообщить модератору

50. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от shardddin (?), 03-Июн-22, 23:53 
$ tree /usr/lib|grep directories
39520 directories, 369401 files
Ответить | Правка | Наверх | Cообщить модератору

91. "Компания Paragon Software возобновила сопровождение модуля N..."  –1 +/
Сообщение от Алексей (??), 04-Июн-22, 13:06 
Открой для себя docker, qemu - и не придется куча хлама хранить в либах.
Ответить | Правка | Наверх | Cообщить модератору

146. "Компания Paragon Software возобновила сопровождение модуля N..."  +2 +/
Сообщение от Клыкастый (ok), 05-Июн-22, 10:25 
Подумайте над тем, что возможно докер, и тем более qemu, предназначены не для хранения хлама. Возможно хранить хлам в окружении ещё ядер, файловых систем и прочего оверхеда не такая удачная идея. Даже если у вас просто фобия, интересно как это работает? Ещё больше хлама уже не воспринимается как хлам?
Ответить | Правка | Наверх | Cообщить модератору

173. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от InuYasha (??), 07-Июн-22, 13:45 
Алексей, похоже, верит, что если хлам раскопировать по контейнерам, то это уже не хлам )
Ответить | Правка | Наверх | Cообщить модератору

59. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от commiethebeastie (ok), 04-Июн-22, 02:24 
50725 directories, 384449 files

Регулярно переустанавливаешь Ши... Линукс?

Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

85. "Компания Paragon Software возобновила сопровождение модуля N..."  +1 +/
Сообщение от svsd_valemail (ok), 04-Июн-22, 11:56 
Позвольте уточнить, что же у вас там и с какого года стоит что столько хлама осталось ??

Система на сиде с 2016 года, не переустанавливалась, обновлялась и обновляется, софт и игры ставились и ставятся до сих пор всё работает, но столько файлов просто не вижу, всего 99к ))
tree /usr/lib|grep directories
9649 directories, 99064 files
lsb_release -a
No LSB modules are available.
Distributor ID:    Debian
Description:    Debian GNU/Linux bookworm/sid
Release:    unstable
Codename:    sid

Ответить | Правка | Наверх | Cообщить модератору

170. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от commiethebeastie (ok), 06-Июн-22, 16:31 
>[оверквотинг удален]
> и игры ставились и ставятся до сих пор всё работает, но
> столько файлов просто не вижу, всего 99к ))
> tree /usr/lib|grep directories
> 9649 directories, 99064 files
> lsb_release -a
> No LSB modules are available.
> Distributor ID: Debian
> Description: Debian GNU/Linux bookworm/sid
> Release: unstable
> Codename: sid

2013 года система вроде. Arch Linux.

А причина банальная, global pip. Вот старые файлы например, по идее их все можно удалить:

[@ python3.9]$ tree * | grep directories
10339 directories, 68016 files

Ответить | Правка | Наверх | Cообщить модератору

122. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от Аноним (122), 04-Июн-22, 15:42 
make install, часом, не практикуете?

У меня система с 2015 года не переустанавливалась, 7544 directories, 68860 files.

Ответить | Правка | К родителю #59 | Наверх | Cообщить модератору

171. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от commiethebeastie (ok), 06-Июн-22, 16:35 
> make install, часом, не практикуете?
> У меня система с 2015 года не переустанавливалась, 7544 directories, 68860 files.

pip из под рута я практикую :D Не нравится мне мышиная возня с ENV и Docker.

Ответить | Правка | Наверх | Cообщить модератору

134. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от Аноним (134), 04-Июн-22, 19:43 
В GoodNES 3.23b всего 22к файлов)
Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

63. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от какая разница (?), 04-Июн-22, 05:56 
То ли дело в линуксе..
Есть внешний диск с usb 3.0 с 2 разделами - ntfs и ext4 и ноутбук с ubuntu 20.04 и windows 10.
Копирую с windows на раздел с ntfs фотки - скорость держится в районе 10 мб/с (вложенные папки). Делаю то же самое в ubuntu на ext4 и ntfs - максимум 1-2 мб/с.
Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

71. "Компания Paragon Software возобновила сопровождение модуля N..."  +1 +/
Сообщение от пох. (?), 04-Июн-22, 09:38 
А теперь сделай две вещи: git pull https://github.com/tuxera/ntfs-3g (с дальнейшим make install - только вот не выеживайся с ключами configure - все оставь по дефолту)
и ntfs-3g /dev/sda1 /mnt/windows (или где там оно у тебя)

И потом расскажи про свои "1-2".

P.S. можно вместо этого повозиться с ключами убунтиной версии, но есть и другие поводы ей не пользоваться.


Ответить | Правка | Наверх | Cообщить модератору

75. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от Аноним (75), 04-Июн-22, 10:08 
> есть и другие поводы ей не пользоваться.

Огласите весь список, пожалуйста. В целях повышения образованности.

Ответить | Правка | Наверх | Cообщить модератору

92. "Компания Paragon Software возобновила сопровождение модуля N..."  –1 +/
Сообщение от пох. (?), 04-Июн-22, 13:06 
git log или вон, в интуитивно приятном интерфейсе шитхаба посмотри весь, если тебе прям интересны детали.

Это тот сравнительно редкий случай, когда действительно не нужно сидеть годами на предыдущих версиях.

Ответить | Правка | Наверх | Cообщить модератору

102. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от какая разница (?), 04-Июн-22, 13:48 
Значит ответить не можешь?
Не удивлен..
Ответить | Правка | Наверх | Cообщить модератору

115. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от пох. (?), 04-Июн-22, 15:07 
> Значит ответить не можешь?

я тебе ответил, я не виноват что ты феноменально т-пой и не можешь прочитать две странички текста.

> Не удивлен..

что я не занимаюсь просвещением м-ков? Действительно, я не нанимался.

Ответить | Правка | Наверх | Cообщить модератору

116. "Компания Paragon Software возобновила сопровождение модуля N..."  –1 +/
Сообщение от пох. (?), 04-Июн-22, 15:08 
> я тебе ответил

а, не тебе, видимо. Будем надеяться что тот, кому я отвечал, сумеет прочитать ответ и понять его.

а ты продолжай тявкать.

Ответить | Правка | Наверх | Cообщить модератору

129. "Компания Paragon Software возобновила сопровождение модуля N..."  –1 +/
Сообщение от какая разница (?), 04-Июн-22, 16:42 
Уже сам с собой "базаришь"? Вот что бывает, когда забываешь разлогиниться..
Ответить | Правка | Наверх | Cообщить модератору

128. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от какая разница (?), 04-Июн-22, 16:41 
> ты феноменально т-пой

За свой "базар" не отвечаешь?
Впрочем, в стаде клоунов ("линуксоидов") ничего не меняется. Отвечать на вопросы они не могут. Максимум, на что хватает умишка, это сказать "в Гугле забанили?" или предоставить ссылку, по которой суть вопроса не раскрывается чуть менее, чем полностью..

Ответить | Правка | К родителю #115 | Наверх | Cообщить модератору

130. "Компания Paragon Software возобновила сопровождение модуля N..."  +/
Сообщение от какая разница (?), 04-Июн-22, 16:44 
Ну и оскорбить собеседника, зная, что в ответ им не будет физического ущерба, это у них в норме..
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру