The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Выпуск обработчика нехватки памяти earlyoom 1.4, opennews (ok), 02-Мрт-20, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


2. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +12 +/
Сообщение от Аноним (2), 02-Мрт-20, 20:31 
Почему нельзя в ядре допилить этот диспечер памяти? Нет вместо этого будем городить всякие user-space костыли.
Ответить | Правка | Наверх | Cообщить модератору

4. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (4), 02-Мрт-20, 20:34 
Допили. У меня даже есть идея: берешь этот обработчик и высылаешь его Торвальдсу, мол: "Смари, чувак, мне не нравится нынешнее состояние в ядре. Давай ты сделаешь вот так!"
Ответить | Правка | Наверх | Cообщить модератору

57. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +2 +/
Сообщение от zzz (??), 03-Мрт-20, 02:21 
Анониму за это не платят, в отличие от 95% разработчиков линукса. Которые в перерывах между допиванием кофейной гущи и ковырянием в носу вот уже 20 лет как не могут запилить нормальный OOM в ядре. Нигде такой фигни нет - под виндой процессы нормально киляются, под фрюхой, да даже под симбианом, и только под линуксом разрабы заняты чем угодно, но только не решением покрытого мхом бага, что ажно приходится костылить пяток юзерспейсных демонов.
Ответить | Правка | Наверх | Cообщить модератору

90. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +5 +/
Сообщение от rshadow (ok), 03-Мрт-20, 09:56 
Не надо нам тут сказок про винду. Знаем - плавали. Там вообще вероятность работы 50/50. Может и диспетчер задач тупо не открыться. Даже без нагрузки. "Семь бед - один ресет".
Ответить | Правка | Наверх | Cообщить модератору

103. "Выпуск обработчика нехватки памяти earlyoom 1.4"  –1 +/
Сообщение от Аноним (103), 03-Мрт-20, 10:48 
А я сужу по практике. Может мне конечно повезло см железом. Но у меня несколько месяцев работала Win 10, я ее только отходя куда-то отправлял в hibernation. Ни одного падения, зависания, все как часы работало.
Ответить | Правка | Наверх | Cообщить модератору

119. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +4 +/
Сообщение от Аноним (119), 03-Мрт-20, 11:44 
И как это связано с нехваткой памяти? пробовали в windows память всю занимать?
Ответить | Правка | Наверх | Cообщить модератору

176. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +1 +/
Сообщение от Аноним (176), 04-Мрт-20, 02:50 
> И как это связано с нехваткой памяти? пробовали в windows память всю занимать?

Это он так спалился что винды оказывается умеют виснуть намертво при выходе из STR и тому подобных режимов, очень приятно получается, как серпом по... :)

Ответить | Правка | Наверх | Cообщить модератору

100. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (-), 03-Мрт-20, 10:37 
> Нигде такой фигни нет - под виндой процессы нормально киляются,

Ыгы, если гуйня вообще прорисуется. Если не прорисуется за разумное время, из-за системного душняка - сушите весла! Никакого эквивалента например alt-sysrq-n чтобы построить приоритетный такс там нету! И alt-sysrq-f чтобы вынести жирный таск вызывающий свопление без всяких гуев - тоже.

> под фрюхой, да даже под симбианом,

Не знаю как во фрюхе (она меня задолбала задолго до таких мелочей и я ее вынес до настолько интимных знакомств), а в симбиане это примерно так: вот вы чатитесь в паре чатиков, браузя между делом файлики и что-то еще. Фигак! Ни чатиков, ни файлов, ни прочих глупостей. Вот те абсолютная лысая система, дорогой юзерь. Но вам же не впадлу переконектиться в чатики и забрести в диру файлменеджером заново, правда? :)

> и только под линуксом разрабы заняты чем угодно, но только не решением покрытого мхом бага,
> что ажно приходится костылить пяток юзерспейсных демонов.

Внезапно, линух используется в дофига применений, в отличие от симбианов и фрибсд, так что 1 размер всем таки не катит.

Ответить | Правка | К родителю #57 | Наверх | Cообщить модератору

133. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от zzz (??), 03-Мрт-20, 13:44 
>Никакого эквивалента например alt-sysrq-n

Ты путаешь причину и следствие. Это не линукс такой хороший, что в нем есть даже такая комбинация, а комбинация появилась, потому что линукс такой плохой. И да, полно случаев, когда система встает колом так, что даже alt-sysrq-n не отрабатывает.

>так что 1 размер всем таки не катит

В линухе куча рабочих планировщиков как процессов, так и IO под разные применения. Ни одного рабочего OOM нет до сих пор. Линукс - это серьезно (с).

Ответить | Правка | Наверх | Cообщить модератору

150. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (150), 03-Мрт-20, 17:41 
> Ты путаешь причину и следствие. Это не линукс такой хороший, что в
> нем есть даже такая комбинация, а комбинация появилась, потому что линукс такой плохой.

Офигенное понимание дел системных, тудыть-растудыть! А я то думал что проблема - в том что realtime (да и просто высокоприоритетный) процесс BY DESIGN может крепко узурпировать систему. Изначально - для реалтаймного отклика, но ежели что-то пойдет не так, в остальной системе, видите ли, душняк с временем процессора может наступить. Потому что так условились что процесс важен, а он решил взять и офигеть. И это как бы BY DESIGN, на уровне семантики.

При том на системе где реалтайм реально роялит - это даже может быть желаемым и нужным состоянием дел. Хоть програмер и должен по уму вынести heavy lifting на низкоприоритетные worker'ы. Нормально это, кстати, только в линуксе и можно: там разным тредам можно разный приоритет вкатить, хоть это и не соответствует кретинизму который в POSIX. В этом месте линухоиды таки положили на стандарт во имя здравого смысла. И таки в линухе у 1 задачи могут быть треды с разными приоритетами. А у остальных... ацаца :). В винде не помню, там вроде тоже так можно. И таки в винде высокоприоритетный процесс хрен срубишь, если он офигеет. Можно заманаться таскменеджера ждать.

> И да, полно случаев, когда система встает колом так, что даже alt-sysrq-n не отрабатывает.

EPIC BULLSHIT. Это кернелем рюхается, так что не срабатывать может только если отключено, разве что. Как максимум до него alt-sysrq-r может потребоваться, если из иксов, чтобы raw mode клавы форсировать, мало ли чего там софт настроил.

Но вот конкретно эти комбо работают железобетонно, даже цук по сериальному шнурку (с break'ом).

> В линухе куча рабочих планировщиков как процессов, так и IO под разные
> применения. Ни одного рабочего OOM нет до сих пор. Линукс - это серьезно (с).

Там вообще-то вполне рабочий OOM killer. И весьма конфигуряемый. Просто система его сама пнет только когда память уже вообще совсем закончилась. В системе с большим свопом этого момента можно ждать довольно долго.

Ответить | Правка | Наверх | Cообщить модератору

139. "Выпуск обработчика нехватки памяти earlyoom 1.4"  –1 +/
Сообщение от mikhailnov (ok), 03-Мрт-20, 15:05 
Выкладывайте свои предложения по алгоритму работы правильного ООМ
Ответить | Правка | К родителю #57 | Наверх | Cообщить модератору

204. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от kek (??), 05-Мрт-20, 08:37 
Всё давно выложено и реализовано в nohang и oomd.
Ответить | Правка | Наверх | Cообщить модератору

11. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +2 +/
Сообщение от Аноним (11), 02-Мрт-20, 20:41 
Этот же earlyoom можно без проблем засунуть в ядро в виде earlyoom.ko, но просто пилить его будет сложней, опции менять сложней (например, sysctl, что не очень визуально, как, например, конфиг в /etc), получать оповещения сложней (только если вываливать в dmesg, но как-то это надо ловить и показывать пользователю).

Плюс, всякие ограничения ядра по поводу coding style - тут пишешь себе на github и не паришься.

Например, в Windows этой проблемы нет, потому что ntoskrnl связано с GUI и может посылать сообщения explorer.exe и в Windows Notifications (Win 8 и выше). в Лине kernel само по себе, Xorg сам по себе, user X session само по себе. Для ядра ваш KDE/Gnome/Unity/XFCE просто процесс.

Короче, будем и дальше жить с user-space обработчиком.

В лине всё идеально - вы забыли? Только идиоты-пользователи и кривое железо - надо покупать православное, как мне сказали в соседнем обсуждении: https://www.opennet.ru/openforum/vsluhforumID3/119938.html#205

Абсолютно типичный ноут на 99% из Intel без NVIDIA/AMD discrete'ной графики - уже "специфичное железо".

// b.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

82. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Q2W (?), 03-Мрт-20, 08:12 
А в чём минусы earlyoom в userspace?
Пусть живёт там себе дальше.
Ответить | Правка | Наверх | Cообщить модератору

101. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (-), 03-Мрт-20, 10:45 
> А в чём минусы earlyoom в userspace?

Потенциально менее надежно. Ядро себя при управлении ресурсами точно не обидит. И поэтому чтобы скопытился именно важный компонент ядра - ну разве что после всего остального уже, если душняк почему-то не пропал (e.g. conntrack неадекватный размеру RAM на мелкой мыльнице).

А вот для юзермода удостовериться что никогда не поплохеет софтине рулящей такими аспектами - очень нетривиально. Отдельные приветы всякой пихтонрасии, где это вообще mission impossible.

> Пусть живёт там себе дальше.

Однако почему б что-то такое не было в кернеле - все ж вопрос. А юзермод мог бы конфигурять. Ну вон OOM killer так примерно и работает, но он врубается либо если памяти совсем нет, либо если его мануально по alt-sysrq-f позвать.

Ответить | Правка | Наверх | Cообщить модератору

83. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +1 +/
Сообщение от Q2W (?), 03-Мрт-20, 08:13 
Комментатор выше жаловался на на это, а на то, что ядро могло бы и отказать очередному процессу, который попросил памяти, которой уже нет и, если всё-таки выдать, система встанет колом.
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

95. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (95), 03-Мрт-20, 10:22 
проблемы с коммуникацией - надуманные.
chardev для связи с клиентом, который уже будет оповещения ловить в обрабатывать (модуль ядра + клиент отличается от нынешней схемы тем, что без клиента модуль будет работать, но без оповещений)
конфиг нагляднее? - конфиг может поменяться, а reload не выполнен, куда нагляднее настройки в /sys/ для тюнинга и/или в /proc для суммарного отображения.
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

140. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (140), 03-Мрт-20, 15:20 
Всё классно звучит.

Возьмётесь?

// b.

Ответить | Правка | Наверх | Cообщить модератору

12. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +2 +/
Сообщение от VINRARUS (ok), 02-Мрт-20, 20:42 
По тому же почему нельзя заставить Linux не вешать систему при копировании сотен мелких файлов на 8ми ядрах — этому ядру уже ничего не поможет.
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

28. "Выпуск обработчика нехватки памяти earlyoom 1.4"  –3 +/
Сообщение от Аноним (-), 02-Мрт-20, 21:24 
Под Linux, система вешается при копировании большого объёма, десятки гигов, и не важно мелкие файлы или нет.
Ответить | Правка | Наверх | Cообщить модератору

42. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +2 +/
Сообщение от заминированный тапок (ok), 02-Мрт-20, 22:49 
переносил исходники UE4 с одного диска на другой, около 86Гб и тысячи мелких файлов
никто никуда не повесился

ЧЯДНТ?

Ответить | Правка | Наверх | Cообщить модератору

43. Скрыто модератором  –4 +/
Сообщение от VINRARUS (ok), 02-Мрт-20, 23:12 
Ответить | Правка | Наверх | Cообщить модератору

48. Скрыто модератором  –1 +/
Сообщение от Анончик999 (?), 03-Мрт-20, 00:22 
Ответить | Правка | Наверх | Cообщить модератору

77. Скрыто модератором  +/
Сообщение от пох. (?), 03-Мрт-20, 07:24 
Ответить | Правка | Наверх | Cообщить модератору

52. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (52), 03-Мрт-20, 01:34 
>исходники UE4
>около 86Гб

Что там в UE такого, чтобы набрать эти 86 гигов написанного людьми кода, если дале 1 мег текста - это очень много? Я сомневаюсь, что вообще существуют такие большие проекты.

Ответить | Правка | К родителю #42 | Наверх | Cообщить модератору

116. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от заминированный тапок (ok), 03-Мрт-20, 11:37 
* PhysX
* модули и системы сборки MaCOS,iOS,Android,Windows,Linux,.... ну и всех остальных поддреживаемых платформ
* куча плагинов и дополнений из маркетплейса
* и тд и тп
* + промежуточные файлы после компиляции
(я просто не почистил всё ненужное)

конечно, еслив всё это почистить, то размер можно порезать в x2-x3 раза

установленный под виндой винарниками около 15 Гб весит  +/-

Ответить | Правка | Наверх | Cообщить модератору

74. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от llirikemail (ok), 03-Мрт-20, 07:01 
не так давно (около 3 месяцев назад наверное), разворачивал на машине почти 100 гиговый бэкап в основном с фоточками плюс какое-то количество документов. Что-то делаю не так?
Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

78. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от пох. (?), 03-Мрт-20, 07:33 
> не так давно (около 3 месяцев назад наверное), разворачивал на машине почти
> 100 гиговый бэкап в основном с фоточками плюс какое-то количество документов.
> Что-то делаю не так?

бэкап. А у товарища - с fs на нее же или другую такую же, и обе, небось, ext4 с _журналом_ (это важно). То есть очень похоже на 12309 во всей его красе. И важно не число гигов (главное чтоб на порядок больше чем кэш позволяет вместить) а количество, фоточки плохой тест, вот как у анона - исходники UE - хороший.

Там, правда, насмерть не висло, но прервать этот процесс при околонулевой реакции системы было непросто.

А учитывая что его с тех пор десять раз починили и даже два раза закрыли - теперь при каких-нибудь интересных сочетаниях условий может и виснуть ;-)

Ответить | Правка | Наверх | Cообщить модератору

94. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (-), 03-Мрт-20, 10:19 
>А у товарища - с fs на нее же или другую такую же, и обе, небось, ext4 с _журналом_ (это важно)

Нет, у меня на обоих винтах btrfs

Ответить | Правка | Наверх | Cообщить модератору

114. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от пох. (?), 03-Мрт-20, 11:29 
и тоже виснет? Ну, в целом и неудивительно, у нее количество лишних записей еще больше чем у ext4, хотя и была у меня смутная надежда что локап где-нибудь непосредственно около журнала и его обработчиков.

Ответить | Правка | Наверх | Cообщить модератору

118. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (-), 03-Мрт-20, 11:41 
разумеется виснет, это же я написал несколько сообщений, что при копировании виснет
Ответить | Правка | Наверх | Cообщить модератору

152. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (152), 03-Мрт-20, 18:06 
> смутная надежда что локап где-нибудь непосредственно около журнала и его обработчиков.

Скорее этот умник пихнул активно кантуемые файлопомойки на системный диск. А напрасно!

Вот конкретно ты думаю в курсе одной интимной особенности: страницы executable'ов можно вытряхнуть если потом можно подчитать из файла. При душняке, даже если свопа нет (или он в каком там zram), кернель таки рассмотрит executable'ы в этом качестве. И если уж плеваться в линь кислотой - то вот за этот рудимент, чтоли. Но большинство местных тупарей в системной механике полные дрова, поэтому даже кислотой обхаркивают самих себя, тупари :)

И таки да, на системном SSD баг становится даже, пожалуй, фичой: быстрый readonly swap, не протирающий стораж (readonly же) и вполне эффективный. Вот видимо никто и не парится :)

Ответить | Правка | К родителю #114 | Наверх | Cообщить модератору

212. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от пох. (?), 05-Мрт-20, 20:09 
>> смутная надежда что локап где-нибудь непосредственно около журнала и его обработчиков.
> Скорее этот умник пихнул активно кантуемые файлопомойки на системный диск. А напрасно!

а локап-то откуда?

> Вот конкретно ты думаю в курсе одной интимной особенности: страницы executable'ов можно
> вытряхнуть если потом можно подчитать из файла. При душняке, даже если

ну да, мы вот этот цирк вполне наблюдали на том примере, который тут в конце комментов был дан.

Чего бы, собственно, и не выбросить то, что даже и свопить не надо, оно и так уже на диске лежит. Понятен, что в случае когда мы не планировали свопинга вообще - было бы некисло эту фичу как-нибудь уметь выключить нафиг, да и low limit на буферный кэш не помешал бы (у zfs arc такой, кстати, есть - как бы ни было плохо, целиком arc никогда не очищается, потому что если его совсем очистить, то ничего работать вообще не будет), но вот чего нет, того нет. А полезешь там ковыряться - обязательно что-то еще поломаешь.

Но совсем виснуть-то нахера же ж ?

Ответить | Правка | Наверх | Cообщить модератору

218. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (218), 07-Мрт-20, 07:03 
> а локап-то откуда?

Ну смотри, душняк памяти. Кернель выкидывает паги его любимой апликухи из рамы, с мыслью подчитать потом из файла, коли так можно было.

А когда юзер пытается поюзать апликуху - ну, собссно, она ловит page fault, как обычно -> кернель идет за страницей в бинарь апликухи. И пока оно там ее вынет, особенно ежели сие на механическом диске, да для десятка апликух... ну апликуха и висит тряпочкой. А куда она денется без потребной для продолжения работы страницы? :)

> ну да, мы вот этот цирк вполне наблюдали на том примере, который
> тут в конце комментов был дан.

В случае с SSD баг можно рассмотреть за фичу :P. И ты же понимаешь что разработчики себе не враги и давно накупили SSD. Вот оно их и не парит.

> оно и так уже на диске лежит.

Проблема с этим вот в чем: ежели мы хотели low latency систему, которая либо отрабатывает, либо обламывается за обозримое время, даже вырубить своп таки не пролечит вот это на 100% т.к. останется этот механизм. Это может быть немного назойливо.

Кому принципиально, я знаю минимум 2 хака на тему:
1) Вообще вырубить свопы в конфиге кернеля, это вроде и данный механизм выносит, если не путаю.
2) LD_PRELOAD всем процессам и оттуда mlockall, чтоли, какой. Сие сделает что запрошено, но есть некие побочные эффекты...

> Понятен, что в случае когда мы не планировали свопинга вообще -

...мы таки все равно можем получить "computer is thrashing" в объеме превышающем желаемый.

> буферный кэш не помешал бы (у zfs arc такой, кстати, есть

Только гули толку, без плотной интеграции с остальным mem management оно только все испортит лишний раз. А кто ж его в zfs то с mem management линя то настолько плотно будет дружить?

> Но совсем виснуть-то нахера же ж ?

Если страниц памяти для апликухи нет - она не может работать :). Это не полный взвис, просто деградация перфоманса. Но это в назойливом виде реально получить на механическом диске vs мощный комп с дофига всего запущенного, чтоли.

Ответить | Правка | Наверх | Cообщить модератору

79. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (79), 03-Мрт-20, 07:34 
Windows.
Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

104. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (104), 03-Мрт-20, 10:49 
> Windows.

Так бы сразу и сказал, он при 50К файлов в дире встает колом на несколько минут, хоть там что. Но это ntfs так работает, там индексация если и есть - то на проволоке и скотче. Поэтому когда на холодную пытаетесь подчитать список на 50К позиций - ых, ых, ых, там нет индекса для быстрой выгрузки всех 50К :)

Ответить | Правка | Наверх | Cообщить модератору

115. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от пох. (?), 03-Мрт-20, 11:35 
> Поэтому когда на холодную пытаетесь подчитать список на 50К позиций

дайте угадаю - вы не "список" пытаетесь, а в интуитивно-приятном эксплорере, которому на эти 50ке надо разобраться с типом файла и симпатичную иконочку к каждому пририсовать, если, конечно, дело ограничивается автоназначаемой, а не приходится еще и лезть внутрь, чтобы узнать, что же такое нарисовать этому юзеру.

А индекс при линейном чтении помогает только в детских сексуальных фантазиях. У взрослых уже обычно есть понимание, что помочь он может только если точное имя файла уже откуда-то известно, и никакого перебора "50k" нет в помине. С этим у ntfs все хорошо, а вот у ext4 лучше не знать как оно коллизии разрешает.

И да, ls без -F в линуксном каталожке на 50ке ненужно - тоже, мягко говоря, небыстр (и прожорлив, ему сортировать это все надо) - поэтому и  нехрен такие помойки устраивать, а потом лазить к ним  доступом с полным перебором содержимого, причем не только имен, а еще и дополнительной сложно извлекаемой информации.

Ответить | Правка | Наверх | Cообщить модератору

158. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (-), 03-Мрт-20, 22:17 
> дайте угадаю - вы не "список" пытаетесь, а в интуитивно-приятном эксплорере,

В FAR без иконок те же яйца.

> еще и лезть внутрь, чтобы узнать, что же такое нарисовать этому юзеру.

Красивая теория, но FAR плевал на иконки.

> А индекс при линейном чтении помогает только в детских сексуальных фантазиях.

Это зависит от устройства оного, однако. Есть 2 вида ФС: те которым пофиг на unordered bulk выгрузку списка и те которым не пофиг. Последние держат под такое какие-нибудь структуры из которых это можно эффективно отпедалить, первые шарахаются по всему диску, с понятным факапом перфоманса.

> У взрослых уже обычно есть понимание, что помочь он может только если
> точное имя файла уже откуда-то известно, и никакого перебора "50k" нет в помине.

Это просто выгрузка списка диры. И таки те кто поумнее и кому не пофиг на перфоманс этот кейс вменяемо обыгрывают. В том числе и делая отдельные структуры на такой случай.

> С этим у ntfs все хорошо, а вот у ext4 лучше не знать как оно коллизии разрешает.

По времени чтения диры на 50К файлов я заметил, насколько там все офигенно.

> И да, ls без -F в линуксном каталожке на 50ке ненужно -
> тоже, мягко говоря, небыстр (и прожорлив, ему сортировать это все надо)

Блин, в винде 50К файлов хоть там чем залистить занимает *минуты* если это "на холодную". Из кэша то быстро, но это уже не заслуга ФС, от слова вообще.

А в линухе - там по разному, от ФС зависит. XFS с разлапистыми иерархиями вроде не очень, остальные - получше. В btrfs меня подобные вопросы не парили особо, во всяком случае - ну вот не помню туповэйтинга МИНУТАМИ. Единственное где я такие времена в линухе видел вообще - стирание сильно фрагментированых торентов на цать гигов на XFS :)

> - поэтому и  нехрен такие помойки устраивать, а потом лазить
> к ним  доступом с полным перебором содержимого, причем не только
> имен, а еще и дополнительной сложно извлекаемой информации.

Как бы если нужная информация "сложно извлекается" - это факап дизайна, гарантирующий хреновый перфоманс.

Ответить | Правка | Наверх | Cообщить модератору

215. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от пох. (?), 06-Мрт-20, 15:40 
> В FAR без иконок те же яйца.

ну так это - проблема вашей фары , не?

> Это зависит от устройства оного, однако.

расскажите же, каким волшебным образом dirindex (особенно в ext4 реализации) участвует в получении _полного_ списка содержимого каталога.

> Как бы если нужная информация "сложно извлекается" - это факап дизайна

нет, это факап пользователя. Не понимающего, как правильно работать с помойками в 50k файлов (и вообще ухитряющегося их создать) - что при этом не надо генерить графические превьюшки всех пятидесяти и добывать из них exif с точной секундой съемки. Программы пишут для нормальных людей, у тех таких помоек нет, поэтому странно ожидать что они о тебе позаботятся.

Ответить | Правка | Наверх | Cообщить модератору

219. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (-), 07-Мрт-20, 07:15 
> ну так это - проблема вашей фары , не?

Лично я вообще не смог найти проги где такой проблемы нет.

> расскажите же, каким волшебным образом dirindex (особенно в ext4 реализации) участвует
> в получении _полного_ списка содержимого каталога.

Если есть индексированный и линейный варианты - последний в упомянутом случае логично и выдать, если он конденсированно лежит его можно быстро и крупным оптом выдать на гора. У NTFS походу какие-то сложности с таким развитием событий. Во всяком случае, я только что на холодную сунулся в ext4 на механическом диске с ~60К файлов в дире (если не больше) - и потер это. Ну, собссно, обычным миднайтом. Чего-то после этого сказ о крутизне винды и ее технологий как-то не убеждает, скорее верится тому прогеру который на реддите(?) ms рассказал почему винды тормозят относительно пингвина :)

> нет, это факап пользователя.

Угу, щас.

> Не понимающего, как правильно работать с помойками в 50k файлов

Балин, мистер умник, выгрузку делала прога и я не имел никакого контроля над тем как она это будет фигачить.

> (и вообще ухитряющегося их создать) -

Его прога автоматически слепила, это выгрузка была. А когда я заметил что места нет, надо бы стереть .. ух ты, простое действо оказывается все раком ставит и надолго. В лине я подобными иерархиями ворочаю (в т.ч. на механических дисках) в крейсерском режиме и не задумываюсь.

> что при этом не надо генерить графические превьюшки всех пятидесяти

Про превьюшки круто, но фар их не генерит, да и вообще, это были кастомные файлы, винды не умеют превью из них делать, для начала.

> и добывать из них exif с точной секундой съемки.

Чего, кого, откуда в кастомных файлах exif? И тормозящая фара тоже как-то этим всем не интересуется.

Ответить | Правка | Наверх | Cообщить модератору

102. "Выпуск обработчика нехватки памяти earlyoom 1.4"  +/
Сообщение от Аноним (-), 03-Мрт-20, 10:46 
> По тому же почему нельзя заставить Linux не вешать систему при копировании
> сотен мелких файлов на 8ми ядрах

Чокаво? Я копирую целые деревья линукскернеля, сколько там мелких файлов посчитай сам. Явно не сотни, скорее десятки тысяч. И таки почему-то ничего не вешается.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру