The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Патч, решающий проблемы с отзывчивостью Linux-десктопа, opennews (?), 06-Авг-10, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


57. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  –3 +/
Сообщение от User294 (ok), 06-Авг-10, 14:53 
>Ещё вспомни о WINE. Ага.

Толсто. У меня вообще никакого вине нету например. Он мне не нужен.

>Кстати, на линуксуляторе баг 12309 мне не удалось воспроизвести. Может подскажешь, что нужно сделать? ;)

Пропатчить линукслятор, что же еще? :)

>User294>А может, про UFS с пачкой костылей и подпорок вы уже забыли?
>Эта "пачка костылей и подпорок" обеспечивает продакшен,

Как-то редко оно в продакшне то встречается. EXTы явно чаще.

>не нуждатся в журналировании и умеет делать снапшоты на живой (подмонтированной в RW) ФС.

А фигли толку, если дизайн ископаемый?

> А что умеет из этого делать суперсовременная линуксовая Ext4? НИЧЕГО!

Во первых, это умеют другие слои. Во вторых - какая она нафиг суперсовременная? Это шутка такая? Это ж EXT3 на стероидах. Вот только бздуны костылили по принципу "выкрасить и выбросить", навернув много вычурных, красивых и правильных костылей к древней и тупорылой ФС. Не меняющих принципиально свойства ФС, только исправляющие наиболее кондовые грабли в виде "fsck хреначит часами". Получилось академически стройно и нахрен не впившееся на практике. Линуксоиды пролечили журналинг чуть ли не десятилетие назад и потому в этот раз костылили ископаемое исключительно в направлении подъема его скорострельности. Что как раз всем и было надо в основном. В итоге - их старикан с новыми ногами^W^W экстентами - бегает как спортсмен, хоть и не являлся таковым изначально и был нехило перекроен. А некоторые другие не осилили капитально перекроить свою ФС, хотя-бы поюзав экстенты. Если что - экстенты в многих случаях ведут себя намного лучше чем блоки по скорости работы ФС. Именно поэтому их и втыкают в все современные дизайны ФС. Посмотрите на ФС разрабатываемые в последнее время. Все как на подбор юзают экстенты. Ну уж наверное не потому что они дураки, правда? :)

Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

74. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  –1 +/
Сообщение от iZEN (ok), 06-Авг-10, 16:58 
>Как-то редко оно в продакшне то встречается. EXTы явно чаще.

Вот-вот. EXT'ы (-2, -3, и -4) — это подпорки и костыли древней как говно мамонта EXT1 начала 1990-х — встречаются куда чаще отрихтованной и доведённой до ума стандартной юниксовой ФС в 2005 году UFS2.

>>не нуждатся в журналировании и умеет делать снапшоты на живой (подмонтированной в RW) ФС.
>
>А фигли толку, если дизайн ископаемый?
>
>> А что умеет из этого делать суперсовременная линуксовая Ext4? НИЧЕГО!
>
>Во первых, это умеют другие слои.

Во-первых, эта отговорка уже не катит. Пока ты склеиваешь необходимые слои между собой и получаешь рабочий снапшот, может пройти очень много времени, что непозволительно для продакшена. К тому же, снапшоты линуксовых ФС нужно делать на неживой-отмонтированной ФС. И, да, скорость записи на раздел со снапшотом в линуксе почему-то проваливается в разы по сравнению с разделом без снапшота. Почему так? Ведь другие нормальные ФС, поддерживающие снимки внутри себя, не страдают от этого дефекта.

>Ext4
>Во вторых - какая она нафиг суперсовременная? Это шутка такая? Это ж EXT3 на стероидах.

Вроде и нет больше _современных_универсальных_ ФС в Linux, годных к продакшену. Или я не прав?

>Вот только бздуны костылили по принципу "выкрасить и выбросить", навернув много вычурных, красивых и правильных костылей к древней и тупорылой ФС. Не меняющих принципиально свойства ФС, только исправляющие наиболее кондовые грабли в виде "fsck хреначит часами". Получилось академически стройно и нахрен не впившееся на практике.

Устойчивую к сбоям UFS2, не нуждающуюся для защиты метаданных в журнале ты назвал "кондовыми граблями". Ну-ну. Посмотрел бы я на надёжность современных линуксовых ФС, если ВНЕЗАПНО выключить электричество, а у них не окажется журнала.

>Линуксоиды пролечили журналинг чуть ли не десятилетие назад и потому в этот
>раз костылили ископаемое исключительно в направлении подъема его скорострельности.

Журнал необходим для быстрого восстановления после сбоев. Во время нормальной работы он отнимает на себя достаточно заметную долю ресурсов как дисковой подсистемы, так и центрального процессора. Лучше отказаться от журнала вообще и обеспечить механизм внутренней согласованности жизненно важных структур, чем делать подпорки и костыли, тюнинг журналирования.

>Что как раз всем и было надо в основном. В итоге - их
>старикан с новыми ногами^W^W экстентами - бегает как спортсмен, хоть и
>не являлся таковым изначально и был нехило перекроен. А некоторые другие
>не осилили капитально перекроить свою ФС, хотя-бы поюзав экстенты. Если что
>- экстенты в многих случаях ведут себя намного лучше чем блоки
>по скорости работы ФС. Именно поэтому их и втыкают в все
>современные дизайны ФС. Посмотрите на ФС разрабатываемые в последнее время. Все
>как на подбор юзают экстенты. Ну уж наверное не потому что
>они дураки, правда? :)

Правда. Потому что экстенты на больших объёмах обслуживаемых данных эффективнее простых битовых карт (сканирование и определение непрерывных цепочек блоков тупо быстрее идёт). Но только на больших объёмах.

Ответить | Правка | Наверх | Cообщить модератору

93. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от sHaggY_caT (ok), 06-Авг-10, 19:41 
>Во-первых, эта отговорка уже не катит. Пока ты склеиваешь необходимые слои между
>собой и получаешь рабочий снапшот, может пройти очень много времени, что
>непозволительно для продакшена.

Чаще всего, занимает менее секунды. В чем проблема сделать lock в той же базе данных(при этом доступ на чтение сохранится!), или приостановить, без отказа в обслуживании, виртуалку/контейнер?

> К тому же, снапшоты линуксовых ФС нужно делать
>на неживой-отмонтированной ФС.

Глупость, нет такого, Вы что-то перепутали!

Ответить | Правка | Наверх | Cообщить модератору

95. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от аноним (?), 06-Авг-10, 19:55 
самое интересное, что это ему уже тысячу раз писали.
поэтому... ну дайте человеку высказаться. толку то никакого.

>User294>А может, про UFS с пачкой костылей и подпорок вы уже забыли?
>>Эта "пачка костылей и подпорок" обеспечивает продакшен, не нуждатся в журналировании и умеет делать снапшоты на живой (подмонтированной в RW) ФС. А что умеет из этого делать суперсовременная линуксовая Ext4? НИЧЕГО!

интересно, а вот это http://www.opennet.ru/base/sys/softupdates_idea.txt.html айзен читал?

Ответить | Правка | Наверх | Cообщить модератору

119. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от iZEN (ok), 07-Авг-10, 00:28 
>самое интересное, что это ему уже тысячу раз писали.
>поэтому... ну дайте человеку высказаться. толку то никакого.
>
>>User294>А может, про UFS с пачкой костылей и подпорок вы уже забыли?
>>>Эта "пачка костылей и подпорок" обеспечивает продакшен, не нуждатся в журналировании и умеет делать снапшоты на живой (подмонтированной в RW) ФС. А что умеет из этого делать суперсовременная линуксовая Ext4? НИЧЕГО!
>
>интересно, а вот это http://www.opennet.ru/base/sys/softupdates_idea.txt.html айзен читал?

Конечно. Поэтому я говорю о целостности структур метаданных файловой системы, а не данных пользователя.


Ответить | Правка | Наверх | Cообщить модератору

124. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +1 +/
Сообщение от аноним (?), 07-Авг-10, 03:49 
угу. я так и понял, что это не недоговорённость, а рассчёт на то, что тут все уже научились читать мысли айзена. ну или на худой конец читают между строк:
>Эта "пачка костылей и подпорок" обеспечивает продакшен, не нуждатся в журналировании

.

Ответить | Правка | Наверх | Cообщить модератору

156. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от User294 (ok), 07-Авг-10, 18:14 
>Конечно. Поэтому я говорю о целостности структур метаданных файловой системы, а не
>данных пользователя.

Ну и чем оно принципиально лучше журнала в EXT3 и 4 тогда? Такие допущения и он тоже обеспечивает. Только EXT3 еще и существовал мноооооого лет ;).


Ответить | Правка | К родителю #119 | Наверх | Cообщить модератору

175. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от аноним (?), 08-Авг-10, 14:03 
интересно другое - когда rc ext4 файлы кед херил, работая в таком же режиме как sf, его айзены хаяли по чём зря. а во фре это уже не баг, а супер фича.
Ответить | Правка | Наверх | Cообщить модератору

120. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от iZEN (ok), 07-Авг-10, 00:36 
>> К тому же, снапшоты линуксовых ФС нужно делать
>>на неживой-отмонтированной ФС.
>
>Глупость, нет такого, Вы что-то перепутали!

Признаю, что-то перепутал. Высказывание касалось только XFS, которую нужно "замораживать" перед снимком. Тем не менее:
http://maximum-value.blogspot.com/2009/01/lvm2.html
"LVM2 и снапшоты

Мало где говорится о том, что при использовании снапшота в LVM используется неразмеченное пространство в данном томе (Volume), хотя это совсем не очевидно. Т.е. имея 1Gb неразмеченного пространства мы можем сделать снапшот размером до 1G (т.е. и -L1G), но что будет, если мы при этом сделаем снапшот размером 2G и дождёмся, пока он заполнится больше чем на 1Gb?

UPD: снапшот можно сделать размером не более чем неразмеченное пространство в томе, иначе получим "Insufficient free extents"."
— такого маразма нет в UFS2.

Ответить | Правка | К родителю #93 | Наверх | Cообщить модератору

128. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от pavlinuxemail (ok), 07-Авг-10, 05:39 
>такого маразма нет в UFS2.

Интересно, куда девается снапшот, если на диске остался 1Mb и не размеченая в 1Gb?
А ты попросил создать 2G снапшот? Может поверх данных писать начнёт?

Ответить | Правка | Наверх | Cообщить модератору

169. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от Аноним (-), 08-Авг-10, 05:31 
>>такого маразма нет в UFS2.
>
>Интересно, куда девается снапшот, если на диске остался 1Mb и не размеченая
>в 1Gb?
>А ты попросил создать 2G снапшот? Может поверх данных писать начнёт?

в снапшотах ufs2 не нужны всякие не размеченные области, так же как и не нужно говорить какого объема создавать снапшот - удивитесь.

Ответить | Правка | Наверх | Cообщить модератору

170. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от аноним (?), 08-Авг-10, 07:59 
один хрен при нехватке места снепшота не будет.
просто тут процесс контролируется, а у вас нет.
Ответить | Правка | Наверх | Cообщить модератору

177. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от pavlinuxemail (ok), 08-Авг-10, 14:26 
>и не нужно говорить какого объема создавать снапшот - удивитесь.

Удивляюсь :)  
BSD создали для того, чтоб человек думал, а не машина...
эх, где мои счётные палочки с гидроподъёмником.    

Ответить | Правка | К родителю #169 | Наверх | Cообщить модератору

157. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от sHaggY_caT (ok), 07-Авг-10, 18:19 

>Высказывание касалось только XFS, которую нужно "замораживать" перед снимком.

Уже не нужно

Ответить | Правка | К родителю #120 | Наверх | Cообщить модератору

145. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от User294 (ok), 07-Авг-10, 17:39 
>как говно мамонта EXT1 начала 1990-х

Все так. Только к EXT4 старикана так перепилили что оригинал и не узнать. Тут вам и экстенты, и хешированные директории, и отложенное выделение. В общем все как у большинства иных подобных ФС типа XFS, JFS, etc. Не свежак и не последний писк, но и параметры не позорные. Весьма резвая такая ФС. И отлаженная временем.

> — встречаются куда чаще

Угадаете с трех раз почему? Наверное секрет в том что с хешированными дирами и экстентами - параметры EXT4 даже похожи на что-то приличное.

>отрихтованной и доведённой до ума стандартной юниксовой ФС в 2005 году UFS2.

Что-то никому этот ваш UFS2 как файловая система толком не нужен. Может быть, это потому что дисковые структуры недалеко ушли от "говна мамонта", со всеми вытекающими, как то неважненькая производительность на ряде нагрузок?

>>Во первых, это умеют другие слои.
>Во-первых, эта отговорка уже не катит.

Это зависит от того шашечки или ехать. Если цель разрулить задачу - это одно. Если подрочить на академически правильное решение - другое.

>Пока ты склеиваешь необходимые слои между собой и получаешь рабочий снапшот,
>может пройти очень много времени, что непозволительно для продакшена.

А мужики то не знают. Странно. Наверное iZEN им не попадался. Упущеньице.

>К тому же, снапшоты линуксовых ФС нужно делать на неживой-отмонтированной ФС.

Откуда это следует?

>И, да, скорость записи на раздел со снапшотом в линуксе почему-то проваливается
>в разы по сравнению с разделом без снапшота. Почему так?

Вам анонимаус объяснял вроде? Это было безрезультатно? При том он объяснял что однозначно выигрышной стратегии нет, IIRC.

>Ведь другие нормальные ФС, поддерживающие снимки внутри себя, не страдают от этого дефекта.

Да, конечно, btrfs какойнить так работает что снимки - просто его логика работы. Это впрочем не означает что у него других проблем не будет.

>Вроде и нет больше _современных_универсальных_ ФС в Linux, годных к продакшену. Или
>я не прав?

XFS тот же - он может и не суперуниверсал, но на ряде применений (большие файлы, etc) очень так ничего. И на несколько дисков размазывается хорошо, чем ext4 похвастать не может.

>Устойчивую к сбоям UFS2, не нуждающуюся для защиты метаданных в журнале ты
>назвал "кондовыми граблями".

Про ее устойчивость к сбоям вам имхо доступно рассказали в соседнем посте. Вот у настоящих CoW файловых систем с недеструктивной записью - там да, устойчивость к сбоям есть. На уровне устройства ФС, так что и файлы и метаданные можно вернуть к какому-то предсказуемому состоянию, исключив ситуации "запись обломалась на середине - файл наполовину перезаписан".

>Ну-ну. Посмотрел бы я на надёжность современных линуксовых ФС, если ВНЕЗАПНО
>выключить электричество, а у них не окажется журнала.

И даже с журналом - гарантируется непротиворечивое состояние журнала и структур ФС. А вот что будет с файлами - вопрос номер два. Гарантию атомарности записи данных + метаданных в классических ФС дает полное журналирование. А оно тормозное из-за двойной операции записи.

>Журнал необходим для быстрого восстановления после сбоев. Во время нормальной работы он
>отнимает на себя достаточно заметную долю ресурсов как дисковой подсистемы,

Если журналятся только метаданные - то не отнимает. Обычно все соглашаются на такой вот компромисс. В итоге тормоза могут возникать только при metadata-intensive workload'ах. А это довольно нишевые и не частые случаи (именно поэтому кстати вырубить всякие там времена доступа - отличная идея).

>так и центрального процессора. Лучше отказаться от журнала вообще и обеспечить механизм
>внутренней согласованности жизненно важных структур,

Насколько я понял спич по любезно приведенной в соседнем сообщении ссылке - механизм soft-updates в UFS2 не обещает что если я записывал файл и если все фигакнулось в момент записи то у меня будет или старый файл, или новый. А не нечто, наполовину старое и наполовину новое, не факт что юзабельное вообще.

>чем делать подпорки и костыли, тюнинг журналирования.

Строго говоря - я не без причин полагаю что будущее за ФС с недеструктивной записью, т.е. CoW-подобными файловыми системами. У них конечно своих грабель навалом, однако их плюсы в виде недеструктивности и возможности хранить более 1 версии файла - явно перевешивают.

>>Ну уж наверное не потому что они дураки, правда? :)
>Правда. Потому что экстенты на больших объёмах обслуживаемых данных эффективнее
>простых битовых карт (сканирование и определение непрерывных цепочек блоков
>тупо быстрее идёт). Но только на больших объёмах.

А объемы данных растут, если вы не заметили. Ноутбячный винч размером полпачки сигарет в терабайт никого уже не удивляет.

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

178. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от iZEN (ok), 08-Авг-10, 22:54 
>>как говно мамонта EXT1 начала 1990-х
>
>Все так. Только к EXT4 старикана так перепилили что оригинал и не
>узнать.

Ага. Аж оторопь порой берёт: http://www.linux.org.ru/forum/general/5205490
"ext4 не видит суперблока после сбоя питания

собственно, сбоев было два и второй, похоже, на проверке после первого... я особо не следил. комп в режиме 24 на 7. выключился - я включил, ушел. скорее всего была проверка пока уходил. вернулся - все опять выключено. (само оно у меня не включается, но это другая история)

после включения в GRUBе выбрал тот самый сбойнувший Debian, а он не смог найти раздел. стоит также Mandriva, в нее и загрузился. слил убитый рутовый раздел dd-шкой в образ, благо он всего 40 гиг. и стал пытаться гуглить и восстановить. fsck.ext4 -y /dev/sdd1 лечил около часа, в итоге все в лост+фаунд с непотребными именами.

залил обратно из образа. при запуске так же предлагает чистить и чинить. тут с отказной опцией: [root@sg mnt]# fsck.ext4 -n /dev/sdd1 e2fsck 1.41.4 (27-Jan-2009) fsck.ext4: Superblock invalid, trying backup blocks... Superblock has an invalid journal (inode 8). Clear? no fsck.ext4: Illegal inode number while checking ext3 journal for /dev/sdd1

если подсунуть другой суперблок: [root@sg mnt]# fsck.ext4 -nb 8193 /dev/sdd1 e2fsck 1.41.4 (27-Jan-2009) fsck.ext4: Bad magic number in super-block while trying to open /dev/sdd1 The superblock could not be read or does not describe a correct ext2 filesystem. If the device is valid and it really contains an ext2 filesystem (and not swap or ufs or something else), then the superblock is corrupt, and you might try running e2fsck with an alternate superblock: e2fsck -b 8193 <device>

также пробовал подставлять 8193, 24577, 40961, 57345, 73729, взятые из статьи: http://breys.ru/blog/297.html - результат тот же.

при этом fdisk все видит правильно: [root@sg mnt]# fdisk -l /dev/sdd Диск /dev/sdd: 1000.2 ГБ, 1000203804160 байт 255 heads, 63 sectors/track, 121601 cylinders Units = цилиндры of 16065 * 512 = 8225280 bytes Disk identifier: 0x37abde1d Устр-во Загр Начало Конец Блоки Id Система /dev/sdd1 1 4864 39070048+ 83 Linux /dev/sdd2 4865 121601 937689952+ 5 Расширенный /dev/sdd5 4865 121601 937689921 83 Linux

а gparted не опознает файловую систему на том разделе.

зы. модераторам. перед написанием сообщения на форум предлагаете читать FAQ - ссылка мертвая (404).
sunny178 (08.08.2010 21:30:58) "

Весело у вас. :)

Ответить | Правка | Наверх | Cообщить модератору

179. "Патч, решающий проблемы с отзывчивостью Linux-десктопа"  +/
Сообщение от User294 (ok), 10-Авг-10, 00:47 
>Ага. Аж оторопь порой берёт: http://www.linux.org.ru/forum/general/5205490
>"ext4 не видит суперблока после сбоя питания

Ага, только вот...
1) Не указан кернел. Кернелы до .30 ... .32 с EXT4 вообще будет юзать только мазохист.
2) У чувака довольно старая версия ext2 утилсов. У меня вот например e2fsck 1.41.11 на десктопе в кубунте.
3) Там маловато информации о том что за ФС, какие фичи юзались, какая конфигурация системы, что произошло, кто и насколько виноват и прочая. Например "а gparted не опознает файловую систему на том разделе" наводит на разные мысли. Могла допустим таблица разделов попортиться и все смещения съехали. Если сунуться 5 раз в неверные данные - разумеется суперблок там будет "порушен". А человек глазами то смотрел - а есть ли суперблок в том месте в котором он ищет вообще? А то может там вообще были не суперблоки? :)
4) Если тщательно прикапываться - ну нате вам в вашем же духе, например http://lists.freebsd.org/pipermail/freebsd-fs/2008-February/... Наверняка еще что-то такое нагуглится запросто (но меньше чем EXT4 - сколько его юзает народа, а сколько UFS2?). Или вы как наивный чукотский юноша думали что качественно убить при сомнительных обстоятельствах можно только EXT4? Да хрен там, практически что угодно можно уложить при правильном подходе к делу. А EXTовские утили к слову одни из наиболее настырных. Они пытаются что-то отскрести даже там где чекалки других ФС сдаются. EXT4 в этом плане доверия поменьше чем EXT3, в силу новизны структур. Однако по информации как тут - даже не понятно кто виноват и багу например не напишешь.

[skip]
Не обязательно сюда все сообщение цитировать, имхо - читатели явно могут по ссылке пройти.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру