The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

В parted 2.2 и util-linux-ng 2.17.1 улучшена поддержка дисков с размером сектора 4 Кб

27.02.2010 10:43

В релизе комплекта стандартных утилит util-linux-ng 2.17.1 проведена дополнительная работа по обеспечению совместимости с жесткими дисками с увеличенным до 4 Кб размером сектора. Для решения проблем, возникающих из-за некорректного выравнивания дисковых разделов по границе физических секторов, во входящей в комплект утилите fdisk добавлена опция "-c", которая отключает режим совместимости с DOS, при котором утилита оперирует только 512-байтовым логическими секторами. Режим совместимости объявлен устаревшим и в будущих версиях будет отключен по умолчанию в версии util-linux-ng 2.18. Также объявлено устаревшим использование номеров цилиндров при отображении и расчете параметров дисков, рекомендуется использовать опцию "-u" или команду "u" для использования секторов в качестве основных расчетных единиц.

Дополнительно, отныне в fdisk дисковые разделы создаются по смещению в 1 Мб, за исключением дисков небольшого размера. Также внесено несколько дополнительных проверок, нацеленных на исключение возникновения некорректного смещения при создании дисковых разделов. Переход на мегабайтное смещение первого раздела и ряд связанных с поддержкой нового типа дисков улучшений отмечено также в вышедшем вчера релизе редактора дисковых разделов GNU parted 2.2.

Напомню, что проблема связана с тем, что ранее по умолчанию первый дисковый раздел создавался по смещению в 63 512-байтных сектора, т.е. начало раздела попадало в середину физического сектора, имеющего размер 4 Кб. При работе с таким разделом, при чтении 4 килобайтового блока данных, с диска читался не один физический сектор, а два, что приводило к падению производительности в разы.

  1. Главная ссылка к новости (http://permalink.gmane.org/gma...)
  2. OpenNews: Релиз util-linux-ng 2.17
  3. OpenNews: Оценка поддержки в Linux жестких дисков с размером сектора 4 Кб
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/25596-disk
Ключевые слова: disk, fdisk, sector
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (51) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 11:20, 27/02/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Эти 63 сектора оставляются для загрузчика?
     
     
  • 2.2, аноним (?), 11:29, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Изначально при CHS адресации просто разделы выравнивались по границе цилиндра. Это не нужно уже много лет, но блин некоторые все еще тормозят с удаленим этого уродского легаси.
     

  • 1.3, edo (ok), 12:54, 27/02/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    замечательно. теперь и в raid'ах разделы будут выровнены на 1 мегабайт - то есть практически при любом stripe size файловая система будет начинаться с границы блока.

    а то получалось смешно - большинство fs используют блоки кратные 4кб, xfs имеет опции для выравнивания внутренних структур про размеру страйпа, а смещения разделов кратны 63 секторам.

    ps: http://msdn.microsoft.com/en-us/library/dd758814.aspx ;)

     
  • 1.4, Zenitur (?), 13:09, 27/02/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Подозреваю, что 4-килобайтный сектор минимум - это прогибание под винду и недочёты её файловых систем. Известно, что из-за большого размера сектора у FAT16 на разделе более 512 мегабайтов и FAT32 на разделе более 1 гигабайт теряется место. У файловой системы преемника, NTFS, вроде бы подправили, но недочёт в архитектуре всё равно остаётся. Проверить можно в Windows XP-7легко. Создать файл в 100 байтов. Сохранить. Вызвать "Свойства": занимает 177 байтов, физически на диске 8 килобайтов. Почему? А потому что на больших разделах размер сектора в NTFS меньше 4 килобайтов не делают. Только 4, 8 и 16. Может где-то и 32. Спасает местный DriveSpase с новым названием. На архитектуру файловых систем Linux и BSD недочёты не распространялись.
    Ну а теперь создают жёсткие диски, изначально заточенные для NTFS. Выгода? А никакой (в прошлой теме так никто и не назвал). Просто зачем сектор в 512 байт, если NTFS всё равно сделает размер сектора 4 килобайта минимум? Возможно, такие были соображения у того вендора.
     
     
  • 2.8, pavlinux (ok), 13:43, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Теория это хорошо. А вот что покажет практика, думаю в ближайшее время узнаем.
    Все будет зависеть от 4kb и меньше файлов...


    Почему не сделают dynamic align - под размер файла  :)

     
     
  • 3.18, User294 (ok), 16:14, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >Почему не сделают dynamic align - под размер файла  :)

    Потому что должна быть секторизация. Совсем без нее будут как минимум проблемы с синхронизацией и поиском нужных смещений, будет нелегко припахать ECC codes, будет очень сложная и неоптимальная по скрости логика выделения места на поверхности. Тем паче что ФС виднее высокоуровневая активность и какие файлы можно сгруппировать в 1 блок и т.п. (если ФС умеет tail packing). Накопитель вообще не знает что такое файлы. Что к лучшему пожалуй.

     
  • 2.13, User294 (ok), 14:40, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >Подозреваю, что 4-килобайтный сектор минимум - это прогибание под винду

    Шиза косила наши ряды? Если кто на бронепоезде, сообщаю: 4Кб сектора - у WDшных дисков. Зачем так? Потому что так меньше оверхед на служебную информацию и ECC. Ну и в итоге 1 и тот же блин вмещает больше полезных данных. Вот так вот тупо и банально.

    Для ОС которые не в курсе такой подляны как 4К сектора - есть режим эмуляции 512 байтных секторов, но, сами понимаете, операция с виртуальным 512 байтным сектором ведет операцию с 4Кб сектором. Так что в самом плохом случае можно просрать раз этак в 8. Если работать с случайными 512-байтными блоками. И вообще, нехрен привыкать к 512 байтным секторам. У сидюков сектор 2К, у флешатины все еще сложнее.

     
     
  • 3.14, 1 (??), 15:06, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >Для ОС которые не в курсе такой подляны как 4К сектора -
    >есть режим эмуляции 512 байтных секторов, но, сами понимаете, операция с
    >виртуальным 512 байтным сектором ведет операцию с 4Кб сектором. Так что
    >в самом плохом случае можно просрать раз этак в 8. Если
    >работать с случайными 512-байтными блоками. И вообще, нехрен привыкать к 512
    >байтным секторам. У сидюков сектор 2К, у флешатины все еще сложнее.
    >

    подляна в том что эта эмуляция _включена_всегда_ и _не_отключаема_. а 4к скорее всего изза того что там где эти диски должны использоваться в 99% случаев наверно будет стоять х86 (х64 это раширение и в данном случае ничего не меняет) комп где размер страницы у процессора - 4к (есть и больше, но нет меньше) поэтому размер данных по 4к вполне себе подходит и не должен вести к серьёзному перестроению не приспособленного кода (а системный код учитывает размер страницы процессора управляя данными), а не нтфс...

     
     
  • 4.29, pavlinux (ok), 21:16, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    CONFIG_DIRECT_GBPAGES

    Allow the kernel linear mapping to use 1GB pages on CPUs that
    support it. This can improve the kernel's performance a tiny
    bit by reducing TLB pressure.

                   If in doubt, say "Y".          

    Даешь размер сектора в 1Gb!!!

     
     
  • 5.40, 1 (??), 23:58, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >Даешь размер сектора в 1Gb!!!

    да бери свою тормозилку)))

     
  • 4.32, User294 (ok), 21:49, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >подляна в том что эта эмуляция _включена_всегда_ и _не_отключаема_.

    Как я помню - на этих WD есть джампер для управления поведением этой фичи.

    >а 4к скорее всего изза того что

    Он лишь из-за того что господам из WD захотелось выжать побольше гигабайтов из имеющихся у них технологий :). Сильнее увеличивать грабельно: типовой блок ФС нынче 4Кб (возможно в тои числе и потому что страницы). Ну а сектор крупнее блока ФС, извините, ничего хорошего не обещает. А на меньших размерах особо выигрыша на служебных данных не будет. Итого - имхо нормальный и вполне разумный блок. Если совпадает с блоками ФС.

     
     
  • 5.39, 1 (??), 23:57, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >>подляна в том что эта эмуляция _включена_всегда_ и _не_отключаема_.
    >
    >Как я помню - на этих WD есть джампер для управления поведением
    >этой фичи.

    ты почитай его назначение ;)

    >>а 4к скорее всего изза того что
    >
    >Он лишь из-за того что господам из WD захотелось выжать побольше гигабайтов
    >из имеющихся у них технологий :). Сильнее увеличивать грабельно: типовой блок
    >ФС нынче 4Кб (возможно в тои числе и потому что страницы).
    >Ну а сектор крупнее блока ФС, извините, ничего хорошего не обещает.
    >А на меньших размерах особо выигрыша на служебных данных не будет.
    >Итого - имхо нормальный и вполне разумный блок. Если совпадает с
    >блоками ФС.

    типовой блок фс запросто есть и 1 и 2кб и 8 и 32 и 64 (тот же фат и нтфс можно с блоками больше 4к форматировать), но тем не менее 4 оптимально именно по этим причинам, имХО, а не изза фс (это скорее фсам удобнее 4к изза размера страницы... в ядре вроде оч много к этим страницам привязывается... если не всё). а так да первым делом выжать больше обьём, только он был бы больше и при 2к и при 8к, но 4к оптимален.

     
  • 5.41, Michael Shigorin (ok), 00:03, 28/02/2010 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > >подляна в том что эта эмуляция _включена_всегда_ и _не_отключаема_.

    Мало того, ещё и задетектить её путём IDENTIFY DRIVE конкретно для WD15EARS (и как понимаю -- WD10EARS/WD20EARS) возможным не представляется.

    > Как я помню - на этих WD есть джампер для управления поведением этой фичи.

    Это вообще жуткий хак, который для оболтусов с завалявшимся дома джампером и знающих, как его нацепить на пины, но ленящихся пройти свою winxp утилиткой wd align.  Лечит одну проблему (63->64), порождает уйму других, начиная с желания такого владельца сделать второй раздел.

    Как минимум на одном контроллере в режиме AHCI так просто не стало грузиться, на другом после разбивки без джампера ядро 2.6.32 (с md.ko внутри) не смогло загрузиться после его тестовой установки, поскольку попыталось обратиться к последнему сектору, которого "не стало" (что диск рассказать не соизволил) -- циклический сброс шины и попытка всё-таки прочитать.

    А в остальном после правильной разбивки и правильного форматирования -- диск как диск, около сотни метров в секунду линейного чтения на старте и 64M кэша.

     
  • 2.15, dimo (?), 15:52, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >Подозреваю, что 4-килобайтный сектор минимум - это прогибание под винду и недочёты её файловых систем.

    вендофобы такие вендофобы, учим матчасть http://dtg378.defenderhosting.com/discussions.x/18115

     
     
  • 3.42, Michael Shigorin (ok), 00:08, 28/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >>Подозреваю, что 4-килобайтный сектор минимум - это прогибание под винду
    >>и недочёты её файловых систем.

    Нет.

    >вендофобы такие вендофобы, учим матчасть

    Виндофилы... ну Вы поняли.

    Хотя свалить всё на дурацкий dos partition table тоже нельзя, тут ещё и производители BIOS с несогласованными костылями времён очередного расширения дисков (это не когда барьер 504Mb решали?) устроили радикально другое распределение битов адресного пространства CHS на шине и в бивисах, из-за чего и получилось печально известное "63S, 255H", misalignment и прочее.

    Ну и железячники, ооочень долго железно державшие в основном 512 байт на сектор "в публичном доступе", помогли софтописцам увериться, что это так и будет, и заложиться на константу самыми затейливыми способами.  Которые теперь поплывут.

    А если бы да кабы, то не надо было бы этого переходного периода с потенциально тормозной трансляцией силами контроллера диска...

    --
    виндофаг

     
  • 2.50, Алексей (??), 05:50, 01/03/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Zenitur, да ты совсем упоротый! Путать размер физического сектора и размер кластера ФС - сильно.

    Переход на 4-килобайтные сектора нужен прежде всего производителям винтов, т.к. позволяет уменьшить объём служебной информации хранимой на диске, а соответственно - увеличить объём полезных данных, который можно записать на пластину при той же плотности записи. И вообще от этого дебильного legacy уже давно пора было избавится.

     

  • 1.5, Michael Shigorin (ok), 13:11, 27/02/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    См. тж. http://www.altlinux.org/BigSector -- ядро до 2.6.31 не озадачивалось выяснением физсектора-смещения, да и диски (например, конкретно WD15EARS) могут криво рассказывать геометрию (в т.ч. не вычитать из размера один сектор, если поставить этот самый джампер 7-8).  Так что может пригодиться параметр mkfs -- -s size=4096 для xfs либо -b 4096 для ext4 -- и на свежих ядрах тоже.
     
     
  • 2.9, pavlinux (ok), 13:50, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Что же делать на SSD, как жить, галактико в опасности =)
     
     
  • 3.10, 1 (??), 14:06, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >Что же делать на SSD, как жить, галактико в опасности =)

    ничего, с SSD и так жить прекрасно, даже по отношению к 10к винтам ;)

     
     
  • 4.11, pavlinux (ok), 14:10, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >>Что же делать на SSD, как жить, галактико в опасности =)
    >
    >ничего, с SSD и так жить прекрасно, даже по отношению к 10к
    >винтам ;)

    Где же 294-й, только он постиг Дзэн Махаяны, и знает тайны выравнивания на NAND/NOR носителях.


      

     
     
  • 5.12, 1 (??), 14:36, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Где же 294-й, только он постиг Дзэн Махаяны, и знает тайны выравнивания
    >на NAND/NOR носителях.

    пусть ещё чо нить постигает, а я просто пользуюсь и (обычно на работе на давних хдд) ловлю себя на мысли что это чертовски быстро и бесшумно.

     
     
  • 6.16, pavlinux (ok), 15:57, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >>Где же 294-й, только он постиг Дзэн Махаяны, и знает тайны выравнивания
    >>на NAND/NOR носителях.
    >
    >пусть ещё чо нить постигает, а я просто пользуюсь и (обычно на
    >работе на давних хдд) ловлю себя на мысли что это чертовски
    >быстро и бесшумно.

    У EEPROM есть плохая привычка - ограниченное кол-во операций записи-перезаписи.

     
     
  • 7.17, 1 (??), 16:02, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/

    >У EEPROM есть плохая привычка - ограниченное кол-во операций записи-перезаписи.

    не спорю, но от 10000 циклов перезаписи у mlc мне их хватит лет на 5 точно для десктопа, а через 5 лет ... конец света раньше))))

     
     
  • 8.20, User294 (ok), 16:24, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    А если подумать то 10 000 циклов это совсем не много и по факту реально убить та... текст свёрнут, показать
     
     
  • 9.21, 1 (??), 16:58, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • –1 +/
    максималист, вчера ставил W7 на него и софт и баловался в пределах 30гб запис... текст свёрнут, показать
     
     
  • 10.33, User294 (ok), 21:54, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +1 +/
    а что, 30Гб записи это много в 2010 году На самом деле процесс вероятностный... текст свёрнут, показать
     
     
  • 11.36, 1 (??), 23:43, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    30 гб за 1 день при домашнем использовании - да, это много... текст свёрнут, показать
     
     
  • 12.51, User294 (ok), 05:57, 01/03/2010 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А что, у вас есть реалистичная статистика собранная с разных юзеров Как собирал... текст свёрнут, показать
     
  • 11.47, ZloySergant (ok), 14:19, 28/02/2010 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Что, лавры WIN95 CIH покоя не дают ... текст свёрнут, показать
     
     
  • 12.52, User294 (ok), 06:01, 01/03/2010 [^] [^^] [^^^] [ответить]  
  • +/
    У меня нет склонности к вредительству ради лавров Чего хорошего в лаврах суперу... текст свёрнут, показать
     
  • 10.34, filosofem (ok), 22:27, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +1 +/
    И как они этот cell wearing считают интересно Уверен, что что-то средне-сфериче... текст свёрнут, показать
     
     
  • 11.37, 1 (??), 23:46, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    скорее какое-нибудь среднее между мин и мах использованием ячеек gt оверквоти... текст свёрнут, показать
     
  • 11.46, 1 (??), 13:25, 28/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    вот интересно за что коммент 37 удалили за последнее слово можете удалить, оно... текст свёрнут, показать
     
     
  • 12.48, Michael Shigorin (ok), 16:18, 28/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Да По счастью, редактированию подлежат только свои сообщения Простите, это уже... текст свёрнут, показать
     
  • 10.35, reminux (ok), 23:07, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    а есть ли уверенность, что скорость износа будет постоянная что, если она тольк... текст свёрнут, показать
     
     
  • 11.38, 1 (??), 23:48, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    скорее всего не постоянна и со временем скорость увеличиться но в итоге стабилиз... текст свёрнут, показать
     
  • 7.19, User294 (ok), 16:21, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    А у NAND-MLC этих циклов и вовсе сильно меньше чем хотелось бы (десятки тысяч всего, против скажем миллионов у NOR и ~сотен тысяч у NAND-SLC). При том в емкие диски ессно пхают MLC. Потому что больше нечего - толпа требует емкость. А ее можно догнать до нужного значения только так. Просто сейчас отношение к электронике - как к расходнику. Сдохнет флеш-"диск" через несколько лет?(а то и быстрее под большой нагрузкой на запись). Ничего, юззер новый купит. А пятилетняя гарантия - в расчете на то что юзер обычный хомячок, который играет в свой кризис или что там еще и на диск не пищет нифига. Выцветет AMOLED через несколько годков? Отлично, юзер купит новый девайс, еще и навар двойной - красота! Ну и так далее.
     
     
  • 8.23, Damon (??), 17:08, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    А гарантия, обычно, вообще год Что подразумевает, что через год юзер купит се... текст свёрнут, показать
     
     
  • 9.26, iZEN (ok), 18:25, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Есть два понятия гарантийный период эксплуатации и срок службы изделия Они о... текст свёрнут, показать
     
     
  • 10.30, Damon (??), 21:32, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    В данном случае AMOLED и SSD сбывается мечта любого производителя о сокращении... текст свёрнут, показать
     
     
  • 11.31, User294 (ok), 21:44, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, вообще-то этого производители стараются избегать, потому что сие бьет рублем... текст свёрнут, показать
     
  • 8.24, аноним (?), 17:19, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну недеяться на железо глупо в любом случае, и никаие сверхнадежные железки за к... текст свёрнут, показать
     
  • 8.25, 1 (??), 17:23, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    мда, далеко не всякий hdd 5 лет нормально проработает и не сдохнет так что буря... текст свёрнут, показать
     
     
  • 9.43, Michael Shigorin (ok), 00:17, 28/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Знаете, по Вашим комментариям можно сказать, что вот уж за Ваши диски беспокоить... текст свёрнут, показать
     
     
  • 10.45, 1 (??), 13:18, 28/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    скажем так мои данные моя забота и моя ценность без ваших суждений ценность ваш... текст свёрнут, показать
     
     
  • 11.49, Michael Shigorin (ok), 16:30, 28/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Нет Но бывает сознательная ложь, для которой есть ссылка сообщить модератору ... текст свёрнут, показать
     

  • 1.27, fi (ok), 19:37, 27/02/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    жесткие диски с увеличенным до 4 Кб размером сектора - это ещё один удар по zfs с их супер-путер адресацией

    :))  Изи - Привет!

     
     
  • 2.28, iZEN (ok), 20:10, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >жесткие диски с увеличенным до 4 Кб размером сектора - это ещё
    >один удар по zfs с их супер-путер адресацией

    А что не так с "секторами" и их адресацией в ZFS? O_o


     
     
  • 3.53, fi (ok), 12:53, 02/03/2010 [^] [^^] [^^^] [ответить]  
  • +/
    ждем-с когда 64бита кончатся :) а тут бах - еще лет на пять задвинули 64бита-капец :)))

    Не дай бог перейдут на 64Кб сектора!!!

    зы. Просто вспомнилась наглая лож маркетологов из сана на презентации zfs :)

     
  • 2.44, аноним (?), 08:55, 28/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Бред. ZFS как раз на таких дисках работает замечательно.
     
  • 2.54, а.н. (?), 00:55, 05/03/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >жесткие диски с увеличенным до 4 Кб размером сектора - это ещё
    >один удар по zfs с их супер-путер адресацией

    Что-то подсказывает, что даже если это удар, то он прошел мимо, но не могу удержаться: завтра возьму на временную выдачу винта четыре и на выходных погоняю.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру