https://www.opennet.ru/openforum/vsluhforumID1/91587.html Приветствую!<br><br>Долгое время стояли два диска семейства Seagate Barracuda ES.2 по 250Гб в программном RAID-1 и в принципе не знали проблем. Решили увеличить емкость дисков, взяли 1 (Диск#1) Seagate Constellation ES 500Гб (ST3500514NS) + 1 (Диск#2) Seagate Barracuda ES.2 500Гб (ST3500320NS). Не успели запустить в продакшн, как начались проблемы с этими дисками (на пустом сервере без рабочей нагрузки):<br><br>Декабрь 2010: То gmirror не собирался под FreeBSD, то еще чего. А когда собрался то вскоре благополучно развалился. На дисках стремительно начало расти количество reallocated sector по SMART. <br><br>Январь-Февраль 2011: Замена указанных дисков на новые 2 диска: Диск#3 и Диск#4 Constellation ES 500Гб (ST3500514NS). Ошибки записи:<br><br>[code]<br>....<br>ad0: TIMEOUT - WRITE_DMA retrying....<br>....<br>[/code]<br><br>Март 2011: Перестановка OS, миграция на CentOS 5. Программный рейд 1.<br><br>Апрель 2011: Умирает диск (?):<br><br>[code]<br>...<br>end_request: I/O error, dev sda, sector 757879<br>end_request: I/O error, dev sda, sector 757879<br> https://www.opennet.ru/openforum/vsluhforumID1/91587.html#11 Thu, 19 May 2011 13:00:52 GMT &gt;&gt; если все Ok (включая под нагрузкой), значит дело в backplane сервера, такое <br>&gt;&gt; бывает, <br>&gt;&gt; вот почему совет проверить на desktop'е с прямым подключением к контроллеру, без <br>&gt;&gt; переходников и backplane'ов.<br>&gt; Печально или нет то, что данная модель платформы не имеет никаких backplane'ов. <br>&gt; И диски были подключены напрямую через шлейфы. SATA шлейф менял, порты <br>&gt; тоже менял.<br><br>замечательно, одно исключение уже есть.<br><br>Еще одно примечание, опыт использования показал что временной предел использования<br>дисков в рейд массивах 3года, после этого срока как правило начинаются проблемы с дисками<br>любых производителей. Те при условии что у нас в рейде надежные диски, можно с уверенностью<br>сказать что проблемы начнутся по истечении 3лет работы, далее обычно все сыпется.<br> Да, бывают исключения - 4года, иногда больше, но в целом, ждать проблем после 3лет.<br><br><br> https://www.opennet.ru/openforum/vsluhforumID1/91587.html#10 Thu, 19 May 2011 07:40:27 GMT &gt; 1) посмотрите реально ли у вас SATA контроллер поддерживает SATA-300 <br><br>Судя по спецификации &#8212; поддерживает<br><br>http://www.intel.com/cd/channel/reseller/asmo-na/eng/products/server/systems/1u/sr1530ah/feature/index.htm<br><br>http://www.nix.ru/autocatalog/server_systems_intel/Intel_1U_SR1530AH_LGA775_i3000_SATA_RAID_2xGbLAN_4DDRII_350W_57552.html<br><br>&gt; 2) диски Seagate ES.2 как впрочем и ES ненадежные и вероятно это <br>&gt; зависит от партии <br>&gt; если контроллер в SR1530 - SATA150, переводите диски в SATA150, если SATA300, <br>&gt; то переводите FreeBSD на ahci и тестируйте под нагрузкой.<br><br>Перед миграцией на CentOS оба режима проверяли. Изначально на FreeBSD использовался Lecacy режим (IDE). Были проблемы с обнаружением дисков в режиме AHCI когда-то давно, когда устанавливалась ОС. CentOS уже ставился на AHCI. Непосредственно перед миграцией на CentOS был ре-сетап FreeBSD 7 на диски с контроллером в режиме AHCI. Т.е. можно сказать, что перепробовали все доступные варианты режимов.<br><br>&gt; Совет, под рейды используйте л https://www.opennet.ru/openforum/vsluhforumID1/91587.html#9 Wed, 18 May 2011 17:21:59 GMT &gt; Забыл сказать, что эта ошибка возникла все-таки под нагрузкой. Но нагрузка была <br>&gt; тестовая, запустили тесты bonniee++. Где-то с недельку гонялись они без перерыва <br>&gt; до самого момента возникновения ошибки: <br>&gt; [code]end_request: I/O error, dev sda, sector 757879 <br>&gt; end_request: I/O error, dev sda, sector 757879 <br>&gt; end_request: I/O error, dev sda, sector 757879[/code] <br>&gt; Когда сервер наглухо встал и только горячий ребут мог привести его в <br>&gt; чувства.<br>&gt; Остается только опытным путем проверять? Диски или железо? Воткнуть диски и запустить <br>&gt; на выходные bonnie++ еще разок))) <br><br>1) посмотрите реально ли у вас SATA контроллер поддерживает SATA-300<br>2) диски Seagate ES.2 как впрочем и ES ненадежные и вероятно это зависит от партии<br><br>если контроллер в SR1530 - SATA150, переводите диски в SATA150, если SATA300,<br>то переводите FreeBSD на ahci и тестируйте под нагрузкой.<br><br>Совет, под рейды используйте либо Hitachi Ultrastar линейку, либо WD RE3, в крайнем<br>случае WD RE4. (первая линейка лучшая из перечисле https://www.opennet.ru/openforum/vsluhforumID1/91587.html#8 Wed, 18 May 2011 09:04:06 GMT Забыл сказать, что эта ошибка возникла все-таки под нагрузкой. Но нагрузка была тестовая, запустили тесты bonniee++. Где-то с недельку гонялись они без перерыва до самого момента возникновения ошибки:<br><br>[code]end_request: I/O error, dev sda, sector 757879 <br>end_request: I/O error, dev sda, sector 757879 <br>end_request: I/O error, dev sda, sector 757879[/code] <br><br>Когда сервер наглухо встал и только горячий ребут мог привести его в чувства.<br><br>Остается только опытным путем проверять? Диски или железо? Воткнуть диски и запустить на выходные bonnie++ еще разок)))<br> https://www.opennet.ru/openforum/vsluhforumID1/91587.html#7 Wed, 18 May 2011 08:57:15 GMT К чему все-это я спрашиваю. Диски на гарантии &#8212; нужно решить ехать в СЦ и настаивать на замене или не ехать. Если проблема в дисках, то в СЦ обычно ссылаются на тесты производителя SeaTools, которые были успешно пройдены последними дисками #3 и #4. При этом диск #3 намертво отвалился с ошибкой:<br><br>[code]end_request: I/O error, dev sda, sector 757879<br>end_request: I/O error, dev sda, sector 757879<br>end_request: I/O error, dev sda, sector 757879[/code]<br><br>Количество reallocated секторов с последного отчета по SMART увеличилось (в первом посте на недельку устаревшие данные по сравнению со временем демонтажа и ошибки I/O error).<br><br>Так вот по опыту могу сказать, что данные SMART (в частности Reallocated_Sector_Ct) в СЦ в качестве основания для гарантийного ремонта или замены дисков не принимают как правило.<br><br>Мне же нужно 100% уверенность, что проблема в дисках, чтобы гнуть свою линию и потребовать замену.<br><br>&gt; Может блок питания виноват?<br><br>Версия с блоком питания, как и версия с материнкой требуют дополни https://www.opennet.ru/openforum/vsluhforumID1/91587.html#6 Wed, 18 May 2011 08:45:10 GMT &gt; А какая-нибудь повышенная вибрация в стойке ?<br><br>Ничего такого замечено не было. Кроме этого сервера стоит еще несколько похожих платформ с схожих или аналогичных корпусах. Такого как на этом ничего не замечали.<br><br>&gt; Да, потому что фирма у них - одинаковая.<br><br>Опять же сигейтами пользуемся не первый год, но чтобы так сразу 4 диска меньше, чем за полгода &#8212; не было ни разу.<br><br><br><br><br><br><br><br> https://www.opennet.ru/openforum/vsluhforumID1/91587.html#5 Wed, 18 May 2011 08:25:26 GMT &gt;[оверквотинг удален]<br>&gt; - 0 <br>&gt; 198 Offline_Uncorrectable 0x0010 100 100 <br>&gt; 000 Old_age Offline <br>&gt; - 0 <br>&gt; 199 UDMA_CRC_Error_Count 0x003e 200 200 <br>&gt; 000 Old_age Always <br>&gt; - <br>&gt; 0[/code] <br>&gt; Сервер на платформе Intel SR1530AH со втроенным Intel ICH7 SATA 300 controller. <br>&gt; Все-таки диски попались бракованные али ICH7 побил диски?<br><br>Может блок питания виноват?<br><br><br> https://www.opennet.ru/openforum/vsluhforumID1/91587.html#4 Wed, 18 May 2011 07:38:50 GMT &gt; С трудом в это верится... Неужели 4 диска, по парно купленные в <br>&gt; разных магазинах одинаково могли быть бракованными?<br><br>Как-то давно купил два диска этой же фирмы, сделал RAID0 и через пол года оба умерли, один поменяли, другой отремонтировали (драйвер головы/мотора сдох), с тех пор обхожу их стороной.<br><br>Думаю они одинаково перегрелись и навернулись, бо ставят г...о чипы подешевле, а грузят их на максимум.<br> https://www.opennet.ru/openforum/vsluhforumID1/91587.html#3 Wed, 18 May 2011 06:42:10 GMT &gt;&gt; наверно диски бракованные...<br><br>А какая-нибудь повышенная вибрация в стойке ?<br><br>&gt; С трудом в это верится... Неужели 4 диска, по парно купленные в <br>&gt; разных магазинах одинаково могли быть бракованными?<br><br>Да, потому что фирма у них - одинаковая.<br><br><br><br><br> <br><br><br>