URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 86101
[ Назад ]
Исходное сообщение
"Debian 5.02, ужасная производительность 3ware-9550 на запись"
Отправлено Оно , 27-Июл-09 18:04 
Перевели сервер с FreeBSD на Debian, упала производительно рейда 5 на 3ware-9550 на запись в 2.5 раза. Файловая система XFS, настройки контроллера все те же: profile: performance, write-cache: enabled, queuing: enabled. Вот, что bonnie говорит:

Version 1.03d       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
server        8000M 25016  36 24422   3 16717   4 61998  80 121043   9 297.2   0
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  2988   9 +++++ +++  1638   4  2139   7 +++++ +++  1130   3

В массиве 3 винта по 1Тб, страйп 256К, иницилизация шла около суток. Куда копать?

Содержание
Сообщения в этом обсуждении
"Debian 5.02, ужасная производительность 3ware-9550 на запись"
Отправлено Roman , 27-Июл-09 20:11 
Проверь, драйвера последние используются или нет. Не помню в каких-то была бага подобная.
"Debian 5.02, ужасная производительность 3ware-9550 на запись"
Отправлено Оно , 28-Июл-09 20:06 
>Проверь, драйвера последние используются или нет. Не помню в каких-то была бага
>подобная.

Драйвера/прошивка самые последние с сайта. Стали тестировать на 3х дисковом рейд-5, все совсем плохо... 120 Мб/с на чтение, 35 Мб/c на запись. При записи все ядра дружно уходят в wait, работать становится невозможно. В отдельности каждый винт на запись дает около 80 Мб/с.

"Debian 5.02, ужасная производительность 3ware-9550 на запись"
Отправлено svn , 28-Июл-09 21:55 
Может блок XFS из-за сдвига попадает на два блока рейда?
"Debian 5.02, ужасная производительность 3ware-9550 на запись"
Отправлено Оно , 30-Июл-09 18:42 
>Может блок XFS из-за сдвига попадает на два блока рейда?

Нет, не попадает. Решили протестировать в 0м рейде на 3х винтах, чтение - 280Мб/с, запись 70Мб/c. При чтении все ок, при записи система намертво уходит в wait.

"Debian 5.02, ужасная производительность 3ware-9550 на запись"
Отправлено Оно , 30-Июл-09 18:43 
>>Может блок XFS из-за сдвига попадает на два блока рейда?
>
>Нет, не попадает. Решили протестировать в 0м рейде на 3х винтах, чтение
>- 280Мб/с, запись 70Мб/c. При чтении все ок, при записи система
>намертво уходит в wait.

На любой системе, что XFS, что EXT3.

"Debian 5.02, ужасная производительность 3ware-9550 на запись"
Отправлено fedos , 30-Июл-09 20:14 
>[оверквотинг удален]
>            
>  files  /sec %CP  /sec %CP  /sec
>%CP  /sec %CP  /sec %CP  /sec %CP
>            
>     16  2988   9
>+++++ +++  1638   4  2139  
>7 +++++ +++  1130   3
>
>В массиве 3 винта по 1Тб, страйп 256К, иницилизация шла около суток.
>Куда копать?

в контроллере write cache включён ? там когда его включаешь и если нет батарейки, может выдать предупреждение

"Debian 5.02, ужасная производительность 3ware-9550 на запись"
Отправлено ilia kuliev , 31-Июл-09 19:21 
Чувак с подобной проблемой обратился в саппорт 3ware:

"3ware support finally got back to me. Apparently I needed to turn on the write cache (Weird, because the 3ware driver warns me not to do that. I have no battery unit so a powerloss means the cache gets wiped and the data may be corrupted) *and* I had to set the StorSave profile (i.e. the policy on how it caches writes) to perform (fastest, least safe). Now it performs similar to the mdadm RAID. At 83 Mb/s it's a tiny little bit faster than software RAID."

См также
http://www.3ware.com/KB/article.aspx?id=15244