Есть сервер. Он нормально справляется со своими задачами la держится примерно на значении 6-7 в момент максимальной нагрузки.

На сервере 6 гб памяти. Свап 6 гб, при работе задействовано реально около 3.

На сервере запущены nginx и php-fpm и python (на этой штуке визуализация результатов происходит) и ряд приложений по обработке данных.

У пользователей (программистов) в кроне есть возможность запускать свои скрипты.

Примерно раз в сутки (а то и два), правда в разное время происходит следующее:

1. Поднимается la до 200.
2. При этом
Cpu(s): 4.7%us,  5.0%sy,  0.1%ni, 12.0%id,  77.8%wa,  0.0%hi,  0.4%si,  0.0%st

т.е. 77.8%wa - это говорит о том, что на ввод-вывод нагрузка большая?
Да, свап при этом разрастаетя до 4 гб и система начинает жутко тупить.

Как выяснить  - может какоето приложение или скрипт начинает ужасный ввод-вывод или всетаки нехватает памяти?

• Резко растет нагрузка.,minidc, 17:53 , 06-Апр-10
  • Резко растет нагрузка.,sHaggY_caT, 02:18 , 07-Апр-10
• Резко растет нагрузка.,Michael, 22:25 , 06-Апр-10

>[оверквотинг удален]
>Cpu(s): 4.7%us,  5.0%sy,  0.1%ni, 12.0%id,  77.8%wa,  0.0%hi,  
>0.4%si,  0.0%st
>
>т.е. 77.8%wa - это говорит о том, что на ввод-вывод нагрузка большая?
>
>Да, свап при этом разрастаетя до 4 гб и система начинает жутко
>тупить.
>
>Как выяснить  - может какоето приложение или скрипт начинает ужасный ввод-вывод
>или всетаки нехватает памяти?

В догонку, серверов таких 2. Они работают как НА кластер и обрабатывают запросы на пару, т.е. через балансировщик.

Со вторым сервером все в порядке. Такого не бывает.

>[оверквотинг удален]
>>Да, свап при этом разрастаетя до 4 гб и система начинает жутко
>>тупить.
>>
>>Как выяснить  - может какоето приложение или скрипт начинает ужасный ввод-вывод
>>или всетаки нехватает памяти?
>
>В догонку, серверов таких 2. Они работают как НА кластер и обрабатывают
>запросы на пару, т.е. через балансировщик.
>
>Со вторым сервером все в порядке. Такого не бывает.

смотреть отчеты sar и oprofile на предмет потребления ОЗУ. Хорошая документация есть на redhat.com, подойдет к любому Linux-дистрибутиву.

у Вас большой i/o wait, так как система сильно свапиться, и дисковой производительности не хватает.

так же большой la так как возникает, собственно, большая дисковая очередь

>т.е. 77.8%wa - это говорит о том, что на ввод-вывод нагрузка большая?
>
>Да, свап при этом разрастаетя до 4 гб и система начинает жутко
>тупить.
>
>Как выяснить  - может какоето приложение или скрипт начинает ужасный ввод-вывод
>или всетаки нехватает памяти?

wait - ожидание ввода-вывода, в вашем случае в своп, что подтверждается высоким пореблением памяти
выход один - искать куда девается память.