https://www.opennet.ru/openforum/vsluhforumID3/133243.html Минимальный набор пакетов для диагностики проблем, которые желательно заранее установить на серверы, чтобы не тратить время на установку дополнительных пакетов или поиск специализированных live-дистрибутивов. <br><br>Установка диагностических утилит во время сбоя может превратиться в решение отдельной проблемы или потребовать много времени, учитывая то, что во время сбоя может пропадать сетевое соединение, возникнуть проблемы с DNS, наблюдаться большие потери пакетов или снижение полосы пропускания, возникать большие задержки ввода команд из-за высокой нагрузки на CPU или исчерпания памяти, дисковый раздел может быть переведён в режим только для чтения и т.п.<br><br>Список пакетов для предустановки (названия для Ubuntu) и поставляемые в них диагностические утилиты:<br><br>** procps - утилиты ps, vmstat, uptime, top<br>** util-linux -dmesg, lsblk, lscpu (общая статистика, информация о блочных устройствах и CPU)<br>** sysstat - iostat, mpstat, pidstat, sar (оценка производительности)<br>** iproute2 - ip, ss, nstat, tc (настро https://www.opennet.ru/openforum/vsluhforumID3/133243.html#19 Sun, 01 Dec 2024 09:25:36 GMT +iftop<br><br>хотя современный htop, воде, уже имеет вкладку по I/O<br> https://www.opennet.ru/openforum/vsluhforumID3/133243.html#18 Sat, 18 May 2024 15:42:56 GMT Тут ожидание и реальность.<br>Ожидание - удалёнка, дежурная смена, whatever.<br>Реальность - половина нод завалилась, инженегра два на полставки, и те джуны, потому что архитекта задолбало лопатить за десятерых за полторы зарплаты, и он свалил, whatever.<br> https://www.opennet.ru/openforum/vsluhforumID3/133243.html#17 Sat, 18 May 2024 15:41:16 GMT &gt; А сейчас да, проснувшись и сладко потянувшись можно днём покумекать чего там больше 5% клиентов два часа утром матерились.<br><br>И то только покумекать, потому что индусский саппорт какого-нибудь Emc2 будет спать ещё часа 4, и только потом заявку примет.<br> https://www.opennet.ru/openforum/vsluhforumID3/133243.html#16 Sat, 27 Apr 2024 23:32:59 GMT &gt; Мир изменился потому что "вчера с 5 до 7 утра по <br>&gt; GMT у нас &gt; 5% клиентам отдавалась 500 ошибка, и алерты <br>&gt; по метрикам задержек, давайте выясним что это было и как сделать, <br>&gt; чтобы больше так не было" теперь как бы норма.<br>&gt; Раньше был бы звонок админу в 5:03 по GMT что Вася <br>&gt; из Зарюпинска не может работать и Маша тоже жалуется. И чтобы <br>&gt; исправил, иначе за что тебе деньги платят.<br>&gt; А сейчас да, проснувшись и сладко потянувшись можно днём покумекать чего <br>&gt; там больше 5% клиентов два часа утром матерились.<br><br>Если предприятие работает вне часовой зоны ИТ отдела, то нанимают<br>дежурных инженеров работающих 24/7 и не долбят мозг главному инженеру,<br>а решают вопросы с закончившимся местом, отвалившимся коннектом,<br>ошибкой маршрута самостоятельно, а вот если вопрос серьезный, то<br>тогда уже оформляют как положено баг репорт и решают в штатном порядке<br>в рабочее время. <br><br><br>При распределенной команде кстати есть шанс что ошибку отловят и исправят<br>и вообще в тот же час разработчики из тойже часов https://www.opennet.ru/openforum/vsluhforumID3/133243.html#15 Sat, 27 Apr 2024 23:29:19 GMT Легко если обработка идет вне сетевой подсистемы Linux<br>Только время терять на все это ваше<br> https://www.opennet.ru/openforum/vsluhforumID3/133243.html#14 Wed, 24 Apr 2024 07:17:04 GMT Мир изменился потому что "вчера с 5 до 7 утра по GMT у нас &gt; 5% клиентам отдавалась 500 ошибка, и алерты по метрикам задержек, давайте выясним что это было и как сделать, чтобы больше так не было" теперь как бы норма.<br> Раньше был бы звонок админу в 5:03 по GMT что Вася из Зарюпинска не может работать и Маша тоже жалуется. И чтобы исправил, иначе за что тебе деньги платят.<br> А сейчас да, проснувшись и сладко потянувшись можно днём покумекать чего там больше 5% клиентов два часа утром матерились.<br> https://www.opennet.ru/openforum/vsluhforumID3/133243.html#13 Tue, 23 Apr 2024 08:37:05 GMT Не совсем для сбоев, но рекомендую также ставить vnstat. Иногда очень полезно посмотреть динамику по занятости каналов. Главное ставить его заранее, чтобы статистика по трафику уже была к тому момент, когда она понядобится.<br>В паре с реалтаймовым мониторингом в bmon получается очень даже хорошо.<br><br>И то и другое у меня ставится на все новые сервера даже несмотря на то, что в параллель по сути те же метрики экспортируются ещё и в prometheus. Однако, локально на сервере смотреть числа выходит гораздо удобнее.<br> https://www.opennet.ru/openforum/vsluhforumID3/133243.html#12 Tue, 23 Apr 2024 06:06:39 GMT iotop<br> https://www.opennet.ru/openforum/vsluhforumID3/133243.html#11 Tue, 16 Apr 2024 08:36:28 GMT Напиши свою статью, аноним, с изложением своей версии того, как делать мониторинг.<br><br>То есть, о том, что "мир изменился" ты прав, но во-первых, у утилит нового мира внутри те же самые top, sysstat, vmstat.<br><br>&gt;алерты, которые делаются совершенно не этими утилитами<br><br>А чем? Куча этих самых мониторингов -- это же те же самые обвязки над олдовыми утилитами.<br><br>&gt;EC2 инстансе, в контейнерах в EKS или другом managed kubernetes<br><br>Хм. Я бы, конечно, не против EC2, EKS, и тому подобного, но у нас airgapped система. Как мне быть?<br>