<?xml version="1.0" encoding="koi8-r"?>
<rss version="0.91">
<channel>
    <title>OpenForum RSS: зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP</title>
    <link>https://www.opennet.me/openforum/vsluhforumID13/973.html</link>
    <description>Добрый день!&lt;br&gt;Прошу помощи в решении проблемы.&lt;br&gt;Сам уже более недели не могу с ней справится.&lt;br&gt;&lt;br&gt;Столкнулся с проблемой периодического подвисания сервера.&lt;br&gt;&lt;br&gt;#---------------&lt;br&gt;Данные о железе: &lt;br&gt;CPU: Intel(R) Xeon(R) CPU E3-1270 v6 &#064; 3.80GHz (8 ядер)&lt;br&gt;MotherBoard: SuperMicro X11SSL-F&lt;br&gt;RAM:  8GB DDR4-2400 ECC Unbuffered Supermicro certified for Intel C232, C236 chipsets&lt;br&gt;Сеть: Intel 82599 10 Gigabit Network Connection&lt;br&gt;driver: ixgbe&lt;br&gt;version: 3.15.1-k&lt;br&gt;&lt;br&gt;#---------------&lt;br&gt;Данные об ОС:&lt;br&gt;Debian 7.2&lt;br&gt;kernel 3.12.6&lt;br&gt;&lt;br&gt;#---------------&lt;br&gt;Краткое описание сферы использования сервера:&lt;br&gt;Сервер используется как маршрутизатор (Quagga), &lt;br&gt;нагрузка на него сейчас небольшая - порядка 500-600 Мбит/с.&lt;br&gt;Планируется довести до 4-5 Гбит/с.&lt;br&gt;&lt;br&gt;#---------------&lt;br&gt;Симптомы подвисания сервера:&lt;br&gt;Перестает отвечать на ICMP запросы и отдавать данные по SNMP (это со стороны системы мониторинга).&lt;br&gt;Также прекращает маршрутизировать трафик, BGP сессии, которые висят на нем также отваливаются.&lt;br&gt;Через 3-5 минут сервер &quot;приходит в себя&quot; и про</description>

<item>
    <title>зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP (maxnetstat)</title>
    <link>https://www.opennet.me/openforum/vsluhforumID13/973.html#7</link>
    <pubDate>Fri, 30 Apr 2021 08:14:56 GMT</pubDate>
    <description>&amp;gt;&#091;оверквотинг удален&#093;&lt;br&gt;&amp;gt; nohz=off &lt;br&gt;&amp;gt; Если хочется выжать максимум, то отключить фиксы безопасности: &lt;br&gt;&amp;gt; mitigations=off (для &amp;gt;=4) &lt;br&gt;&amp;gt; norandmaps(sysctl.conf: kernel.randomize_va_space = 0) &lt;br&gt;&amp;gt; noibrs noibpb nopti nospectre_v1 nospectre_v2 l1tf=off spectre_v2_user=off nospec_store_bypass_disable &lt;br&gt;&amp;gt; no_stf_barrier mds=off spectre_v2=off &lt;br&gt;&amp;gt; Дальше уже тюнить параметры сетевухи через ethtool, распределять их по ядрам(numa etc). &lt;br&gt;&amp;gt; Посмотреть в сторону busy pools: &lt;br&gt;&amp;gt; #net.core.busy_poll = 100 &lt;br&gt;&amp;gt; #net.core.busy_read = 100 &lt;br&gt;&lt;br&gt;Спасибо за информацию!&lt;br&gt;Добавлю в закладки и в случае необходимости опробую ваши советы!&lt;br&gt;на данный момент проблема решена переходом на аппаратные маршрутизаторы (не из-за этой проблемы)&lt;br&gt;&lt;br&gt;</description>
</item>

<item>
    <title>зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP (asdmkw)</title>
    <link>https://www.opennet.me/openforum/vsluhforumID13/973.html#6</link>
    <pubDate>Thu, 29 Apr 2021 18:17:03 GMT</pubDate>
    <description>&lt;br&gt;&amp;gt;&amp;gt; я не про обычное обновление всей системы писал, а про утилиту Debootstrap.&lt;br&gt;&amp;gt;&amp;gt; посмотрите на утилиту эту на досуге, очень эффективная вещь в хозяйстве.&lt;br&gt;&amp;gt; Знаю о ней, но никогда не использовал. Посмотрю, спасибо :) &lt;br&gt;&amp;gt;&amp;gt;&amp;gt; Думаю попробовать сменить оперативную память (установлена DDR4-2400 ECC Unbuffered), &lt;br&gt;&amp;gt;&amp;gt;&amp;gt; т.к. натыкался в инете на то, что замена памяти решила проблему.&lt;br&gt;&amp;gt;&amp;gt; возможно, будем ждать ваших результатов ;) &lt;br&gt;&amp;gt; К сожалению, пока нечем заменить память.&lt;br&gt;&amp;gt; Вчера мне подсказали отключить HyperThreading, но ее отключение не привело к положительным &lt;br&gt;&amp;gt; изменения.&lt;br&gt;&amp;gt; Описываю все свои действия, вдруг кому пригодится:) &lt;br&gt;&lt;br&gt;C-state отключен? Max performace, в bios, влючен?&lt;br&gt;Отключение powersave mode+throttling:&lt;br&gt;intel_idle.max_cstate=0 processor.max_cstate=0 intel_pstate=disable acpi=force powersaved=off(старье)&lt;br&gt;&lt;br&gt;Отключение watchdog-в и проверок, которые могут давать фризы:&lt;br&gt;mce=ignore_ce nmi_watchdog=0 nowatchdog&lt;br&gt;&lt;br&gt;Если отключен HT, то можно включить&lt;br&gt;idle=poll #температура будет повыше, но снижа</description>
</item>

<item>
    <title>зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP (maxnetstat)</title>
    <link>https://www.opennet.me/openforum/vsluhforumID13/973.html#4</link>
    <pubDate>Thu, 04 Oct 2018 05:40:43 GMT</pubDate>
    <description>&lt;br&gt;&lt;br&gt;&amp;gt; я не про обычное обновление всей системы писал, а про утилиту Debootstrap. &lt;br&gt;&amp;gt; посмотрите на утилиту эту на досуге, очень эффективная вещь в хозяйстве. &lt;br&gt;&lt;br&gt;Знаю о ней, но никогда не использовал. Посмотрю, спасибо :)&lt;br&gt;&lt;br&gt;&amp;gt;&amp;gt; Думаю попробовать сменить оперативную память (установлена DDR4-2400 ECC Unbuffered), &lt;br&gt;&amp;gt;&amp;gt; т.к. натыкался в инете на то, что замена памяти решила проблему.&lt;br&gt;&amp;gt; возможно, будем ждать ваших результатов ;) &lt;br&gt;&lt;br&gt;К сожалению, пока нечем заменить память.&lt;br&gt;&lt;br&gt;Вчера мне подсказали отключить HyperThreading, но ее отключение не привело к положительным изменения.&lt;br&gt;Описываю все свои действия, вдруг кому пригодится:)&lt;br&gt;&lt;br&gt;</description>
</item>

<item>
    <title>зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP (eRIC)</title>
    <link>https://www.opennet.me/openforum/vsluhforumID13/973.html#3</link>
    <pubDate>Wed, 03 Oct 2018 17:05:03 GMT</pubDate>
    <description>&amp;gt; Обновить теоретически возможно, но на практике проблема в том, &lt;br&gt;&amp;gt; что ОС уже подготовлена, обкатана в качестве маршрутизатора.&lt;br&gt;&amp;gt; Данное решение используется на нескольких серверах, и обновление одного из них повлечет &lt;br&gt;&amp;gt; серверов :) &lt;br&gt;&lt;br&gt;я не про обычное обновление всей системы писал, а про утилиту Debootstrap. посмотрите на утилиту эту на досуге, очень эффективная вещь в хозяйстве.&lt;br&gt;&lt;br&gt;&amp;gt; Думаю попробовать сменить оперативную память (установлена DDR4-2400 ECC Unbuffered), &lt;br&gt;&amp;gt; т.к. натыкался в инете на то, что замена памяти решила проблему. &lt;br&gt;&lt;br&gt;возможно, будем ждать ваших результатов ;)&lt;br&gt;&lt;br&gt;</description>
</item>

<item>
    <title>зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP (maxnetstat)</title>
    <link>https://www.opennet.me/openforum/vsluhforumID13/973.html#2</link>
    <pubDate>Wed, 03 Oct 2018 07:03:27 GMT</pubDate>
    <description>&amp;gt;&amp;gt; kernel: &#091;283813.064128&#093; INFO: rcu_sched detected stalls on CPUs/tasks: &#123; 1&#125; (detected by &lt;br&gt;&amp;gt;&amp;gt; 2, t=5252 jiffies, g=22131346, c=22131345, q=6300) &lt;br&gt;&amp;gt;&amp;gt; kernel: &#091;283813.064332&#093; sending NMI to all CPUs: &lt;br&gt;&amp;gt;&amp;gt; kernel: &#091;283813.064335&#093; NMI backtrace for cpu 2 &lt;br&gt;&amp;gt; многие обходили эту панику через отключение ipv6 или nosmp. если есть возможность &lt;br&gt;&amp;gt; забустрапить свежий Debian и проверить на новом ядре, ну и свежим &lt;br&gt;&amp;gt; Quagga поиграть &lt;br&gt;&lt;br&gt;Спасибо за ответ:)&lt;br&gt;smp я отключил. но получил в итоге 1 ядро вместо 8.&lt;br&gt;ipv6 также отключен через sysctl.&lt;br&gt;&lt;br&gt;Обновить теоретически возможно, но на практике проблема в том,&lt;br&gt;что ОС уже подготовлена, обкатана в качестве маршрутизатора.&lt;br&gt;Данное решение используется на нескольких серверах, и обновление одного из них повлечет&lt;br&gt;ситуацию, когда одинаковые по функционалу сервера будут на разных версия ОС.&lt;br&gt;А это проблема, ведь они перестают быть взаимозаменяемыми и потребуется обновление всех&lt;br&gt;серверов :)&lt;br&gt;Возможно и стоит этим в итоге заняться, но подобные вещи должны планироваться, а на э</description>
</item>

<item>
    <title>зависание Linux, rcu_sched detected stalls on CPUs/tasks, SMP (eRIC)</title>
    <link>https://www.opennet.me/openforum/vsluhforumID13/973.html#1</link>
    <pubDate>Wed, 03 Oct 2018 04:19:02 GMT</pubDate>
    <description>&amp;gt; kernel: &#091;283813.064128&#093; INFO: rcu_sched detected stalls on CPUs/tasks: &#123; 1&#125; (detected by &lt;br&gt;&amp;gt; 2, t=5252 jiffies, g=22131346, c=22131345, q=6300) &lt;br&gt;&amp;gt; kernel: &#091;283813.064332&#093; sending NMI to all CPUs: &lt;br&gt;&amp;gt; kernel: &#091;283813.064335&#093; NMI backtrace for cpu 2 &lt;br&gt;&lt;br&gt;многие обходили эту панику через отключение ipv6 или nosmp. если есть возможность забустрапить свежий Debian и проверить на новом ядре, ну и свежим Quagga поиграть&lt;br&gt;</description>
</item>

</channel>
</rss>
