https://www.opennet.ru/openforum/vsluhforumID1/97674.html Здравствуйте!<br>Помогите кто чем может.<br>Есть proxmox, установлен полгода назад на 2 HP, система установлена на zfs и сервера находятся в кластере. На него мигрированы машины из wmvare. Переносил так - делал экспорт в ovf и потом<br># qm importovf 333 server-www.ovf local-zfs <br><br>Все прекрасно перенеслось и работало. Виртуалки на FreeBSD. но сейчас они начали отваливаться на глазах. Пропадает с ними связь, консоль показывает что система не доступна, а при перегрузке диск видит, но говорит, что он не системный. И так на обоих серверах. Обновил систему, проблема осталась. Из бэкапа восстанавливается, но потом опять может отвалиться. У виртуалок с FreeBSD тоже zfs. <br>Подскажите, что такое с proxmoxom и как восстанавливать виртуалку без бэкапа?<br><br>Заранее благодарен!<br> https://www.opennet.ru/openforum/vsluhforumID1/97674.html#9 Mon, 14 Dec 2020 17:44:01 GMT &gt; Там я думаю проще, zfs внутри виртуалки грохнулась, некорректно закрылась <br>&gt; виртуалка, фришки там 8.2-9.0, следовательно не все баги zfs на тот <br>&gt; момент отловились, у меня такое было с 9.1 ...<br><br>На некорректное закрытие виртуалки не похоже. Одна из них падала просто на глазах. Я открыл консоль и увидел ошибку записи, пока думал, проскочила еще и потом посыпалось и она встала. Перегружаю и уже говорит не системный диск. <br><br> https://www.opennet.ru/openforum/vsluhforumID1/97674.html#8 Mon, 14 Dec 2020 16:04:19 GMT &gt; Теоретически возможный, хоть и маловероятный вариант - какие-то кривые скрипты проксмоксы <br>&gt; увидели внутри ваших виртуалок zfs (если они внутри zvol) и полезли <br>&gt; ее импортировать прямо поверх работающих систем.<br><br> Там я думаю проще, zfs внутри виртуалки грохнулась, некорректно закрылась виртуалка, фришки там 8.2-9.0, следовательно не все баги zfs на тот момент отловились, у меня такое было с 9.1 ...<br><br> https://www.opennet.ru/openforum/vsluhforumID1/97674.html#7 Mon, 14 Dec 2020 15:11:56 GMT &gt;&gt; Если ничего не понятно, можно всё переустановить с нуля, без конвертации, не <br>&gt;&gt; из бэкапов.<br>&gt;&gt; Заодно оплейбучить, ИаКнуть, и задокументировать дизастер рекавери план.<br>&gt; Похоже ключевое слово виртуалка freebsd на zfs...<br><br>Спасибо всем!<br><br>Похоже прав Сергей про zfs. Когда расковырял все-таки эти диски, то в логах увидел ошибки записи на диск. Падал сервер при интенсивной записи.<br><br>Увидел следующее: попадали все сервера, которые я смигрировал с VmWare 5.0. Все виртулки стояли на zfs и в хостовую машину я их положил на zfs-local.<br><br>FreeBSD на виртуалках версий 8.2-9.0<br><br>Новые виртуалки я создал и они, пока, работают нормально, даже в local-zfs, старые восстановил в local и тоже, пока, без проблем.<br><br><br> https://www.opennet.ru/openforum/vsluhforumID1/97674.html#6 Sat, 12 Dec 2020 21:48:24 GMT &gt; Подскажите, что такое с proxmoxom <br><br>вероятно, для этого надо читать логи? Не, не пробовали?<br>Включая и логи с крэшащихся vm - например, научившись таки в remote syslog. (про serial я уж не надеюсь что справитесь)<br><br>&gt; и как восстанавливать виртуалку без бэкапа?<br><br>так же как и невиртуалку, вдруг переставшую видеть диск - подключить его к загружающейся системе (например соседней рабочей виртуалке, если только вы не в лучших девляпс-традициях умудрились на всех сделать одинаковый zpool) - и разбираться, что с диском не так.<br><br>Остальное подсказать,не зная деталей вашей конфигурации (о которых уже спрашивали) нельзя.<br><br>Теоретически возможный, хоть и маловероятный вариант - какие-то кривые скрипты проксмоксы увидели внутри ваших виртуалок zfs (если они внутри zvol) и полезли ее импортировать прямо поверх работающих систем.<br><br> https://www.opennet.ru/openforum/vsluhforumID1/97674.html#5 Sat, 12 Dec 2020 20:19:02 GMT &gt; Если ничего не понятно, можно всё переустановить с нуля, без конвертации, не <br>&gt; из бэкапов.<br>&gt; Заодно оплейбучить, ИаКнуть, и задокументировать дизастер рекавери план.<br><br> Похоже ключевое слово виртуалка freebsd на zfs...<br><br><br> https://www.opennet.ru/openforum/vsluhforumID1/97674.html#4 Sat, 12 Dec 2020 10:26:48 GMT Если ничего не понятно, можно всё переустановить с нуля, без конвертации, не из бэкапов.<br>Заодно оплейбучить, ИаКнуть, и задокументировать дизастер рекавери план.<br> https://www.opennet.ru/openforum/vsluhforumID1/97674.html#3 Sat, 12 Dec 2020 10:15:27 GMT &gt;&gt;&gt; Здравствуйте!<br>&gt;&gt;&gt; Помогите кто чем может.<br>&gt;&gt;&gt; Подскажите, что такое с proxmoxom и как восстанавливать виртуалку без бэкапа?<br>&gt;&gt; Размер дисков виртуалок перед этим увеличивали?<br>&gt; Нет, вообще не трогал. Единственное не прав был, это выключил перегрузил хоста <br>&gt; не выключая виртуалки, но они нормально отшутдаунились и некоторые загрузились, а <br>&gt; потом попадали. Причем пока увидел, что только FreeBSD-ые виртуалки. Винды и <br>&gt; линуксы пока грузятся и работают нормально.<br><br>начните с анализа, а то у Вас: "ничего не делал" и вдруг кирдык...<br><br>Кластер Proxmox из 2'ух серверов?<br>- на серверах Proxmox - zfs<br>- сетевое хранилище есть или только локальное?<br>- отваливаются только гостевые FreeBSD?<br>- что используете под vHDD для гостевых: qcow, zvs volume?<br>- в чем разница vhdd для Linux/Windows и FreeBSD?<br>- настройки zfs на нодах Proxmox и в гостевых FreeBSD?<br>- потребление памяти на нодах Proxmox, и сколько RAM на нодах? (утечка памяти?)<br>...<br>...<br><br> https://www.opennet.ru/openforum/vsluhforumID1/97674.html#2 Sat, 12 Dec 2020 08:16:41 GMT &gt;&gt; Здравствуйте!<br>&gt;&gt; Помогите кто чем может.<br>&gt;&gt; Подскажите, что такое с proxmoxom и как восстанавливать виртуалку без бэкапа?<br>&gt; Размер дисков виртуалок перед этим увеличивали?<br><br>Нет, вообще не трогал. Единственное не прав был, это выключил перегрузил хоста не выключая виртуалки, но они нормально отшутдаунились и некоторые загрузились, а потом попадали. Причем пока увидел, что только FreeBSD-ые виртуалки. Винды и линуксы пока грузятся и работают нормально.<br> https://www.opennet.ru/openforum/vsluhforumID1/97674.html#1 Sat, 12 Dec 2020 07:51:19 GMT &gt; Здравствуйте!<br>&gt; Помогите кто чем может.<br>&gt; Подскажите, что такое с proxmoxom и как восстанавливать виртуалку без бэкапа?<br><br>Размер дисков виртуалок перед этим увеличивали?<br><br>