The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Google опубликовал утилиту для автоматизации изменения размера ФС

29.07.2018 09:20

Компания Google опубликовала новую утилиту embiggen-disk (не является официальным проектом Google), предназначенную для изменения размера файловой системы после изменения размера дисковых разделов, например, после увеличения размера виртуального диска для систем виртуализации. Поддерживаются файловые системы ext2, ext3, ext4, xfs и btrfs, логические и физические тома LVM (LV и PV), а также таблицы разделов MBR и GPT. Код написан на языке Go и распространяется под лицензией Apache 2.0.

Утилита представляет собой обвязку вокруг штатных утилит resize2fs, xfs_growfs и btrfs, автоматизирующую выполнение операции изменения размера раздела (достаточно просто запустить утилиту и она автоматически определит необходимость модификации ФС без необходимости ручной настройки смещений). Из планов на будущее упоминается поддержка шифрованных разделов LUKS и работа в режиме фонового процесса, анализирующего появление в логе dmesg сообщений ядра об изменении размера блочных устройств.

  1. Главная ссылка к новости (https://github.com/google/embi...)
  2. OpenNews: Выпуск редактора разделов GParted 0.17.0
  3. Изменение размера виртуального диска KVM/QEMU/VirtualBox
  4. Преобразование дисковых разделов для VirtualBox и обратно
  5. OpenNews: Представлена LittleFS, компактная файловая система для встраиваемых устройств
  6. OpenNews: Для Linux представлена файловая система TxFS с поддержкой ACID-транзакций
Лицензия: CC-BY
Тип: Программы
Ключевые слова: resize, ext2, ext3, ext4, xfs, btrfs
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (65) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 09:28, 29/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +8 +/
    GNU parted все это умеет.
     
     
  • 2.27, Аноним (27), 15:33, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +3 +/
    да но ему нужен не монтированый раздел.
    а на рабочем разделе он отказивается изменить размер.
     
  • 2.46, null (??), 06:57, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Увеличить размер ФС ext* в условиях, когда раздел увеличился в сторону начала диска - не умеет.
     
     
  • 3.47, Аноним (-), 08:09, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +3 +/
    А сабж умеет что ли?
     
  • 2.50, Fedor (??), 09:08, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    То есть он умеет вызывать btrfs resize +max после изменения размера раздела? По моему вы что-то путаете.
     

  • 1.2, Аноним (-), 09:31, 29/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    а число инодов на ехт4 оно увеличивает?
     
     
  • 2.25, vitalif (ok), 14:34, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +3 +/
    А у меня есть resize2fs патченый, который умеет) - умеет и увеличивать, и уменьшать таблицы инодов.

    Пытался патч отправить в список рассылки - меня, кажется, просто проигнорировали...

     
     
  • 3.41, Зеленый Аноним (?), 22:31, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Ссылку плиз на патч горячей замены размера можно? Журналировать умеет если во время переразметки свет мигнет в UPS?
     

  • 1.3, Грусть (?), 09:36, 29/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Гугл совсем ку-ку.
     
     
  • 2.4, Отражение луны (ok), 10:08, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +13 +/
    Спасибо, что поделился с нами своим экспертным мнением.
     
     
  • 3.28, аа (?), 15:35, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Учитывая, что некоторые фс не умеют уменьшаться, учитывая, как сказано ниже, что надо уменьшать фс, а потом раздел, эта поделка выглядит как очередное поделие из разряда чтобы еще написать на го, коих гугл пладит который год, и о коих никогда не появляется второй новости, потому, что есть как есть из-за объективных фактов.
     
     
  • 4.40, Отражение луны (ok), 21:14, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Конечно не появляется. Читай надпись: не является официальным проектом Гугл.
    Вероятнее всего, утилита является побочным продуктом разработки совершенно другого проекта, и, вероятно, уже даже и не используется.
     
     
  • 5.43, Аноним (43), 23:35, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Так и в чем смысл?

    Бомж Виталий, написал скрипт который нафиг никому не нужен, кроме трех инвалидов, которые не в состоянии оформить аналог под свои нужды.

     
  • 2.5, Андрей (??), 10:40, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Когда будете менять HDD десятками в день на своих системах - с удовольствием выслушаем Ваше «куку» :)
     
     
  • 3.7, ананим.orig (?), 10:57, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    man fsadm
     
     
  • 4.15, пох (?), 12:27, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    не, ну если хочется потрахаться - то man fsadm.
    сперва вручную поправить таблицу разделов (и не перепутай fake mbr с настоящим)
    потом вручную расширить lvm, если был
    потом можешь и fsadm, только зачем? - из тех двух поддерживаемых им фс, которые сегодня еще актуальны, обе снабжены штатными ресайзилками.

    а гуглю совсем не это надо, ему надо разом на десятке тыщ нод увеличить диски, причем ноды эти крутятся в виртуалке, диски берутся с хранилки и размер у них в общем-то тоже виртуальный.

    докинули в хранилку петабайтов, дали одну команду на отращивание экспортируемых дисков, и второй прошлись по нодам, увеличив доступное для их fs.

    почему они этот функционал не добавили в fsamd? ну так не на go жеж

     
  • 3.9, Грусть (?), 11:30, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Менять диски - это понятно, но зачем на старых изменять разделы? ;)
     
     
  • 4.21, Аноним (21), 13:46, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Выглядит как остро стоящая проблема пользователя зфс: они там целыми днями что-то изменяют.
     
     
  • 5.58, tipa_admin (?), 14:35, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Рабинович напел?
     
     
  • 6.60, нах (?), 16:08, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    да это обычная песнь опеннетовских хейтеров, которые, как обычно, совершенно не в курсе того о чем поют, а каникулы в разгаре.
    (у владельцев zfs обычно ровно обратная  проблема - вовремя спохватиться отключить эту фичу на пуле - потому что оно, вот сюрприз-то - by default on. И никаких тебе, разумеется, проблем с недостачей inodes)

     
  • 3.31, Вареник (?), 17:26, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Так втыкаешь диск целиком как раздел в btrfs - и он живет в системе, пока физически не накроется.

    Какие проблемы???

     
     
  • 4.44, _ (??), 05:56, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    >Так втыкаешь диск целиком как раздел в btrfs - и он живет в системе, пока физически не накроется.

    В этом нет нужды -  бтрка сама сё угрохает :-)

     
     
  • 5.48, пох (?), 08:22, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    ну так диск-то и дальше живет себе в системе - просто пересоздашь на нем btrfs ;-)
    Я, кстати, нашел ей прекраснейшее применение - вполне в духе линукса, модных технологий и общего маразма it-индустрии, и активно перевожу на нее сервера.

    догадаешься, какое и почему?

     
     
  • 6.53, funny.falcon (?), 09:52, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Логи хранишь? Она единственная из стандартной поставки ядра умеет компрессию.
     
     
  • 7.65, пох (?), 23:36, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    не, докеров развожу. Они все равно рано или поздно разнесут себе свои оверлеи, если их запустить поверх ext4, и свалятся в kernel panic - поэтому если вместо этого развалится btr - тоже нифига не жалко, mkfs, и всех дел - образы заново из репы подтянет, а ничего ценного там и так держать нельзя.

    компрессию у меня умеет zfs, но я ее боюсь - поскольку примерно знаю, сколько и чего в погоне за ней испортили в коде.

     
  • 6.68, SysA (?), 13:21, 01/08/2018 [^] [^^] [^^^] [ответить]  
  • +/
    A multipath'ing на БТРе ты уже научился делать? Или это не в духе "модных технологий и общего маразма it-индустрии"?.. :)
     
     
  • 7.69, пох (?), 21:48, 01/08/2018 [^] [^^] [^^^] [ответить]  
  • +/
    ну да, "зачем же вам холодильник, если у вас -- еды нет?!"
    докерные тома и вся fs под ними - write only и doomed to die, даже если бы я сумел запустить btrfs поверх маппера  - кому бы от этого полегчало?

    развалится - тазик в ребут, пока второй поработает.

    не хватает iops - третий склонируем, да и хоть десятый туда же.

     

  • 1.6, QuAzI (ok), 10:45, 29/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А это не тот же скрипт, что на всяких armbian при разворачивании на флешку выполняется, чтобы занять всё её место?
    Ну и уменьшать свой размер оно конечно не умеет, только расти же?
     
     
  • 2.8, X86 (ok), 11:13, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    А Google только растет.
     
     
  • 3.16, пох (?), 12:30, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    даже если что-то уменьшается - диски ж вируальные, им незачем уменьшать логический размер, хватит и discard.
     
  • 2.13, rm1 (?), 12:06, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    При уменьшении надо СНАЧАЛА уменьшить ФС а потом раздел, судя по всему что скрипт реагирует на изменение размера раздела, он этого уметь не будет, т.к. уменьшать надо не после, а до этого.

    Из перечисленных ФС уменьшаться без каких-либо вопросов и ньюансов умеет только Btrfs; XFS не умеет вообще, ext* вроде как умеет, но на практике часто (или всегда?) требует офлайнить ФС для этого. То есть если ФС корневая, то только грузиться с другого носителя, или нести диск с нею на другую машину.

     

  • 1.12, VecH (ok), 12:05, 29/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    А уменьшать оно может?
     
  • 1.17, Специалистам по всему (?), 12:30, 29/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    есть какие подводные у сабжа? Ну, там, нечитаемые сектора и прочие прелести кривого изменения размеров руками
     
  • 1.18, s10 (?), 13:04, 29/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Наверное, это лучше, чем bash-скриптик growpart из cloud-guest-utils с хуком cloud-initramfs-growroot из cloud-init.
     
  • 1.26, vitalif (ok), 14:35, 29/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Эээ. Каких ещё смещений?

    Просто команда resize2fs /dev/sda1 по дефолту увеличивает ФС до текущего размера раздела. Никакие смещения там настраивать не надо.

     
  • 1.29, Аноним (29), 15:58, 29/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    > Утилита представляет собой обвязку вокруг штатных утилит resize2fs, xfs_growfs и btrfs

    П-ф-ф-, читеры.

     
     
  • 2.34, Старый одмин (?), 17:57, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Да, такие "чудеса" мы и на bash видали. Без всякого go, компиляции и т.д.
     
     
  • 3.38, Andrey Mitrofanov (?), 20:26, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > Да, такие "чудеса" мы и на bash видали. Без всякого go, компиляции
    > и т.д.

    О, точно. То-то я думаю, видел же где-то.

    Точно в баше.

    Вот прямо в "консольке" сам набирал "lvextend -L xxxG vgN/lvMM", потом "xfs_growfs /mnt/diskMM", точно-точно!

     
     
  • 4.45, _ (??), 06:13, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    :-)
    Андрейка, а чего XFS?
    На кровавую ынрепрайзную шапку седьмого размера перешли или почему?
    Я вот думаю ... ехать или нет ... :)
     
     
  • 5.49, пох (?), 08:32, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    учитывая "проверенную временем надежность" как самой xfs, так и лежащей под ней lvm, удивительную "эффективность" этого бутерброда, особенно если поверх оказывается еще и база данных с блоком не кратным этим двум, а то еще и улегшимся невыровненным на 4k диск, ехать туда есть смысл только если ты уже давно душой и телом продался редхату (то есть у тебя законченное решение на базе rh, именно законченное, а не свое на базе el)

    в остальном еще лет на пять хватит ext4 nojournal для системы, и zfs для хранилища.
    (и заметь, что никаки "утилиты для автоматизации" ей нафиг не упали - пишу письмо електрицское в отдел, отвечающий за san, и, вау, у меня все нужные диски волшебным образом отрастают.)

     
     
  • 6.56, J.L. (?), 13:39, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > и заметь, что никаки "утилиты для автоматизации" ей нафиг не упали - пишу письмо електрицское в отдел, отвечающий за san, и, вау, у меня все нужные диски волшебным образом отрастают

    я оценил, да ))

     
  • 5.55, Andrey Mitrofanov (?), 12:38, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > :-)
    > Андрейка, а чего XFS?
    > На кровавую ынрепрайзную шапку седьмого размера перешли

    Да.

    >или почему?

    Патамучта, я был вежлив и не сильно настаивал, посылая непосредственного начальника в ... обратном направлении при переходе на systemd, el7 и "у нас всё(+-) на xfs".  Да и на upstart и el6 до того почему-то был xfs на lvm, а до того xfs на drbd.

    "Промышленное" костылестроение, оно такое -- кто строил, зачем строил...  не упало бы, держаться!.

    И да, мои три-четыре "локалхоста" совершенно не показатель ни Передового Стиля, ни какого-то там Успеха.  Вот опять падать начинает -- перестройка и новые ценности по кругу опять.

    > Я вот думаю ... ехать или нет ... :)

     
     
  • 6.61, нах (?), 16:13, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > Патамучта, я был вежлив и не сильно настаивал, посылая непосредственного начальника в ...
    > обратном направлении при переходе на systemd, el7 и "у нас всё(+-) на xfs".

    ну а куда ты еще перейдешь с el6? Вариантов-то ровно два - сидеть по прежнему на ней, потихоньку превращаясь в ретро-свалку, либо 7 и все что она с собой принесет.

     
     
  • 7.63, Andrey Mitrofanov (?), 16:55, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    >> Патамучта, я был вежлив и не сильно настаивал, посылая непосредственного начальника в ...
    >> обратном направлении при переходе на systemd, el7 и "у нас всё(+-) на xfs".
    > ну а куда ты еще перейдешь

    Ну, с dеbian 7.x wheezy на devuan 2.0 ascii тихо-тихо перехожу.

    И да, там я тож lvextend/xfs_growfs и тож в баше нажимал. Ну, то есть, когда тот диск под reiserfs3 сдох слегка и поехал лечиться badblocks-ами с -w и тд и тпр.

    >с el6? Вариантов-то ровно два -
    > сидеть по прежнему на ней, потихоньку превращаясь в ретро-свалку, либо 7

    Ну, расскажите мне больше про ретрО.  " Эт-т-дело я люблю. "(ц)

    > и все что она с собой принесет.

     

  • 1.30, Аноним (30), 16:37, 29/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Только ФС ещё и уменьшать бывает необходимо.
     
     
  • 2.37, 123 (??), 19:58, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Особенно xfs
     
     
  • 3.72, Аноним (72), 10:20, 02/08/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Вот поэтому, кто производит изменение размеров ФС её не использует.
     
  • 2.52, Аноним (-), 09:30, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Потому что ты не умеешь планировать дисковое пространство?
     
     
  • 3.71, Аноним (72), 10:18, 02/08/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Потому, что часть дискового пространства может использоваться для разного рода тестирования, виртаульных машин и т.д.
     

  • 1.32, Вареник (?), 17:29, 29/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Проблема какая-то надуманная (типично для Гугла).

    Какой-то сумашедший админ, на массиве в десятки дисков - разбивает разделы не на весь диск???

     
     
  • 2.33, Аноним (33), 17:32, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    man raid
     
     
  • 3.36, пох (?), 18:43, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    там скорее google:san, google:vm, google:saas...

    очень вряд ли у гугля где-то будет "просто рейд". В таких масштабах - заманаешься диски менять.

     
  • 3.51, Аноним (-), 09:29, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    >No manual entry for raid
    >мамо, чому я кукарекою?
     
  • 2.35, Аноним (21), 18:06, 29/07/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Какой-то сумашедший админ, на массиве в десятки дисков, вообще создаёт на дисках разделы???

    меня такой вопрос больше впечатляет

     

  • 1.39, Аноним (39), 20:38, 29/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Это не проект гугла, её сделал Brad Fitzpatrick для собственных нужд -  https://twitter.com/bradfitz/status/1022929326520430592
     
     
  • 2.54, Аноним (54), 11:45, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • –2 +/
    еще лучше. Щас бы каждый одмен выкладывал свои велосипеды на баше в опенсорц
     

  • 1.57, vasia911 (?), 14:23, 30/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Все конечно клево, решил проверить тулзу. В результате, мало того, что нужно за собой тянуть golang, так оно еще и не работает :)
    # embiggen-disk /
    error preparing to enlarge /: unsupported filesystem type "rootfs"
     
     
  • 2.59, Аноним (59), 15:45, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Golang через пару лет будет везде, заменяя и python, и C++.
     
     
  • 3.62, нах (?), 16:14, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    к сожалению, да.

     
     
  • 4.73, Аноним (72), 10:37, 02/08/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Python он вряд ли заменит, для наколенного программирования он менее приспособлен.
     
  • 3.67, Homak (?), 23:15, 31/07/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    lol no generics
     
  • 2.64, й (?), 22:18, 30/07/2018 [^] [^^] [^^^] [ответить]  
  • +/
    да не нужно его за собой тянуть. есть кросс-компиляция, это очень просто. собрал один раз на чём угодно и тянешь только статический исполняемый файл программы.
     

  • 1.66, Инна Друзь (?), 14:45, 31/07/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    А я как дурочка lvresize --resizefs делаю...
     
     
  • 2.70, пох (?), 21:56, 01/08/2018 [^] [^^] [^^^] [ответить]  
  • +/
    а оно тебе такое - "обломись, бабка, ты еще vgextend забыла предварительно!"

    а чуваку с гугля, вишь, надоело набирать эти бессмысленные заклинания вручную, и он запилил на игогошеньке (ибо модно) универсальную затычку, с перспективой что она вообще будет парсить syslog и без его участия отращивать, причем независимо, есть там lvm, или fs создана поверх rdma диска, например.

    местные кукаретики тут, правда, пели, что они точно такое же на баше тридцать лет назад написали, но, видимо, перфокарты столько не жили, и показать свою писанину они постеснялись.

     
     
  • 3.74, vasia911 (?), 17:08, 02/08/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Так вот же
    https://github.com/alpacacode/Homebrewn-Scripts/blob/master/linux-scripts/part
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру