The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Использование расширенных возможностей Btrfs
В заметке представлены примеры использования таких расширенных функций Btrfs
как создания отказоустойчивых конфигураций, опции для обеспечения целостности
данных, хранение данных в сжатом виде, снапшоты.

Создадим тестовый раздел Btrfs на диске /dev/sdb:

   # mkfs.btrfs /dev/sdb

   adding device /dev/sdb id 2
   fs created label (null) on /dev/sdb
   nodesize 4096 leafsize 4096 sectorsize 4096 size 10.00GB
   Btrfs Btrfs v0.19


Примонтируем созданный раздел:

   # mount /dev/sdb /mnt

Создадим подраздел и скопируем на него тестовые файлы: 

   # cd /mnt
   # btrfs subvolume create MYFILES

   # cp myfile* /mnt/MYFILES

   # ls /mnt/MYFILES
   myfile1
   myfile2
   myfile3

Удалим один из файлов:

   # rm /mnt/MYFILES/myfile2

   # ls /mnt/MYFILES
   myfile1
   myfile3

Если файлов очень много, то удалять их командой "rm -rf" достаточно долгий и
ресурсоёмкий процесс. В этом случае проще воспользоваться командой удаления подраздела:


   # btrfs subvolume delete MYFILES

При этом важно понимать, что удалить можно только отдельно созданные
подразделы. Подраздел, создаваемый по умолчанию при форматировании ФС, удалению
не подлежит.


Настройка отказоустойчивой конфигурации с зеркалированием на несколько дисков.

Btrfs предоставляет достаточно гибкие средства по зерклированию данных и
расширению доступного пространства раздела. Дополнительные диски можно
подключить в любое время, расширив таким образом размер ФС или обеспечив
отказоустойчивость. По умолчанию при размещении радела на нескольких дисках
осуществляется зеркалирование метаданных на двух дисках, но сами данные
распределяются по данным дискам без резервирования (размер ФС получается равным
суммарному размеру дисков). Если диск один, то  две копии метаданных
размещаются на нём.

Добавим в уже созданный раздел дополнительный диск  /dev/sdc, все данные уже
сохранённые на первом диске останутся на месте, если не выполнить операцию ребалансировки:


   # btrfs device add /dev/sdc /mnt/btrfs

   # btrfs filesystem show

   Label: none  uuid: b4f5c9a8-d8ec-4a5b-84f0-2b8c8d18b257
	Total devices 2 FS bytes used 200.33MB
	devid    1 size 5.00GB used 5.00GB path /dev/sdb
	devid    2 size 5.00GB used 4.98GB path /dev/sdc


Использование RAID 

Btrfs имеет встроенную поддержку нескольких уровней RAID (RAID1, RAID5). В
отличии от обычных программных и аппаратных RAID, Btrfs оперирует не
формированием RAID на уровне дисков, а использует для создания логических RAID
разделов распределение chunk-ов, определяющих дисковую область заданного
размера (от 256 Мб). Каждый chunk может быть отзеркалирован на несколько дисков
или склеен из частей разных дисков. При создании RAID для данных и метаданных
могут применяться разные методы хранения, например, для метаданных и служебных
структур всегда применяется зеркалирование.

Создать RAID заданного уровня для данных и метаданных можно на этапе создания
ФС. Например, создадим RAID1 (зеркало) из двух дисков:

   # mkfs.btrfs -m raid1 -d raid1 /dev/sdb /dev/sdc

   mkfs.btrfs -m raid1 -d raid1 /dev/sdb /dev/sdc
   adding device /dev/sdc id 2
   fs created label (null) on /dev/sdb
	nodesize 4096 leafsize 4096 sectorsize 4096 size 10.00GB
   Btrfs Btrfs v0.19

После чего подключим ещё два диска и создадим RAID10 (зеркало на двух склеенных дисках):

   # mkfs.btrfs -m raid10 -d raid10 /dev/sdd /dev/sde

   adding device /dev/sde id 2
   fs created label (null) on /dev/sdd
	nodesize 4096 leafsize 4096 sectorsize 4096 size 10.00GB
   Btrfs Btrfs v0.19


Опция "-m" задаёт уровень RAID для метаданных, а "-d" для данных. Например,
можно использовать смешанные схемы:


   # mkfs.btrfs -m raid1 -d raid10 /dev/sdf /dev/sdg /dev/sdh /dev/sdi

Обеспечение целостности данных.

Btrfs поддерживает несколько встроенных механизмов обеспечения целостности: 

* Хранение контрольных сумм для проверки блоков данных и метаданных; 

* Изоляция сбоев (отдельное сохранение данных и метаданных с CRC-верификацией); 

* Средства выявления повреждений и их автоматической корректировки (проверка по
контрольным суммам осуществляется при каждом чтении блока, если выявлено
расхождение осуществляется попытка прочитать повреждённый блок с другого диска,
после чего осуществляется корректировка повреждённого блока);

* Поддержка операции фоновой перепроверки всего содержимого ФС (вычисляются и
сверяются контрольные суммы для всех блоков). Для запуска проверки следует выполнить:

   # btrfs scrub start /mnt/MYFILES

* Перестроение RAID при замене или добавлении новых дисков. Отличительной
чертой Btrfs является то, что в перестроении участвуют только занятые блоки,
что существенно сокращает время выполнения операции.

* В настоящее время в Btrfs нет встроенной возможности хранения информации в
зашифрованном виде, но обеспечить шифрование можно путем создания ФС поверх
шифрованных разделов, созданным при помощи подсистем dm_crypt и LUKS.

Использование сжатия данных.

Для оптимизации расходования дискового пространства при хранении хорошо
сжимаемых данных можно использовать встроенные в Btrfs механизмы сжатия.
Поддерживается сжатие методами  Lempel-Ziv-Oberhumer (LZO) или zlib (в
разработке поддержка Snappy и LZ4). Включить сжатие можно после создания ФС, на
этапе монтирования, при этом сжиматься будут только новые данные.

Монтируем раздел с включением сжатия:
 
   # mount -o compress=lzo /dev/sdb /mnt/MYFILES

Сжатие можно включить и для отдельного подраздела:

   # btrfs subvolume create /mnt/MYFILES/mysubvol

   # mount -o compress=lzo,subvol=mysubvol /dev/sdb /mnt/MYSUBVOL


Снапшоты и клонирование.

В рамках снапшота может быть сделан активный срез состояния ФС в заданный
момент времени. В дальнейшем, используя средства миграции данный, сохранённый
снапшот можно восстановить на другой машине. Кроме задействования
дополнительных метаданных снапшон не приводит к дополнительному расходованию
дискового пространства - физически хранится одна копия данных.

Создадим снапшот для ранее созданных данных:

    # ls /mnt/MYFILES
    myfile1
    myfile2

    # btrfs subvolume snapshot /mnt/MYFILES /mnt/SNAPSHOT

    # ls /mnt/SNAPSHOT
    myfile1
    myfile2


Для отдельных фалов можно создавать клоны, которые в отличие от копирования
используют один набор блоков на диске:

    # cp --reflink /mnt/MYFILES/myfile1 /mnt/MYFILES/myfile3

    # ls /mnt/MYFILES
    myfile1
    myfile2
    myfile3

Средства дефрагментации.

Btrfs поддерживает режим автоматической фоновой дефрагментации, активируемый
при помощи опции монтирования "-o autodefrag". Кроме того, дефрагментацию можно
запустить вручную:


   # btrfs filesystem defrag /mnt
 
21.08.2012 , Источник: http://www.oracle.com/technetwork/a...
Ключи: btrfs, snapshot, clone, raid, mirror, defrag / Лицензия: CC-BY
Раздел:    Корень / Администратору / Система / Диски и файлы / Файловые системы

Обсуждение [ Линейный режим | Показать все | RSS ]
  • 1.1, Александр (??), 18:14, 21/08/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Вот мне интересно, вот создали вы снапшот, а может и сотни снапшотов и как узнать что это за снапшоты, чего они снапшотят. Хренатень не доработанная, толи дело ZFS, все есть. Я бы рад эту фс, но она сырая как почка на дереве.
     
     
  • 2.5, Аноним (-), 12:34, 22/08/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > толи дело ZFS, все есть.

    Очередной бсдишнег?


     
     
  • 3.26, Аноним (-), 17:44, 26/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >> толи дело ZFS, все есть.
    > Очередной бсдишнег?

    Им бросили подачку, а они и рады.
    Вот только оракл - не сан, подачек кидать не станет. Так и будут еще 50 лет сидеть без шифрования. Своих разработчиков-то нет.

     
     
  • 4.28, iZEN (ok), 17:50, 26/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >>> толи дело ZFS, все есть.
    >> Очередной бсдишнег?
    > Им бросили подачку, а они и рады.
    > Вот только оракл - не сан, подачек кидать не станет. Так и
    > будут еще 50 лет сидеть без шифрования. Своих разработчиков-то нет.

    GEOM ELI пофигу на ФС — работает под ней. ;)


     
  • 2.25, Аноним (-), 17:43, 26/08/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Вот мне интересно, вот создали вы снапшот, а может и сотни снапшотов и как узнать что это за снапшоты, чего они снапшотят.

    Так же, как и в ZFS.

    А что ZFS - "Хренатень не доработанная", это уже другой вопрос.

     
     
  • 3.27, iZEN (ok), 17:48, 26/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    zfs diff roxy usr local 201208261212 roxy usr local M usr local bin M usr lo... текст свёрнут, показать
     
     
  • 4.39, ананим (?), 22:04, 28/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    http://kuther.net/blog/using-opensuses-snapper-archlinux-manage-btrfs-snapsho
     

  • 1.2, iZEN (ok), 00:04, 22/08/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А как в Btrfs создать RAID-5?
     
     
  • 2.3, pavlinux (ok), 03:35, 22/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Как нех...я делать!

    За три шага!

    1. Купить: http://russia.emc.com/products/detail/hardware/clariion-cx4-model-120.htm
    2. Воткнуть: http://www.qlogic.com/Products/adapters/Pages/FibreChannelAdapters.aspx
    3. Создать: mkfs.xfs /dev/sda1

    Bonus: Крепкий сон, здоровые нервы.

     
     
  • 3.4, Аноним (-), 12:33, 22/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > здоровые нервы.

    Оптимизм - это круто. А в каком месте XFS делает полное журналирование? Или например чексум данных проверяет? А так чтобы на многодисковой конфиге метаданные были распиханы в зеркале на несколько носителей, а данные без резервирования - можно? Так ФС пересобирать быстрее, а не ценные данные можно допустим перезалить заново :).

    Это если уж мы о спокойном сне.

     
     
  • 4.9, pavlinux (ok), 17:35, 22/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >> здоровые нервы.
    > Оптимизм - это круто. А в каком месте XFS делает полное журналирование?
    > Или например чексум данных проверяет?
    > А так чтобы на многодисковой конфиге метаданные были распиханы
    > в зеркале на несколько носителей, а данные без резервирования

    Нахер эти детские поделки, ключевые слова - EMC CLARiiON, а тип ФС там ваще покуй :)


    Зеркалирование http://russia.emc.com/products/detail/software/mirrorview.htm
    Для снапшотов! http://russia.emc.com/products/detail/software/snapview.htm

    В общем http://russia.emc.com/products/index.htm
    ...

     
     
  • 5.10, Аноним (-), 21:41, 22/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Тебя Ынтырпрайз укусил? :)
     
  • 5.11, i (??), 08:34, 23/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    http://www.hds.com/ - все что нужно.
     
     
  • 6.33, RNZ (ok), 13:09, 28/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    знали-бы вы какие бивни разработкой этих ds заняты, никогда бы этого не сказали...
     
  • 5.12, Аноним (-), 08:42, 24/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >>Нахер эти детские поделки, ключевые слова - готовая железка, которая ХЗ сколько стоит

    И чего ты на этом ресурсе забыл? Тебе за деньги все хорошо сделают и в красивой коробочке продадут. Там даже цен нет на сайте. Явный признак трэша. Типа свяжитесь с нами чтоб наш манагер пополоскал вам мозги пол часа прежде чем назвать цену, очевидно завышенную.
    Собственно, понятно, что ты там работаешь и просто попиарился.

     
     
  • 6.18, Аноним (-), 15:18, 24/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > И чего ты на этом ресурсе забыл?

    Троллит он тут, имхо :). И хоть он это делает довольно топорно, не то чтобы совсем уж неуспешно. Ну вот вы например вполне себе купились.

     
  • 6.23, pavlinux (ok), 20:07, 25/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Там даже цен нет на сайте. Явный признак трэша.

    Фу, пля, ацтой,... Ви таки не знаете кто такие EMC??? Гы.  

    EMC - это мировой лидер по СХД и бэкапу.
    EMC - это Vmware. Мировой лидер систем виртуализации.
    EMC - RSA,  Мировой лидер систем защиты информации.

    > Собственно, понятно, что ты там работаешь и просто попиарился.

    По статистике Опеннета, я работаю в: Unigine, Nvidia, EMC, Texas Instruments, Analog Devises, DEC, ФСБ,...  чей-то ещё было.

     
     
  • 7.29, Аноним (-), 07:47, 27/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >> Там даже цен нет на сайте. Явный признак трэша.
    > Фу, пля, ацтой,... Ви таки не знаете кто такие EMC??? Гы.
    > EMC - это мировой лидер по СХД и бэкапу.
    > EMC - это Vmware. Мировой лидер систем виртуализации.
    > EMC - RSA,  Мировой лидер систем защиты информации.
    >> Собственно, понятно, что ты там работаешь и просто попиарился.
    > По статистике Опеннета, я работаю в: Unigine, Nvidia, EMC, Texas Instruments, Analog
    > Devises, DEC, ФСБ,...  чей-то ещё было.

    хорошая статистика, ты не из росстата случаем? :)

     
  • 7.45, Cmp (?), 08:14, 17/09/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Да знаем, знаем, пришла как-то указивка поставить их софт, 2 дня е..ли с зависимостями, с 10-ок конфигов разкиданных тут и там, че куда хз, мануал присланный с указивкой с явными следами копипаста из ворда в ворд с кучей ошибок, на сайте ничего кроме - "это решение для вашего бизнеса", в конце концов установив на сервер Х-сы эту х...ю удалось запустить, и тут она начала требовать ключи... снес,. отписались, - кому надо, пусть сам ставит, либо сервера присылает, либо приезжает - до звезды. Из всего ДВ оно работает только у пары регионов и они понятия не имею как.. на том знакомство с этой компанией и закочилось, надеюсь навсегда.
     
  • 5.41, Aquarius (ok), 23:02, 30/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    [an error occurred while processing this directive]
     
  • 3.14, Аноним (14), 10:40, 24/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Сам это использую (плюс LVM).
    Пока нашел только один недостаток - невозможно уменьшить размер файловой системы.
     
     
  • 4.19, nagual (ok), 10:26, 25/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    У меня как то в LVM улетели данные ... после этого я отношусь к нему с опаской.
     
     
  • 5.20, Andrey Mitrofanov (?), 11:55, 25/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > У меня как то в LVM улетели данные ... после этого я
    > отношусь к нему с опаской.

    А от отсутствия бэкапов -- каждую ночь в хододном просыпаешься, да?

     
  • 3.15, Elhana (ok), 10:55, 24/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А почему тогда не сразу NetApp если деньги девать некуда?
    http://www.netapp.com/us/products/storage-systems/fas2200/
     
     
  • 4.16, Аноним (14), 11:41, 24/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Почемуж сразу некуда? Решение выбирается исходя из имеющихся потребностей и наличиствующих средств. Кроме того момент покупки тоже имеет значение.  Неужели это настолько сложно понять или просто желание потроллить сильнее разума?
     
  • 4.40, anodminus (?), 17:39, 29/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Извините но не удержусь от комента.

    Купили эту нетапину, работает пристойно. и RAID DP есть, и FlashCache на 2ТБ и расширить дополнительными корзинами можно и два хардовых райд-контроллера в дубле очень пристойных и iScsi и FiberChanel и Samba и вообще всё железно ... но!!!!

    Заказывали дополнительные жесткие диски на 2ТБ SATA Hitachi они нам их по 3200$$ за один хард счёт выставили. ЖЭСТЬ! А салазки для ихнего нетаповского пряника ни где не найти! Всё прям как с IBM обстоит, но у тех пластмассовые по 300$ хотябы купить можно...

     
  • 3.21, iZEN (ok), 12:29, 25/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Как нех...я делать!
    > За три шага!
    > 1. Купить: http://russia.emc.com/products/detail/hardware/clariion-cx4-model-120.htm
    > 2. Воткнуть: http://www.qlogic.com/Products/adapters/Pages/FibreChannelAdapters.aspx
    > 3. Создать: mkfs.xfs /dev/sda1
    > Bonus: Крепкий сон, здоровые нервы.

    Не-не-не. Давайте программный рейд-5 покажите в Btrfs как создавать. Я запишу.
    (А может нет его ещё? Тогда зачем про RAID-5 писать в контексте создания RAID-1? "Btrfs имеет встроенную поддержку нескольких уровней RAID (RAID1, RAID5)")

     
     
  • 4.34, Crazy Alex (ok), 15:55, 28/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    У меня BTRFS нет (нафига мне комбайны?), но логика подсказывает, что достаточно в рецепте raid1 на raid5 поменять?
     
  • 4.37, ананим (?), 20:22, 28/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >(А может нет его ещё? Тогда зачем про RAID-5 писать в контексте создания RAID-1? "Btrfs имеет встроенную поддержку нескольких уровней RAID (RAID1, RAID5)")

    так это ты, толличья душа, и написал первым в этой ветке.
    зачем писал? а?
    не трудно догадаться какими соображениями руководствовался. самому не противно?

     

  • 1.6, filosofem (ok), 13:49, 22/08/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Btrfs имеет встроенную поддержку нескольких уровней RAID (RAID1, RAID5)

    Вот с этого места поподробнее.

     
  • 1.7, anonymousX (?), 14:34, 22/08/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >После чего подключим ещё два диска и создадим RAID10 (зеркало на двух склеенных дисках):
    ># mkfs.btrfs -m raid10 -d raid10 /dev/sdd /dev/sde

    Я всегда думал что для raid10 надо как минимум 6 дисков...

     
     
  • 2.8, Аноним (-), 15:55, 22/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Я всегда думал что для raid10 надо как минимум 6 дисков...

    Вас глючило, для этого достаточно 4-х дисков. Догадайтесь сами почему. Если фантазия работает плохо - прогуляйтесь в вику, чтоли.

     
  • 2.30, sanDro (ok), 13:17, 27/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    6 дисков нужно для RAID 50.
     

  • 1.13, Аноним (-), 08:50, 24/08/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Остались такие вопросы:
    1) если ФС размазывается на 2 диска, то как размещаются данные на них? Первый диск заполняется и начинает писаться на второй. При этом файл больше 256МБ может оказаться размазан по двум?
    2) Груб научился с него грузиться? А с подраздела?
    3) сделал я ФС и смонтировал как /, в нем папки, могу ли я подразделы создавать в папке (например /home) а не в другом подразделе. Шифрование пользовательского профиля, которое предлагают всякие убунты (видимо, на уровне файлов) будут работать корректно? Если шифровать весь корень (или блочное устройство) все таки не нужно, то что посоветуете?
     
     
  • 2.17, Аноним (-), 15:15, 24/08/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    1) По дефолту, метаданные ФС резервируются на оба диска, данные - размазываюстя по обоим. Но это можно перенастроить как душе угодно. Но если диск есть - он юзается. Если вам надо его расчистить и изъять из пула, для этого отдельная рукоятка дадена.
    2) Научился. Не проверял.
    3) Если вы хотели спросить, можно ли вынести /home на отдельный subvolume - да, можно. Насчет шифрования - ?? (не проверял)
     
     
  • 3.22, Anonim (??), 20:00, 25/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Спасибо
     
  • 3.31, EugeneT (??), 14:03, 27/08/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    по поводу загрузки с таких разделов, я вот все жду, кто ж из linux-дистрибутивов воспользуется древней идеей (solaris, zfs) апдейтить не себя, а свой снэпшот и, соответственно, пользователь получит возможность загрузиться в старую или новую версию системы.
     
     
  • 4.35, Crazy Alex (ok), 15:57, 28/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Для этого надо сначала толком стабилизировать btrfs. Так что сейчас разве что какой арч такое счудить может.
     
  • 4.38, ананим (?), 20:50, 28/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >по поводу загрузки с таких разделов, я вот все жду, кто ж из linux-дистрибутивов воспользуется древней идеей (solaris, zfs) апдейтить не себя, а свой снэпшот

    а нахрена так делать, если у бтр лучше схема.
    перед обновлением делаешь снэпшот, обновляешься, перегружаешься, если не устраивает, то просто грузишься с этого снэпшота, а старый субволум можешь удаляешь.
    при этом практически все (апт/емердж/рпм) можно настроить делать такой снэпшот перед обновлением автоматом.
    вот тут обсуждали - http://www.opennet.ru/openforum/vsluhforumID3/86056.html#58

    зыж
    всё дело в плохом понимании работы бтр.
    а секрет прост - root (как и другие типа /home, /usr, /opt,..) должен находится в subvolume (а в бтр любой снапшот - это именно субволум).

     
  • 4.44, Stellarwind (?), 16:26, 14/09/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Ничего особо не мешает клонировать пул, потом обновлятся... если не взлетело - грузится с клона.
     

  • 1.24, sig_wall (?), 23:10, 25/08/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    я бы ещё добавил инфы про cp --reflink.
     
     
  • 2.32, Аноним (-), 00:49, 28/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Тогда уж и про ls -l полезной инфы до кучи.
     
     
  • 3.36, ананим (?), 19:38, 28/08/2012 [^] [^^] [^^^] [ответить]  
  • +/
    угу. походу дела и это тоже.
    иначе бы ты эту ахиненю не написал.
     
     
  • 4.42, Аноним (-), 17:13, 08/09/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Зачем писать ахинею, когда можно посочувствовать бедняжкам не способным осилить маны?
     
     
  • 5.43, Anonimus (??), 17:16, 08/09/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Зачем писать ахинею, когда можно посочувствовать бедняжкам не способным осилить маны?

    и часто Вы перечитываете маны? Когда я последний раз читал ман по cp там этой опции не было.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:




    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру