Глен Барбер (Glen Barber) принят (http://freebsdfoundation.blogspot.ru/2013/08/glen-barber-joi...) в штат организации FreeBSD Foundation для работы в режиме полного рабочего дня. Глен стал третьим из пяти технических сотрудников FreeBSD Foundation, которых планируется принять на работу до конца года. Ранее на постоянную работу во FreeBSD Foundation уже приняты Константин Белоусов (https://www.opennet.ru/opennews/art.shtml?num=36402) и Эдвард Томаш Наперала (https://www.opennet.ru/opennews/art.shtml?num=36832).
Глен Барбер вовлечён в проект FreeBSD с 2007 года и в настоящее время является членом команд, ответственных за подготовку релизов и администрирование кластера. Работа во FreeBSD Foundation поможет уделить больше времени развитию проекта, в том числе процессу сборки релизов, портированию для встраиваемых платформ, развитию сборочной инфраструктуры, созданию средств для контроля качества выпусков и формированию образов виртуальных машин для использование FreeBSD в системах виртуализации.
URL: http://freebsdfoundation.blogspot.ru/2013/08/glen-barber-joi...
Новость: https://www.opennet.ru/opennews/art.shtml?num=37771
Больше разработчиков!pkg-ng для бинраных пакетов еще не подготовили?
Что за чушь? pkg-ng всегда был и есть только для бинарных пакетов.
На серверах фри нету подготовленых пакетов
Зато они есть на серверах PCBSD. А вообще, подготавливаются за десять минут с помощью poudriere, вместо того чтобы доверять чьим-то протрояненным сборкам.
Эм... Я как-то считал, что фишка бинарного пакета - как раз в том, что его не надо подготавливать и он собран в предсказуемом окружении, на заведомо хорошем железе, по стандартной процедуре, протестирован, все это подтверждено электронной подписью сборщика... по крайней мере в приличных линуксах это так.
> Эм... Я как-то считал, что фишка бинарного пакета - как раз в том, что его не надо подготавливать и он собран в предсказуемом окружении, на заведомо хорошем железе, по стандартной процедуре, протестирован, все это подтверждено электронной подписью сборщика... по крайней мере в приличных линуксах это так.Так с приходом pkgng и во FreeBSD.
Только вот какое дело:
- предсказуемое окружение = отсутствие вменяемых оптимизационных флагов, а на моих лично задачах это потеря как минимум трети производительности
- (про хорошее железо вообще непонятно зачем ляпнуто - результат от железа не зависит)
- стандартная процедура = куча ненужных в конкретном случае зависимостей и мусора, которые в индивидуальной сборке можно отключить
- подпись сборщика - это пук в лужу, ибо ему лично нет никакого доверия, ни по части отсутствия злонамеренных вставок, ни по части пряморукости, а также нет никакой гарантии что он не взломан
- в любом случае нужно иметь настроенную систему сборки, чтобы не тупить когда понадобится что-то что господа пакетолепители никогда в жизни за вас не сделают - скажем, обновить/откатить версию пакета или добавить патч из апстрима или бэкпортнуть фичу
- вы напрочь забыли про опакечивание внутреннего ПО, а без этого никуда
Да, отсутствие специализированных оптимизаций. Задачи, на которых от этого реально теряется производительность - экзотика. Это я вам как гентушник говорю ;-)Про железо сказано не просто так - кто разок бился как следует о кривые файлы, полученные из-за иногда сбоящей памяти - тот меня поймет.
Подпись сборщика - это подпись сборщика плюс некие гарантии стоящего за ним дистрибутива. Понятно, что одним доверия больше, другим меньше. О людях-сборщиках обычно узнать в сети, и это уже делалось когда дистрибутив принимал их в сборщики. Да и в плане секьюрности нфраструктуре Дебиана у меня гораздо больше доверия чем любым местным умельцам. Просто за счет наличия опыта и приличной формализации процесса. Впрочем, шансов корректно сборать пакет тоже больше у того, кто его уже лет пять собирает и меет фидбек от широкой аудитории. При этом, как правило, имеет место еще и тестирование как самого опакеченного софта, так и его работа в оставе дистрибутива. Опять же - с фидбеком от кучи народу.
Насчет наличия системы сборки спорить не буду - собственно, там, где есть бинарные пакеты, они обычно пересобираются одной командой - но, как по мне, в продакшне самосбора надо всячески избегать при малейшей возможности. По самым разным причинам - от возможной криворукости местного сборщика до проблем с багрепортами и помощью коллег, у которых сборка оказывается совсем другой.
Вот внутреннее ПО - это да, тут опакечивать надо, без вопросов. Но это, опять-таки, очень частный случай.
> Да, отсутствие специализированных оптимизаций. Задачи, на которых от этого реально теряется производительность - экзотика. Это я вам как гентушник говорю ;-)Гентушники ничего не меряют, просто лепят -funroll-loops и внушют себе что видят на глаз разницу в отзывчивости интерфейса. Это конечно бред и когда они это понимают, начинаются вот такие заявления, ровно той же степени безграмотности.
А я мерял свои CPU-bound задачи, выполнения которых я жду хотя бы десяток минут. Флаги дают эффект всегда, часто - значительный. На одной задаче по обработке геоданных которая идёт примерно сутки один только march даёт прирост в 2.3 раза на gcc 4.8.> Про железо сказано не просто так - кто разок бился как следует о кривые файлы, полученные из-за иногда сбоящей памяти - тот меня поймет
Честно, я в жизни не видел серверов без ECC. Если у вас продакшн слеплен на китайских ноутбуках кишащих тараканами, он не будет стабильно независимо от качества пакетов. Если железо нормальное - то и пакеты будут без проблем.
> Подпись сборщика - это подпись сборщика плюс некие гарантии стоящего за ним дистрибутива
"Гарантиями" этими можно разве что подтереться.
> О людях-сборщиках обычно узнать в сети, и это уже делалось когда дистрибутив принимал их в сборщики
Что за бред? Какие ещё люди-сборщики? Пакеты всегда собираются автоматически на кластере. Люди пишут инструкции для этого, и инструкции эти проверяются и тестируются другими людьми. По этим же инструкциям пакеты можно собрать локально. Так что про опыт и фидбек - несусветная чушь.
> По самым разным причинам - от возможной криворукости местного сборщика до проблем с багрепортами и помощью коллег, у которых сборка оказывается совсем другой.
Что за бред? "Местный сборщик" - такой же софт, которым собирает пакеты дистрибутив. Окружение ровно то же. Разницы никакой не будет, за исключением доверия к инфраструктуре и гибкости.
> Так с приходом pkgng и во FreeBSD.Только пакетов нет, что делает это начинание массой лулзов. Висит груша - нельзя скушать.
> - предсказуемое окружение = отсутствие вменяемых оптимизационных флагов, а на моих лично
> задачах это потеря как минимум трети производительностиЭто что за задачи таике? Майнинг биткоинов чтоли? Так там opencl рулит, которого у фряшников все-равно нет. Или у вас рендер-ферма?
> - стандартная процедура = куча ненужных в конкретном случае зависимостей и мусора,
> которые в индивидуальной сборке можно отключитьКого это вообще колышет на типичном серваке, а? Заморачиваться оптимизацией есть смысл когда это дает ощутимый результат. Экономия 5 мегабайтов на терабайтном диске? Бессмысленно и беспощадно. И совсем иной коленкор если мы сэкономим мегабайт в 16-меговой флешке роутера, например.
> - подпись сборщика - это пук в лужу, ибо ему лично нет никакого доверия,
Ну если вы не доверяете поставщику софта - дело дрянь. Он и в исходники софта бэкдор впихнет. Только не надо рассказывать что вы вообще все сорсы перечитываете при пересборке лично.
> а также нет никакой гарантии что он не взломан
Зато есть гарантии что промежуточные узлы не впихнут какой-то левак. И just in case понятно кому претензии выдвигать. А так поди разберись кто там троянскую вставку воткнул. Сборщик скажет что это не он, хакер на серваке вообще помолчит в тряпочку, MITM на проводе ехидно посмеется, но никто не услышит, etc.
> - вы напрочь забыли про опакечивание внутреннего ПО, а без этого никуда
А вот с этим у бсдшников как обычно вышел былинный отказ...
> Только пакетов нет, что делает это начинание массой лулзов. Висит груша - нельзя скушать.Читайте выше.
> Это что за задачи таике? Майнинг биткоинов чтоли? Так там opencl рулит, которого у фряшников все-равно нет. Или у вас рендер-ферма?
Читайте выше.
> Кого это вообще колышет на типичном серваке, а? Заморачиваться оптимизацией есть смысл когда это дает ощутимый результат. Экономия 5 мегабайтов на терабайтном диске? Бессмысленно и беспощадно. И совсем иной коленкор если мы сэкономим мегабайт в 16-меговой флешке роутера, например.
Не 5, а как минимум нескольких десятков. Умножь на десяток виртуальных машин/jail'ов и скажи "до свидания" своему терабайтному диску. А вообще, речь шла не только про сервера - на десктопе, например, куча мусора мне не нужна число по эстетическим причинам, на ноуте - по причине нехватки места. Про роутер вы сами сказали.
> Ну если вы не доверяете поставщику софта - дело дрянь. Он и в исходники софта бэкдор впихнет. Только не надо рассказывать что вы вообще все сорсы перечитываете при пересборке лично.
Что такое "поставщик софта"? В данном случае есть автор и упаковщик. Автору я, предположим доверяю, и на исходники всегда смотрит достаточно народу, в том числе и другие авторы. Кроме того, да - мы проводим аудит некоторой части исходников. Упаковщик же сводит всё это на нет, являясь "единой точной отказа" где можно посадить троян, и не важно насколько чистые исходники было до него. На выходе у него - бинарники, которые проверить нельзя. По этим же причинам он, даже не являясь злонамеренным сам, будет первой целью злоумышленников. Примеров это подтверждающих уже была немерено.
> Зато есть гарантии что промежуточные узлы не впихнут какой-то левак.
Какие ещё промежуточные узлы? Упаковщик - и всё что было до него - и есть тот "промежуточный узел", и там можно впихнуть что угодно где угодно.
> А так поди разберись кто там троянскую вставку воткнул. Сборщик скажет что это не он, хакер на серваке вообще помолчит в тряпочку, MITM на проводе ехидно посмеется, но никто не услышит, etc.
Ну вы сами всё сказали. Приятно когда оппонент подтверждает мои слова - уже второй раз за пост, кстати.
> А вот с этим у бсдшников как обычно вышел былинный отказ...
Что? Из всего что я видел, порты имеют самый простой и логичный синтаксис, так что с ними как раз былинный вин, практика это подтверждает. Коллега из Яндекса тоже не так давно рассказывал что у них всё внутреннее на FreeBSD'шной инфраструктуре обёртывают в порты и проблем не знают.
Да даже и не свое, а чужое, но требующее особых патчей и/или опций компиляции, лучше заворачивать в метапорты.
> Читайте выше.И что я там должен прочитать? Какие-то левые кивки в сторону PC-BSD? Пфф, это как если бы дебианщики какие-нибудь слали меня брать пакеты в линукс минт. Несерьезно.
> Читайте выше.
Вижу какие-то абстрактные мямления про вычислительные задачи. Но что за задачи - упорно скрывается. Извольте уж разъяснить что это за задачи такие или хотя-бы сослаться на место где вы это уже сделали (если я чего-то пропустил). Пока это выглядит как фанатовский булшит где решение пытаются подогнать под ответ.
> Не 5, а как минимум нескольких десятков.
И как это мерялось? Идите вон с openwrt посоревнуйтесь - еще вопрос у кого там десятки мегабайтов лишних окажутся в результате ;). А то этот линух спокойно лезет в 4Мб флешку. Бзди набодаешься до сравнимой степени утрамбовывать. А где там аналоги squashfs? Не вижу.
> Умножь на десяток виртуальных машин/jail'ов
> и скажи "до свидания" своему терабайтному диску.Вы так говорите, как будто ваши велики местечковой фирмы - единственные на свете. Но увы, жестоко разочарую вас: минимальные образа/темплейты бывают не только для фряхи. Точнее, для фряхи их скорее как раз готовых и не бывает, потому что jail в XXI веке нафиг не упали на фоне более приличных контейнерных систем, а виртуализации в том виде каком ее все хотят - в *BSD можно считать что вообще нет. Есть какие-то потуги, но результата который можно развернуть здесь и сейчас - как обычно...
> А вообще, речь шла не только про сервера - на десктопе, например, куча мусора мне
> не нужна число по эстетическим причинам,Вот именно поэтому мне нафиг не уперлись исходники какого-нить опенофиса и перекомпилежка всего этого лично. Мне удобнее быстро и без грабель воткнуть бинарный пакет и забыть об этом. А личный аудит исходников опеонфиса - это, конечно, прекрасно, но сколько на это надо человеко-часов?
> на ноуте - по причине нехватки места.
Еще скажите что у вас нормально работает все оборудование ноута. Особенно если это не совсем доисторический чемодан с пылью.
> Про роутер вы сами сказали.
Да, у меня там openwrt живет. Можете с ним посоревноваться на предмет "кто компактнее и функциональнее", если кишка не тонка. Заодно не забудьте похвастать сколько SoC ваша фряха поддерживает.
> аудит некоторой части исходников. Упаковщик же сводит всё это на нет,
Простите, вы каждую программу лично получаете от ее автора? И как это выглядит на практике? Приходит автор и приносит вам на сидюке (флешке, HDD...) заведомо исправную копию программы? Или вы к автору сами ездите? (летаете, плаваете, ...).
> являясь "единой точной отказа" где можно посадить троян,Теоретически можно. Практически наличие цифровых подписей это дело существенно усложняет как раз. А вот как вы получаете программы "лично от автора", проверив что добрый дядя по пути не завернул DNS, не сменил пару файлов на прозрачном прокси и прочая - мне совсем не очевидно. Объезжать всю планету с винчом чтобы взять у всех авторов заведомо правильную копию мне как-то напряжно, а аудит штуки размером с тот же фрибсдшный кернель или опенофрс - ну удачи, верю-верю что вы целиком проштудировали их. Единолично, конечно же :)
> и не важно насколько чистые исходники было до него. На выходе у него -
> бинарники, которые проверить нельзя.А исходники размером с кернел фрибзди вы лично перечитаете? И, конечно, сервера не могут хакнуть? (ага, а перевод серверов в оффлайн - это что было?). И програмеров не ломанут. С их то putty.exe и прочими вьюжлстудиями - ну да, верю.
> По этим же причинам он, даже не являясь злонамеренным сам, будет первой целью злоумышленников.
> Примеров это подтверждающих уже была немерено.А чем серваки фрибсды хуже в этом плане? Или что предлагается? Не качать готовые системы вообще? Окей, тогда самой секурной системой будет LFS - все скачаем сами, лично. И сами все соберем. Правда с таким подходом тоже случаются фэйлы. Например можно почитать про приколы от AcidBitchez, которые известны тем что расхакали нескольких авторов программ. Автор более-менее популярной программы - сам по себе неплохая мишень. Так что и тут счастья нет.
> Какие ещё промежуточные узлы?
Ну как какие, обычные. Вон весь интернет - таковыми является. Вы сюда пишете, а трафф через эн промежуточных роутеров сюда завалился. И если кто из них захочет пропатчить немного этот траффик - в принципе ничто тому не мешает.
> Упаковщик - и всё что было до него - и есть тот "промежуточный узел",
> и там можно впихнуть что угодно где угодно.Ну с таким подходом - вы уже конечно же получили заведомо правильные исходники всех программ от авторов? Путем личного визита к авторам, разумеется. А то мало ли что в интернете MITMы всякеие подсунут. И уж конечно вы просто обязаны провести бесплатную проверку и дезинфекцию всем авторам софта :)
> Ну вы сами всё сказали. Приятно когда оппонент подтверждает мои слова -
> уже второй раз за пост, кстати.Ну да, в вашей схеме все проще - вместо анализа проблемы на нее просто забили болт. В случае цифровой подписи крайний известен, если что - его репутации крышка. При скачке пакета/взломе сервака подпись не даст подделать пакет, впарив левизну. А у некоторых вообще никак не проверяется что это такое, откуда взялось, действительно ли это то на что оно претендует, etc. Если парочка файлов по пути креативно запатчится - никто никак это не проверяет. Во замечательно - лечение проблемы методом страуса. Спрятал голову в песок - все, проблемы не видно :).
> Что? Из всего что я видел, порты имеют самый простой и логичный
> синтаксис, так что с ними как раз былинный вин,Оно и видно, что даже апачи с яхами стали уже факи некоторым показывать. Вин он такой. С putty.exe.
> них всё внутреннее на FreeBSD'шной инфраструктуре обёртывают в порты и проблем
> не знают.Наверное именно поэтому они перевели кучу всего кроме поиска на линух, ага.
> - предсказуемое окружение = отсутствие вменяемых оптимизационных флагов,
> а на моих лично задачах это потеря как минимум трети производительностиЗамените уже свой первопень на amd64. :)
>> - предсказуемое окружение = отсутствие вменяемых оптимизационных флагов,
>> а на моих лично задачах это потеря как минимум трети производительности
> Замените уже свой первопень на amd64. :)Миш, ну не всегда ж заменить можно. я бы вот с удовольствием старый arm на N900 обновил, и памяти бы докинул хотя бы гектар. но…
мало ли, какие у человека задачи и почему не получается.
>> Замените уже свой первопень на amd64. :)
> Миш, ну не всегда ж заменить можно.Это была неуклюжая попытка намекнуть, что разнообразие и вес флагов на нынешнем x86_64 заметно отличается от такового на x86 (или даже i386+), поэтому и довод про потерю производительности стоит как минимум перепроверить, если он не свежайший.
сорри, виноват. не понял идеи.
> На серверах фри нету подготовленых пакетовВ каком смысле?
> Больше разработчиков!... для демона разработчиков!
Virtio поддерживает? Насколько хорошо?
Глен Барбер не поддерживает Virtio
> Глен Барбер не поддерживает VirtioАппаратно поддерживает, просто под фряху для него нет драйверов.
в HEAD версии почти допилен
> в HEAD версии почти допиленHEAD Глена Барбера?
Создаётся впечатление, что Глена Барбера регулярно бьют по голове и он близок к тому, чтобы согласиться поддерживать Virtio.
https://wiki.freebsd.org/WhatsNew/FreeBSD10Committed to -CURRENT
"virtio" is the name for the paravirtualization interface developed for the Linux KVM, but since adopted to other virtual machine hypervisors (with the notable exception of Xen). This work brings in a BSD-licensed clean-room implementation of the virtio kernel drivers for disk (block and SCSI) IO, network IO, PCI and memory ballooning. Tested with on Qemu/KVM, VirtualBox, and BHyVe.
Мне тут коллеги подсказывают что работает замечательно.
> Virtio поддерживает? Насколько хорошо?В портах есть.
Неправильный заголовок новости.
FreeBSD увеличила штат разработчиков на 50%
"Астрологи провозгласили месяц полутора землекопов. Население полутора землекопов удвоилось!"
а я каждый месяц перечисляю в фонд по 10$
Это правильно. Каждый, кого опен-сорс кормит, должен поддерживать деньгами подобные проекты.
>Во FreeBSD Foundation трудоустроен третий разработчикВсе так печально... а по виду и не скажешь.
> Все так печально... а по виду и не скажешь.Да вон Владимир Ильич лежит себе уже почти век. "А по виду и не скажешь".
теперь, наконец-то, они смогут соображать на троих.
Белоус, Бобёр и Наперала :D
> Белоус, Бобёр и Наперала :DЛебедь, рак и щука.