forum.opennet.ru - "Как создать crosscompiled репозиторий для NETBSD?" (10)

"Как создать crosscompiled репозиторий для NETBSD?"

Форум Оптимизация и Промышленные системы (Разное)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Как создать crosscompiled репозиторий для NETBSD?"	+/–
Сообщение от IdeaFix (ok), 26-Фев-20, 20:26
Собственно сабж. Хочется построить свой бинарный репозиторий пакетов под NetBSD. Мотивация простая - NetBSD, одна из немногих ОС, которая (не для продакшена) может быть установлена в очень похожей конфигурации (набор системного и прикладного ПО, тестов) на широкий спектр архитектур. Т.е. фактически, можно в лоб сравнить ARM, MIPS, SPARC, SPARC64, ALPHA, HPPA, ITANIUM ну и эти ваши пентиумы в 7zip. Конечно я упрощаю, но задачка примерно такая. Скорость сборки пакетов на хосте Sparc Classic (или raspberry pi) не доставляет. Совсем. В готовых репозиториях многие пакеты по каким то причинам отсутствуют, а порой, отсутствуют целые репозитории под конкретные версии NetBSD для конкретных архитектур. К разработчикам претензий нет.. понятно что в третьей декаде 21-го века SPARC32 нужен чуть более чем никому, но.. вот переводы фаерфокса на все языки в репозиториях есть (потому, что собрались!) а фаерфокса нет (потому, что не собрался!). Ну а теперь собственно вопрос. Существует ли что-то, более подробное чем это https://wiki.netbsd.org/tutorials/pkgsrc/pbulk/ для описания решения задачи? Естественно, собирать хочется на мощной X86 машине с 64 тредами, 256 памяти и быстрым диском под одну или несколько НЕ X86 архитектур. Публиковаться всё это будет локально по FTP, поэтому момент публикации не очень важен, важна сборка. Как это всё наладить с минимумом неудачных попыток?
Ответить \| Правка \| Cообщить модератору

Оглавление

Есть дневные сборки уже бинарные, выбирай любую удачно скомпилированную http , izyk (ok), 00:27 , 27-Фев-20, (1)

Это немного не то Вернее, совсем не то Сравните к примеру это http nycdn ne, IdeaFix (ok), 07:34 , 27-Фев-20, (2)

На сколько я помню, все руководства в NetBsd устаревшие, если не полность, то си, izyk (ok), 21:39 , 27-Фев-20, (3)

Это не божественный генту, который имеет хендбуки возрастом 10 лет, которые был, IdeaFix (ok), 09:34 , 28-Фев-20, (4)

Ну что же, кросскомпил вроде настроился Настроился по компиляции двух руководст, IdeaFix (ok), 23:44 , 29-Фев-20, (5)
А я продолжаю продолжать В принципе, если в usr pkgsrc сделать make package , IdeaFix (ok), 12:36 , 05-Мрт-20, (6)
Хмм видимо, кросскомпильнуть перл от которого зависит опенссл, от которого за, IdeaFix (ok), 18:53 , 05-Мрт-20, (7)
Ну а я продолжаю продолжать https forum ixbt com post cgi id attach 76 11765, IdeaFix (ok), 22:36 , 06-Мрт-20, (8)
Некий промежуточный итог Скорость конечно выше чем на Sparc Classic, памяти кон, IdeaFix (ok), 18:06 , 08-Мрт-20, (9)
По факту всё грустно Значительная часть ПО не кросскомпилируется на X86 Значит, IdeaFix (ok), 21:44 , 14-Мрт-20, (10)

Сообщения [Сортировка по времени | RSS]

1. "Как создать crosscompiled репозиторий для NETBSD?" +/–

Сообщение от izyk (ok), 27-Фев-20, 00:27

Есть дневные сборки уже бинарные, выбирай любую удачно скомпилированную.
http://releng.netbsd.org/cgi-bin/builds.cgi
Snapshots can be downloaded from http://nycdn.netbsd.org/pub/NetBSD-daily/
А это уже сам:
http://www.netbsd.org/docs/guide/en/chap-build.html

Ответить | Правка | Наверх | Cообщить модератору

2. "Как создать crosscompiled репозиторий для NETBSD?" +/–

Сообщение от IdeaFix (ok), 27-Фев-20, 07:34

> Есть дневные сборки уже бинарные, выбирай любую удачно скомпилированную.
> http://releng.netbsd.org/cgi-bin/builds.cgi
> Snapshots can be downloaded from http://nycdn.netbsd.org/pub/NetBSD-daily/
> А это уже сам:
> http://www.netbsd.org/docs/guide/en/chap-build.html
Это немного не то. Вернее, совсем не то. Сравните к примеру это: http://nycdn.netbsd.org/pub/NetBSD-daily/netbsd-8/2020022400.../ и ftp://ftp.netbsd.org/pub/pkgsrc/packages/NetBSD/sparc/8.0_20.../
По первой ссылке минимальная ОС, по второй - набор пакетов. Мне нужно как раз второе и оно в общем описано тут https://wiki.netbsd.org/tutorials/pkgsrc/pbulk/ но во-первых, в NETBSD9 оно в принципе как-то не так работает, как описано, а во-вторых, вопрос кросскомпиляции для меня остался открытым после прочтения нескольких мануалов: о том, как сделать локальный пакетный репозиторий, о том, как скомпилировать ОДИН пакет под другую платформу и пр.

Ответить | Правка | Наверх | Cообщить модератору

3. "Как создать crosscompiled репозиторий для NETBSD?" +/–

Сообщение от izyk (ok), 27-Фев-20, 21:39

> По первой ссылке минимальная ОС, по второй - набор пакетов. Мне нужно
> как раз второе и оно в общем описано тут https://wiki.netbsd.org/tutorials/pkgsrc/pbulk/
> но во-первых, в NETBSD9 оно в принципе как-то не так работает,
> как описано, а во-вторых, вопрос кросскомпиляции для меня остался открытым после
> прочтения нескольких мануалов: о том, как сделать локальный пакетный репозиторий, о
> том, как скомпилировать ОДИН пакет под другую платформу и пр.
На сколько я помню, все руководства в NetBsd устаревшие, если не полность, то сильно, в лучшем случае указывают направления. Нужно смотреть исходники, проверять, исправлять слать запросы на изменения, в том числе документации. Там никто никому не должен, каждый пилит что то своё, никто не мешает пилить своё, а если поделишься, то с удовольствуем принимают помощь.
Лучше написать в лист рассылки наиболее подходящий для вашего вопроса https://www.netbsd.org/mailinglists/ Думаю netbsd-ports: или pkgsrc-users: там лучше подскажут, если, то что вы хотите не что то странное. Если понравится кому-нибудь важному, то могут на google summer даже вынести ваш проект. Только лучше без претензий, с вашей стороны, люди выкладывают результаты своей работы бесплатно и с разрешением воспользоваться.

Ответить | Правка | Наверх | Cообщить модератору

4. "Как создать crosscompiled репозиторий для NETBSD?" +/–

Сообщение от IdeaFix (ok), 28-Фев-20, 09:34

> На сколько я помню, все руководства в NetBsd устаревшие, если не полность,
> то сильно, в лучшем случае указывают направления. Нужно смотреть исходники, проверять,
> исправлять слать запросы на изменения, в том числе документации. Там никто
> никому не должен, каждый пилит что то своё, никто не мешает
> пилить своё, а если поделишься, то с удовольствуем принимают помощь.
Это не божественный генту, который имеет хендбуки возрастом 10+ лет, которые были не достоверны 10+ лет назад :) Тут всё более или менее в норме, просто порог вхождения высоковат.
> Лучше написать в лист рассылки наиболее подходящий для вашего вопроса https://www.netbsd.org/mailinglists/
> Думаю netbsd-ports: или pkgsrc-users: там лучше подскажут, если, то что вы
> хотите не что то странное. Если понравится кому-нибудь важному, то могут
> на google summer даже вынести ваш проект. Только лучше без претензий,
> с вашей стороны, люди выкладывают результаты своей работы бесплатно и с
> разрешением воспользоваться.
Вот как-то тяжело мне было в мейлинг лист написать, реально не осилил, вернее, осилил в итоге, но ответа нет уже неделю. Майнтейнеры портов тоже молчат.

В итоге, кажется разобрался как кросскомпилить и собирать пакеты по одному, а не весь репозиторий, но опять наткнулся на тактическую проблему - овер дофига софта зависит от openssl 1.1.1, а я не могу его собрать ибо он что-то пытается делать с x86 ассемблером в спарке. Дело явно в криво настроенной кросскомпиляции, т.к. в репозитриях собранный пакет есть... но я не могу найти информацию о том, как это всё настроить правильно.
[UPD] Поправочка, в репозиториях пакета нет... там 1.0 а не 1.1.1. Грустно.
Альфа по факту отскочила хоть с какого-то прдакшена из-за x86 ассемблера в libgl, спарк давно не на проде, но неужели его окончательно закопает асм в опенссл?:)

Ответить | Правка | Наверх | Cообщить модератору

5. "Как создать crosscompiled репозиторий для NETBSD?" +/–

Сообщение от IdeaFix (ok), 29-Фев-20, 23:44

Ну что же, кросскомпил вроде настроился. Настроился по компиляции двух руководств:
Общее - https://www.netbsd.org/docs/guide/en/chap-fetch.html
Частное для кросскомпила - https://ftp.netbsd.org/pub/pkgsrc/current/pkgsrc/doc/HOWTO-u...
Результаты так себе:
1. pkgsrc не может собрать openssl (libressl может), а на openssl завязано пол системы. Поддержка говорит что это проблема pkgsrc (не верно интерпретируются архтектурно-зависимые асм вставки).
2. pkgsrc не может собрать gcc - путается в патчах. Тут уже багу не вешал...
Складывается ощущение что Tier II - это уже система на боку... у меня в принципе есть Sparc64, с которым экспериментировать будет даже удобнее по многим причинам, но думаю, что даже не смотря на Tier I, там тоже всё будет печально :(

Ответить | Правка | Наверх | Cообщить модератору

6. "Как создать crosscompiled репозиторий для NETBSD?" +/–

Сообщение от IdeaFix (ok), 05-Мрт-20, 12:36

А я продолжаю продолжать....
В принципе, если в /usr/pkgsrc сделать make package и предварительно всё настроить, то в общем в /usr/pkgsrc/packages.sparc если повезет, появится всё то, что должно.
Посмотрел состав архива pkgsrc и зависимости (вот тут не понятно, буду пробовать), и кажется исходники 2019Q3 содержат в себе openssl 1.0.2, который собирается, в отличии от 1.1.1 в 2019Q4.
Так же логичным, но от того не менее удивительным для меня стал тотф акт что 200GB как-то не хватило на всё про всё... нарезал в виртуалку терабайт, стартую сборку 2019Q3 :)

Ответить | Правка | Наверх | Cообщить модератору

7. "Как создать crosscompiled репозиторий для NETBSD?" +/–

Сообщение от IdeaFix (ok), 05-Мрт-20, 18:53

Хмм.. видимо, кросскомпильнуть перл (от которого зависит опенссл, от которого зависит пол системы) и питон (от которого заисит чутьм еньше, но всё равно овер дофига) действительно сложно. Немнгочисленные гайдописатели говорят что проще собрать нативно... чота как-то грустно. Весь такой от аикса до соляры сорцовый пакетный менеджер на поверку оказывается полной шляпой... ну и мои навыки тоже.

Ответить | Правка | Наверх | Cообщить модератору

8. "Как создать crosscompiled репозиторий для NETBSD?" +/–

Сообщение от IdeaFix (ok), 06-Мрт-20, 22:36

Ну а я продолжаю продолжать :)
https://forum.ixbt.com/post.cgi?id=attach:76:11765:4:1.png
Эмулирую вроде как SparcStation5 с процом на 170 мегагерц. В QEMU я не очень разбираюсь, но тест 7za b показывает превосходство над моим железным SparcClassic примерно в 10-15 раз... но это всё равно уровень первопня :) Посмотрим, пройдёт ли make configure в /usr/pkgsrc/security/openssl :)

Ответить | Правка | Наверх | Cообщить модератору

9. "Как создать crosscompiled репозиторий для NETBSD?" +/–

Сообщение от IdeaFix (ok), 08-Мрт-20, 18:06

Некий промежуточный итог. Скорость конечно выше чем на Sparc Classic, памяти конечно вчетверо больше, и диск. Но всё равно, очень медленно.
https://ideafix.name/?p=4509

Ответить | Правка | Наверх | Cообщить модератору

10. "Как создать crosscompiled репозиторий для NETBSD?" +/–

Сообщение от IdeaFix (ok), 14-Мрт-20, 21:44

По факту всё грустно. Значительная часть ПО не кросскомпилируется на X86. Значительная часть ПО не компилируется в qemu (нет фактической поддержки, неудовлетворённые зависимости), как хотя бы повторить результат, доступный на ftp ресурсе pkgsrc и почему на этом ресурсе нет овер дофига пакетов, которые собираются - вопрос открытый.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Как создать crosscompiled репозиторий для NETBSD?"	+/–
Сообщение от izyk (ok), 27-Фев-20, 00:27
Есть дневные сборки уже бинарные, выбирай любую удачно скомпилированную. http://releng.netbsd.org/cgi-bin/builds.cgi Snapshots can be downloaded from http://nycdn.netbsd.org/pub/NetBSD-daily/ А это уже сам: http://www.netbsd.org/docs/guide/en/chap-build.html
Ответить \| Правка \| Наверх \| Cообщить модератору


	2. "Как создать crosscompiled репозиторий для NETBSD?"	+/–
	Сообщение от IdeaFix (ok), 27-Фев-20, 07:34
	> Есть дневные сборки уже бинарные, выбирай любую удачно скомпилированную. > http://releng.netbsd.org/cgi-bin/builds.cgi > Snapshots can be downloaded from http://nycdn.netbsd.org/pub/NetBSD-daily/ > А это уже сам: > http://www.netbsd.org/docs/guide/en/chap-build.html Это немного не то. Вернее, совсем не то. Сравните к примеру это: http://nycdn.netbsd.org/pub/NetBSD-daily/netbsd-8/2020022400.../ и ftp://ftp.netbsd.org/pub/pkgsrc/packages/NetBSD/sparc/8.0_20.../ По первой ссылке минимальная ОС, по второй - набор пакетов. Мне нужно как раз второе и оно в общем описано тут https://wiki.netbsd.org/tutorials/pkgsrc/pbulk/ но во-первых, в NETBSD9 оно в принципе как-то не так работает, как описано, а во-вторых, вопрос кросскомпиляции для меня остался открытым после прочтения нескольких мануалов: о том, как сделать локальный пакетный репозиторий, о том, как скомпилировать ОДИН пакет под другую платформу и пр.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "Как создать crosscompiled репозиторий для NETBSD?"	+/–
	Сообщение от izyk (ok), 27-Фев-20, 21:39
	> По первой ссылке минимальная ОС, по второй - набор пакетов. Мне нужно > как раз второе и оно в общем описано тут https://wiki.netbsd.org/tutorials/pkgsrc/pbulk/ > но во-первых, в NETBSD9 оно в принципе как-то не так работает, > как описано, а во-вторых, вопрос кросскомпиляции для меня остался открытым после > прочтения нескольких мануалов: о том, как сделать локальный пакетный репозиторий, о > том, как скомпилировать ОДИН пакет под другую платформу и пр. На сколько я помню, все руководства в NetBsd устаревшие, если не полность, то сильно, в лучшем случае указывают направления. Нужно смотреть исходники, проверять, исправлять слать запросы на изменения, в том числе документации. Там никто никому не должен, каждый пилит что то своё, никто не мешает пилить своё, а если поделишься, то с удовольствуем принимают помощь. Лучше написать в лист рассылки наиболее подходящий для вашего вопроса https://www.netbsd.org/mailinglists/ Думаю netbsd-ports: или pkgsrc-users: там лучше подскажут, если, то что вы хотите не что то странное. Если понравится кому-нибудь важному, то могут на google summer даже вынести ваш проект. Только лучше без претензий, с вашей стороны, люди выкладывают результаты своей работы бесплатно и с разрешением воспользоваться.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "Как создать crosscompiled репозиторий для NETBSD?"	+/–
	Сообщение от IdeaFix (ok), 28-Фев-20, 09:34
	> На сколько я помню, все руководства в NetBsd устаревшие, если не полность, > то сильно, в лучшем случае указывают направления. Нужно смотреть исходники, проверять, > исправлять слать запросы на изменения, в том числе документации. Там никто > никому не должен, каждый пилит что то своё, никто не мешает > пилить своё, а если поделишься, то с удовольствуем принимают помощь. Это не божественный генту, который имеет хендбуки возрастом 10+ лет, которые были не достоверны 10+ лет назад :) Тут всё более или менее в норме, просто порог вхождения высоковат. > Лучше написать в лист рассылки наиболее подходящий для вашего вопроса https://www.netbsd.org/mailinglists/ > Думаю netbsd-ports: или pkgsrc-users: там лучше подскажут, если, то что вы > хотите не что то странное. Если понравится кому-нибудь важному, то могут > на google summer даже вынести ваш проект. Только лучше без претензий, > с вашей стороны, люди выкладывают результаты своей работы бесплатно и с > разрешением воспользоваться. Вот как-то тяжело мне было в мейлинг лист написать, реально не осилил, вернее, осилил в итоге, но ответа нет уже неделю. Майнтейнеры портов тоже молчат. В итоге, кажется разобрался как кросскомпилить и собирать пакеты по одному, а не весь репозиторий, но опять наткнулся на тактическую проблему - овер дофига софта зависит от openssl 1.1.1, а я не могу его собрать ибо он что-то пытается делать с x86 ассемблером в спарке. Дело явно в криво настроенной кросскомпиляции, т.к. в репозитриях собранный пакет есть... но я не могу найти информацию о том, как это всё настроить правильно. [UPD] Поправочка, в репозиториях пакета нет... там 1.0 а не 1.1.1. Грустно. Альфа по факту отскочила хоть с какого-то прдакшена из-за x86 ассемблера в libgl, спарк давно не на проде, но неужели его окончательно закопает асм в опенссл?:)
	Ответить \| Правка \| Наверх \| Cообщить модератору

5. "Как создать crosscompiled репозиторий для NETBSD?"	+/–
Сообщение от IdeaFix (ok), 29-Фев-20, 23:44
Ну что же, кросскомпил вроде настроился. Настроился по компиляции двух руководств: Общее - https://www.netbsd.org/docs/guide/en/chap-fetch.html Частное для кросскомпила - https://ftp.netbsd.org/pub/pkgsrc/current/pkgsrc/doc/HOWTO-u... Результаты так себе: 1. pkgsrc не может собрать openssl (libressl может), а на openssl завязано пол системы. Поддержка говорит что это проблема pkgsrc (не верно интерпретируются архтектурно-зависимые асм вставки). 2. pkgsrc не может собрать gcc - путается в патчах. Тут уже багу не вешал... Складывается ощущение что Tier II - это уже система на боку... у меня в принципе есть Sparc64, с которым экспериментировать будет даже удобнее по многим причинам, но думаю, что даже не смотря на Tier I, там тоже всё будет печально :(
Ответить \| Правка \| Наверх \| Cообщить модератору

6. "Как создать crosscompiled репозиторий для NETBSD?"	+/–
Сообщение от IdeaFix (ok), 05-Мрт-20, 12:36
А я продолжаю продолжать.... В принципе, если в /usr/pkgsrc сделать make package и предварительно всё настроить, то в общем в /usr/pkgsrc/packages.sparc если повезет, появится всё то, что должно. Посмотрел состав архива pkgsrc и зависимости (вот тут не понятно, буду пробовать), и кажется исходники 2019Q3 содержат в себе openssl 1.0.2, который собирается, в отличии от 1.1.1 в 2019Q4. Так же логичным, но от того не менее удивительным для меня стал тотф акт что 200GB как-то не хватило на всё про всё... нарезал в виртуалку терабайт, стартую сборку 2019Q3 :)
Ответить \| Правка \| Наверх \| Cообщить модератору

7. "Как создать crosscompiled репозиторий для NETBSD?"	+/–
Сообщение от IdeaFix (ok), 05-Мрт-20, 18:53
Хмм.. видимо, кросскомпильнуть перл (от которого зависит опенссл, от которого зависит пол системы) и питон (от которого заисит чутьм еньше, но всё равно овер дофига) действительно сложно. Немнгочисленные гайдописатели говорят что проще собрать нативно... чота как-то грустно. Весь такой от аикса до соляры сорцовый пакетный менеджер на поверку оказывается полной шляпой... ну и мои навыки тоже.
Ответить \| Правка \| Наверх \| Cообщить модератору

8. "Как создать crosscompiled репозиторий для NETBSD?"	+/–
Сообщение от IdeaFix (ok), 06-Мрт-20, 22:36
Ну а я продолжаю продолжать :) https://forum.ixbt.com/post.cgi?id=attach:76:11765:4:1.png Эмулирую вроде как SparcStation5 с процом на 170 мегагерц. В QEMU я не очень разбираюсь, но тест 7za b показывает превосходство над моим железным SparcClassic примерно в 10-15 раз... но это всё равно уровень первопня :) Посмотрим, пройдёт ли make configure в /usr/pkgsrc/security/openssl :)
Ответить \| Правка \| Наверх \| Cообщить модератору

9. "Как создать crosscompiled репозиторий для NETBSD?"	+/–
Сообщение от IdeaFix (ok), 08-Мрт-20, 18:06
Некий промежуточный итог. Скорость конечно выше чем на Sparc Classic, памяти конечно вчетверо больше, и диск. Но всё равно, очень медленно. https://ideafix.name/?p=4509
Ответить \| Правка \| Наверх \| Cообщить модератору

10. "Как создать crosscompiled репозиторий для NETBSD?"	+/–
Сообщение от IdeaFix (ok), 14-Мрт-20, 21:44
По факту всё грустно. Значительная часть ПО не кросскомпилируется на X86. Значительная часть ПО не компилируется в qemu (нет фактической поддержки, неудовлетворённые зависимости), как хотя бы повторить результат, доступный на ftp ресурсе pkgsrc и почему на этом ресурсе нет овер дофига пакетов, которые собираются - вопрос открытый.
Ответить \| Правка \| Наверх \| Cообщить модератору