<?xml version="1.0" encoding="koi8-r"?>
<rss version="0.91">
<channel>
    <title>OpenForum RSS: Раздел полезных советов: Ускорение пересборки llama.cpp</title>
    <link>https://opennet.ru/openforum/vsluhforumID3/139144.html</link>
    <description>При работе с llama.cpp имеется постоянная необходимость её пересобирать, так как в отличие от ONNX Runtime GGUF-файлы не хранят сериализованный граф вычислений, вместо этого процедура инференса вручную кодится в C++-коде, и за счёт применения информации, которую в ONNX обычно не сериализуют (ONNX обычно экспортируется автоматически, но знания можно туда встроить, если закодировать конструирование ONNX-графа вручную), может быть достигнута большая эффективность (по потреблению ресурсов) инференса. &lt;br&gt;&lt;br&gt;Это приводит к тому, что для того, чтобы исполнять модель на llama.cpp необходимы усилия программистов. В большинстве случаев каждая новая модель обладает уникальной архитектурой, и в большинстве случаев её поддержка кодится в проект сотрудниками компании-разработчика самой модели, если компания нуждается в продвижении своих моделей (зачастую такие модели распространяются под проприетарной лицензией, запрещающей коммерческое использование без заключения договора, при этом они закрывают некоторые потребности тех, </description>

<item>
    <title>Ускорение пересборки llama.cpp (Аноним)</title>
    <link>https://opennet.ru/openforum/vsluhforumID3/139144.html#25</link>
    <pubDate>Mon, 20 Apr 2026 06:25:22 GMT</pubDate>
    <description>Если ты не собрался конвертить модели в GGUF - не требует. Если собрался ... так ВНЕЗАПНО все эти модели созданы фреймворками на питоне, и читаются обычно этими самыми же фреймворками. А для llama-cli и llama-server питон необязателен.&lt;br&gt;</description>
</item>

<item>
    <title>Ускорение пересборки llama.cpp (Аноним)</title>
    <link>https://opennet.ru/openforum/vsluhforumID3/139144.html#24</link>
    <pubDate>Sun, 19 Apr 2026 21:41:34 GMT</pubDate>
    <description>К чему столько слов? Отошли патчи сам.&lt;br&gt;</description>
</item>

<item>
    <title>Ускорение пересборки llama.cpp (Аноним)</title>
    <link>https://opennet.ru/openforum/vsluhforumID3/139144.html#23</link>
    <pubDate>Sun, 19 Apr 2026 21:40:35 GMT</pubDate>
    <description>&amp;gt; на питоне ... вспомогательные утилиты&lt;br&gt;&lt;br&gt;- Уже ведь требует установку этого zog-высера...&lt;br&gt;&lt;br&gt;/мимопроходил&lt;br&gt;</description>
</item>

<item>
    <title>Ускорение пересборки llama.cpp (Аноним)</title>
    <link>https://opennet.ru/openforum/vsluhforumID3/139144.html#22</link>
    <pubDate>Sun, 19 Apr 2026 21:20:37 GMT</pubDate>
    <description>Тоже самое что и если только 1 день с магазина. Любое устройство/комп - конь, троянский .)&lt;br&gt;</description>
</item>

<item>
    <title>Ускорение пересборки llama.cpp (Tron is Whistling)</title>
    <link>https://opennet.ru/openforum/vsluhforumID3/139144.html#21</link>
    <pubDate>Sat, 18 Apr 2026 06:53:07 GMT</pubDate>
    <description>У них бывает.&lt;br&gt;Взяли васянский образ, развасянили, ляп-тяп в продакшн.&lt;br&gt;Потом оно свалилось, но к тому моменту за васяном идти уже некому - герой уже сбежал.&lt;br&gt;И на его месте - новый герой, который пошёл к другому васяну, модному на данный момент.&lt;br&gt;А потом финансы берут состояние проектов и рисуют красивые зелёные графики красным цветом.&lt;br&gt;</description>
</item>

<item>
    <title>Ускорение пересборки llama.cpp (myster)</title>
    <link>https://opennet.ru/openforum/vsluhforumID3/139144.html#20</link>
    <pubDate>Wed, 08 Apr 2026 14:51:59 GMT</pubDate>
    <description>&amp;gt; там можно пакетами обойтись&lt;br&gt;&lt;br&gt;Никто не пакетирует стандартный продукционный софт, разрабатываемый внутри компаний. Это просто никому не нужно было даже до контейнеров, а с появлением контейнеров и подавно.&lt;br&gt;</description>
</item>

<item>
    <title>Ускорение пересборки llama.cpp (Аноним)</title>
    <link>https://opennet.ru/openforum/vsluhforumID3/139144.html#19</link>
    <pubDate>Tue, 24 Mar 2026 14:35:41 GMT</pubDate>
    <description>Не понимаю о чём вы, там jinja на c++ переписана, что большая RCE-уязвимость, на питоне только вспомогательные утилиты, весь инференс идёт на C++, Cuda, OpenCL и SPIR-V.&lt;br&gt;</description>
</item>

<item>
    <title>Ускорение пересборки llama.cpp (Аноним)</title>
    <link>https://opennet.ru/openforum/vsluhforumID3/139144.html#18</link>
    <pubDate>Sat, 21 Mar 2026 09:39:16 GMT</pubDate>
    <description>&amp;gt; Все патчи можно скачать единым архивом. Архив имеет 2 директории,&lt;br&gt;&amp;gt; в одной патчи для ускорения пересборки&lt;br&gt;&lt;br&gt;А вы не могли бы хотя-бы избавление от питона закинуть в основной проект?&lt;br&gt;</description>
</item>

<item>
    <title>Ускорение пересборки llama.cpp (q)</title>
    <link>https://opennet.ru/openforum/vsluhforumID3/139144.html#13</link>
    <pubDate>Wed, 11 Feb 2026 06:57:33 GMT</pubDate>
    <description>&amp;gt; FIDO2 и Windows Hello.&lt;br&gt;&lt;br&gt;Не слышал про такие вещи, хотя и пользуюсь гитхабом. Может я на каком-то другом гитхабе? А даже если бы мне их там впаривали, я бы просто игнорировал. (Да, так тоже можно было.)&lt;br&gt;&lt;br&gt;&amp;gt; ради стада пользователей&lt;br&gt;&lt;br&gt;Ну вот в твоем нарративе есть некое стадо, а есть весь такой индивидуум Ты, который не такой, как все. Прикольный нарратив, я и сам в подростковом возрасте таким баловался. Но со стороны я вижу, что в стаде тусуются куда более талантливые представители индустрии (включая например Торвальдса, создающего личные репы именно на гитхабе), а ты просто пишешь корявые статьи, отправленные не по адресу. То есть я твой нарратив воспринимаю с иронией. С моей точки зрения, ты рассказываешь самому себе сказки о собственной исключительности. И ладно, если бы они были для ЧСВ -- мы все 24/7 рассказываем самим себе историю о самих себя. Твой же нарратив не столько повышает ЧСВ, сколько понижает КПД, -- вот что забавно. От нарратива должна быть осязаемая польза.&lt;br&gt;&lt;br&gt;&amp;gt; купить какой приказано кам</description>
</item>

</channel>
</rss>
