Ради интереса передал фильтр через временный файл, jq всё равно фейлится, если он больше 70кб. В общем, смысла трогать не было, это не юзабельно в таком виде, хоть и быстрее.

Ладно, если ты видишь проблему, ты можешь её решить. Пока что разбил на блоки по 50кб. Посмотрим, зато добавил какую-никакую недостающую логику обработки фейла и сохранения данных вокруг jq.

Это 15мб повторяющихся данных блоками по 50кб (обновляет 17кб данных можно посчитать сколько раз), интересно было бы сравнить эффективность, если скормить одним фильтром, но не очень. Я так прикинул, собственно на вызов jq тут ушло 23 секунды из 7 минут. Лучше, видимо, не получится:

gcc (пго старый под строки 100байт)

real    7m45.175s
user    7m20.088s
sys     0m3.645s

gcc (O2 lto)
real    7m45.812s
user    7m21.456s
sys     0m3.542s

gcc (O2 pgo+lto)

real    7m22.190s
user    7m6.515s
sys     0m3.059s

clang (O2 lto=thin, без харденед фишечек)

real    7m9.484s
user    6m44.182s
sys     0m3.512s

clang (O3 lto-full, максимально близко к gcc версии, минус stack-clash-protection)

real    7m8.272s
user    6m45.443s
sys     0m3.455s

ПС. Компилять гораздо веселее, чем костылять баш.