The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы
правила/FAQ
поиск
регистрация
вход
слежка
RSS


Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Опубликована утилита ugrep 5.0 для расширенного поиска в файлах, opennews (??), 18-Фев-24, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


4. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +8 +/–
Сообщение от Аноним (4), 18-Фев-24, 13:29 
Если верить тестам, то ugrep быстрее:

search          -n     -no     -wn     -win     -wino     -c     -wic     -l     -wil
ugrep   0.03     0.03     0.03     0.03     0.03     0.03     0.02     0.03     0.00     0.01
rg      0.03     0.04     0.03     0.05     0.05     0.06     0.03     0.05     0.00     0.02
ag      0.69     0.66     0.40     0.35     0.35     0.35     0.10     0.10     0.10     0.10
ggrep   0.11     0.13     0.15     0.15     0.53     0.53     0.11     0.51     0.00     0.08

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

9. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (5), 18-Фев-24, 14:03 
По тестам и мюсли у авторов быстрее. Я проверял, на практике, рип не более чем на несколько процентов быстрее гну греп -- всё в пределах погрешности в итоге, но, при этом, это жалкий огрызок не являющийся заменой и сравнение даже не было равноценным. Ну и, всё же, чтобы засегфолтить гну греп придётся ещё попотеть.
Ответить | Правка | Наверх | Cообщить модератору

11. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Голум (?), 18-Фев-24, 14:15 
> не более чем на несколько процентов

```
% du -hs .
242M    .
% time grep --color=auto -R test 2>&1 > /dev/null
0,11s user 0,51s system 97% cpu 0,630 total
% time rg -uuu test 2>&1 > /dev/null
0,17s user 0,64s system 718% cpu 0,113 total
```

Да, всего-то на каких-то 500% быстрее. Спасибо многопоточности.

Ответить | Правка | Наверх | Cообщить модератору

13. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  –4 +/–
Сообщение от Аноним (5), 18-Фев-24, 14:19 
Это не равноценно. Если сравнивать в 1 поток (единственное практическое применение) и с регулярками, то всё не так замечательно.
Ответить | Правка | Наверх | Cообщить модератору

14. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +5 +/–
Сообщение от Голум (?), 18-Фев-24, 14:20 
И зачем нужно страдать, используя его в 1 поток?
Ответить | Правка | Наверх | Cообщить модератору

18. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +3 +/–
Сообщение от Аноним (18), 18-Фев-24, 15:03 
А с какого рожна сравнение должно быть равноценным?! Типа сравнивая болид F1 с Москвичем у болида надо движок поменять и шины сдуть?
Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

20. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  –2 +/–
Сообщение от Аноним (5), 18-Фев-24, 15:09 
Тут скорее Ока сравнивается с Мерседесом. Конечно, глупо сравнивать 1 в 1, если возможности и применения разные, но хотелось бы видеть сравнения в том, в чём они выполняют одни и те же функции. И да, Ока ржавая.
Ответить | Правка | Наверх | Cообщить модератору

22. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Голум (?), 18-Фев-24, 15:16 
Ржавая Ока и Мерседес с одинаковой скоростью стоят в пробке. Стоит ли переплачивать?
Ответить | Правка | Наверх | Cообщить модератору

23. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +1 +/–
Сообщение от Аноним (5), 18-Фев-24, 15:20 
> Ржавая Ока и Мерседес с одинаковой скоростью стоят в пробке. Стоит ли
> переплачивать?

Имхо, Ока ломается чаще и неожиданнее. Тут уже личный выбор, стоит ли переплачивать за комфорт и предсказуемость, или же для задач хватит собранной в гараже таратайки, которая будет сыпаться на ходу.

Ответить | Правка | Наверх | Cообщить модератору

61. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от rvs2016 (ok), 19-Фев-24, 00:52 
> Имхо, Ока ломается чаще

Ремонт Мерседеса - дороже.
Это уже 2-я переплата за него.

Ответить | Правка | Наверх | Cообщить модератору

77. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (77), 19-Фев-24, 12:29 
А с жизнью в Оке расстаться проще.
Ответить | Правка | Наверх | Cообщить модератору

46. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от barmaglot (??), 18-Фев-24, 19:18 
Это не только не равноценно, сравнивать прогретый кэш ФС с не прогретым, так ещё и считать не умеет: разница около 100мс , прибавка к производительности ~20% и при этом 8-ми кратное использование ЦПУ у рг. Ну г. как г. ...
Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

48. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +1 +/–
Сообщение от Аноним (-), 18-Фев-24, 19:27 
>> 0,630 total
>> 0,113 total
> так ещё и считать не умеет: разница около 100мс , прибавка к производительности ~20% и
>> 97%
>> 718%
> при этом 8-ми кратное использование ЦПУ у

Сразу виден старый, заслуженный Ветеран-Воен Супротив Раста - забросил в свое время школу, дабы посвятить себя всего защите Земли (и Вселенной) от Ржавой Угрозы!

Правда, это постоянно аукается ...

Ответить | Правка | Наверх | Cообщить модератору

49. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (49), 18-Фев-24, 19:32 
Ага, эти подделают любые тесты лишь бы своего любимчика выгородить. Не раз уже пойманы за руку)
Ответить | Правка | Наверх | Cообщить модератору

89. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от barmaglot (??), 19-Фев-24, 14:51 
Ага, 3.14здеть,  не мешки  ворочать.

Ответ был на вот этот коммент:
'''
% du -hs .
242M .
% time grep --color=auto -R test 2>&1 > /dev/null
0,11s user 0,51s system 97% cpu 0,630 total
% time rg -uuu test 2>&1 > /dev/null
0,17s user 0,64s system 718% cpu 0,113 total
'''

гг: 0.11с юзер тайм + 0.51с систем тайм = 0.62с
рг: 0.17с юзер тайм + 0.64с систем тайм = 0.81с

рг на 23.45% медленнее. И жрёт 718% цпу, при этом тотал оказался 0.113 :):):):):) это каким идиотом нужно быть, чтоб подобние публиковать?

Ответить | Правка | Наверх | Cообщить модератору

44. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +1 +/–
Сообщение от barmaglot (??), 18-Фев-24, 19:14 
Герой, поиск по файловой системе замерил :) И рип запустил вторым на прогретом кэше.
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

12. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (12), 18-Фев-24, 14:16 
Не знаю как ты тестил, у меня на стандартных задачах rg в 2-10 раз быстрее гнугрепа.
Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

15. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  –1 +/–
Сообщение от Аноним (5), 18-Фев-24, 14:22 
Полноценно тестил. Когда хотел ускорить поиск по дереву исходников. Быстрее он только когда есть быстрый случайный доступ. А это не то, что стоит замерять. Вообще, моя главная претензия это низкая надёжность и непредсказуемость.
Ответить | Правка | Наверх | Cообщить модератору

19. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +1 +/–
Сообщение от Аноним (18), 18-Фев-24, 15:06 
Да уже поняли, что ты тестил rg в 1 поток. Хочешь реального прироста - юзай все возможности. Смысл rg в его фичах, а не в том, что там какая-то особая раст-магия, которая делает его быстрее.

Что касается надёжности - хз, года 2 как перешёл с грепа (в том числе в скриптах), проблем не видел.

Ответить | Правка | Наверх | Cообщить модератору

21. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (5), 18-Фев-24, 15:12 
Когда я тестил не в 1 поток, гну греп ушёл вперёд с большим отрывом, а рип работал в разы дольше целиком забивая io.
Ответить | Правка | Наверх | Cообщить модератору

24. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Голум (?), 18-Фев-24, 15:33 
А можно поподробней? На какой версии, с какими ключами, с какими регулярками и на каком наборе файлов проходило исследование? Может, всплыл какой-то специфический баг, который могли и починить уже.
Ответить | Правка | Наверх | Cообщить модератору

25. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (5), 18-Фев-24, 15:36 
Полагаю, дело было в iowait. А когда крашилось, это определённо баги, но мне не настолько интересно.
Ответить | Правка | Наверх | Cообщить модератору

26. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Голум (?), 18-Фев-24, 15:53 
Года за 4 использования не сталкивался ни с крашами, ни с лагами, хотя и длинные сложные регулярки не писал.
Ответить | Правка | Наверх | Cообщить модератору

27. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (5), 18-Фев-24, 16:01 
Странно, я столкнулся в первую же неделю. Правда, и регулярки у меня специфические, а у раста свой наколенный диалект со своими глюками. Но там была зависимость от данных, не каждый файл триггерил, а это явно не дело. Миллионы раз за день вызывается же и нельзя работать только на идеальных, вручную подготовленных данных. В частности, там по-моему были приколы с символом возврата каретки. Как можно не заметить iowait, я не представляю.
Ответить | Правка | Наверх | Cообщить модератору

51. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  –1 +/–
Сообщение от Аноним (12), 18-Фев-24, 23:29 
Где тесты, мань? Где багрепорты? Может хватит врать?
Ответить | Правка | Наверх | Cообщить модератору

55. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +1 +/–
Сообщение от Аноним (5), 18-Фев-24, 23:42 
Мне, в общем-то, всё равно что там фанатки ржавого думают, я уже несколько раз собирал эту дрянь и тратил время, больше не собираюсь. Это определённо самая паршивая программа на ржавчине из существующих.
Ответить | Правка | Наверх | Cообщить модератору

57. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Голум (?), 18-Фев-24, 23:54 
> Это определённо самая паршивая программа на ржавчине из существующих.

Остальные ещё не лучше.

Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

33. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  –1 +/–
Сообщение от Аноним (49), 18-Фев-24, 17:21 
Да очевидно чел просто врёт, потому что очень нравится греп)


Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

35. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Голум (?), 18-Фев-24, 17:36 
Сам посравнивал, в некоторых условиях в пайпе rg получался до 20% медленнее гнугрепа, а сабж – до 50%.
Ответить | Правка | Наверх | Cообщить модератору

52. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  –1 +/–
Сообщение от Аноним (12), 18-Фев-24, 23:30 
Пруфы, конечно же, никто и не думал предоставлять (с) Каневский
Ответить | Правка | Наверх | Cообщить модератору

119. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (119), 21-Фев-24, 16:59 
А потом "Ваши пруфы - не пруфы"(c)
Ответить | Правка | Наверх | Cообщить модератору

31. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (31), 18-Фев-24, 17:05 
У тебя там одноядерный процессор и IDE-диск что ли? Рипгреп для солидных господ с многоядерными системами и NVME.
Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

32. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (49), 18-Фев-24, 17:20 
Ну это просто ложь. Даже в этом треде есть выхлопы. Зачем вводить в заблуждение? Каждый же легко может проверить
Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

34. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  –2 +/–
Сообщение от Аноним (5), 18-Фев-24, 17:24 
В том и пертрушка, что любой может убедиться в правдивости. А если не получилось, тут повод задуматься о смене профессии на более подходящую способностям.
Ответить | Правка | Наверх | Cообщить модератору

53. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (12), 18-Фев-24, 23:33 
Конечно задумайся. Без пруфов приходить к технарям врать - это достойно настоящего гуманитария. РГГУ, держись, идёт подмога.
Ответить | Правка | Наверх | Cообщить модератору

56. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (5), 18-Фев-24, 23:49 
> Конечно задумайся. Без пруфов приходить к технарям врать - это достойно настоящего
> гуманитария. РГГУ, держись, идёт подмога.

Т.е. ты сейчас серьёзно заявляешь, что, по-твоему, многопоточное чтение со случайным доступом будет не хуже последовательного однопоточного, и тебе надо предоставить доказательства обратного? Что у тебя в голове вообще?

Ответить | Правка | Наверх | Cообщить модератору

79. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (77), 19-Фев-24, 12:36 
Тебе уже попытались намекнуть, что всё зависит от условий:
1. Типа носителя. Для SSD в общем случае фрагментированность не играет никакой роли.
2. Наличие файла в кеше.
Ответить | Правка | Наверх | Cообщить модератору

84. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (5), 19-Фев-24, 13:22 
С какой целью кто-то будет намекать очевидное? Вообще, ты ошибаешься, фрагментированность тут не при чём (попробуй найди ещё такой фрагментированный файл), однако, она значительно просаживает производительность чтения, в том числе на ссд (при чём тут вообще ссд, кстати?), поскольку случайное чтение и так очень неэффективное (а данные размазаны по носителю), и уж когда оно параллельное тут прелести во всей красе вылезают. Про кэши глупость какая-то, пожалуй, оставлю без комментариев.
Ответить | Правка | Наверх | Cообщить модератору

82. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от User (??), 19-Фев-24, 12:54 
А "стандартные задачи" это что?
У меня - ну вот выхлоп stdout отфильтровать - уже даже в логи заглянуть задача все более "не стандартная" да и... и примерно все, наверное.
Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

10. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Пользователь планеты Земля (?), 18-Фев-24, 14:14 
я так понимаю для "правильных" тестов нужно знать правильный набор флагов ?
для себя провёл простой тест "без всяких", просто найти слово rust
для более релевантного ответа трижды прогрел(запустил) тест и вывел самый последний.
релевантного потому что при первом тесте ugrep сильно задумался на десяток секунд в то время как ripgrep был быстр с первого же теста.

$ time ug rust
...
________________________________________________________
Executed in    3.12 secs    fish           external
   usr time    8.72 secs  297.00 micros    8.72 secs
   sys time    2.04 secs    0.00 micros    2.04 secs


$ time rg rust
...
________________________________________________________
Executed in   23.43 millis    fish           external
   usr time   36.95 millis  261.00 micros   36.69 millis
   sys time   40.13 millis   77.00 micros   40.05 millis

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

36. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +1 +/–
Сообщение от Заноним (?), 18-Фев-24, 17:37 
"Какие-то неправильные у вас гуси":

$ time grep -R xml ./kitchen 1>/dev/null 2>/dev/null
cpu=99% user=0.053 system=0.495 total=0.550

$ time ug -R xml ./kitchen 1>/dev/null 2>/dev/null
cpu=92% user=0.001 system=0.002 total=0.003

$ time rg xml ./kitchen 1>/dev/null 2>/dev/null  
cpu=1142% user=0.238 system=1.508 total=0.153


Но ugrep из блэкджеком:
$ grep -R xml ./kitchen 2>/dev/null | wc -l
63474

$ ugrep -R xml ./kitchen 2>/dev/null | wc -l
63468

$ rg xml ./kitchen 2>/dev/null | wc -l
63474


Ответить | Правка | Наверх | Cообщить модератору

37. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Заноним (?), 18-Фев-24, 17:55 
А вообще, какая-то дичь в ugrep:

$ time ug -R xml ./kitchen 2>/dev/null | wc -l    
63468
cpu=475% user=0.605 system=2.352 total=0.621
cpu=27% user=0.023 system=0.147 total=0.621

$ time ugrep -R xml ./kitchen 2>/dev/null | wc -l
63468
cpu=968% user=0.331 system=1.196 total=0.158
cpu=48% user=0.010 system=0.066 total=0.157


$ pacman -Qo $(which ugrep)
/usr/bin/ugrep is owned by ugrep 5.0.0-1

$ pacman -Qo $(which ug)  
/usr/bin/ug is owned by ugrep 5.0.0-1

$ sha256sum $(which ug)
84ba767400753ac772df0d87c08f9f5e8e127ec3df1ab3f9367662e1e23a10da  /usr/bin/ug

$ sha256sum $(which ugrep)
f99d9cca69c3846141dad581baf2bad240614490834471b556cffa6e976e929a  /usr/bin/ugrep

Ответить | Правка | Наверх | Cообщить модератору

38. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Пользователь планеты Земля (?), 18-Фев-24, 18:17 
там вообще 4 утилиты, наверное для разных задач
$ pacman -Ql ugrep
...
ugrep /usr/bin/ug
ugrep /usr/bin/ug+
ugrep /usr/bin/ugrep
ugrep /usr/bin/ugrep+

по поводу "неправильных гусей", даже если искать в одном файле у меня всё равно rg быстрее
$ time rg json .bash_history 1>/dev/null 2>/dev/null

________________________________________________________
Executed in    2.18 millis    fish           external
   usr time    0.38 millis  384.00 micros    0.00 millis
   sys time    1.84 millis    0.00 micros    1.84 millis

$ time ug -R json .bash_history 1>/dev/null 2>/dev/null

________________________________________________________
Executed in    3.01 millis    fish           external
   usr time    2.73 millis    0.00 micros    2.73 millis
   sys time    0.32 millis  324.00 micros    0.00 millis

Ответить | Правка | Наверх | Cообщить модератору

47. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от barmaglot (??), 18-Фев-24, 19:24 
Вот как тестировать нужно. рг самый быстрый, т.к. его просто нет! Неуловимый Джо!
[~/test]
> time egrep -R "^test" . >/dev/null 2>&1

real    0m6.464s
user    0m3.913s
sys    0m2.308s

[~/test]
> time egrep -R "^test" . >/dev/null 2>&1

real    0m5.858s
user    0m3.870s
sys    0m1.935s

[~/test]
> time egrep -R "^test" . >/dev/null 2>&1

real    0m5.835s
user    0m3.875s
sys    0m1.907s

[~/test]
> time ug -R "^test" . >/dev/null 2>&1

real    0m1.891s
user    0m0.641s
sys    0m1.228s

[~/test]
> time rg -R "^test" . >/dev/null 2>&1

real    0m0.001s
user    0m0.001s
sys    0m0.000s

[~/test]
> which rg

which: no rg in (...)

[~/test]
> which ug

/usr/bin/ug

Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

40. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Аноним (40), 18-Фев-24, 18:25 
> для себя провёл простой тест "без всяких", просто найти слово rust

Соревнование по дефолтной агрессивности флагов?
Пришлите мне тестовую директорию, соберу утилитку которая обгонит любого конкурента, тестовую директорию и запрос не менять ;)

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

42. "Опубликована утилита ugrep 5.0 для расширенного поиска в фай..."  +/–
Сообщение от Пользователь планеты Земля (?), 18-Фев-24, 19:09 
> Соревнование по дефолтной агрессивности флагов?

нет, просто эмуляция того что например через пару недель мне вдруг нужно будет найти файл где упоминается определённое слово или словосочетание, а это сценарий в 98% случаев, так вот то что вы называете "дефолтная агрессивность флагов" я, да и большинство думаю согласятся, в данном случае, можно назвать разумным выбором дефолтных флагов автором программы. Как по мне, в таких случаях, проще добавить недостающие флаги чем убавить лишние.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей 		Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру