forum.opennet.ru

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Оглавление

Yandex опубликовал статический анализатор файлов конфигураци..., opennews (ok), 11-Май-17, (0) [смотреть все] +1

Статический анализ, статический анализ везде Методология растёт и ширится И , Andrey_Karpov (ok), 23:18 , 11-Май-17, (1) –4 //

А вы почему раньше Яндекса ничего не сделали , Анонистый калий (?), 23:27 , 11-Май-17, (4) +1 //

Потому-что внимательно читает документацию по настройке нгинкса И описанные аля , Sw00p aka Jerom (?), 02:04 , 12-Май-17, (6) +2 //

Yandex распался несколько лет назад Многие крутые дяди и тети , которые там ра, Аноним (-), 07:15 , 12-Май-17, (14) +2

ну потому там и мигрировали на бунту - , тигар (ok), 09:05 , 12-Май-17, (17) –1

У тебя комплекс неполноценности , Аноним (-), 09:36 , 12-Май-17, (20) –2

обоснуй , тигар (ok), 09:47 , 12-Май-17, (22) –2

Ну да, а во фрю коммитят чисто из альтруистических соображений code commit fed9, Аноним (-), 18:33 , 12-Май-17, (31)

ну не нужно путать NOCов и проектных админов Вменяемые проектные закончились , тигар (ok), 18:53 , 12-Май-17, (32)

если присмотреться к патчам - там далеко не один ae - просто не всем дано напря, пох (?), 19:55 , 12-Май-17, (35)

речь выше шла о конкретной компании и там реально мало кого осталось с коммит-б, тигар (ok), 21:37 , 12-Май-17, (36)

работать приходится, да, а не развивать опенсорсе в рабочее время, кризис гово, пох (?), 00:22 , 14-Май-17, (42)

чтение документации совершенно не помогает от ошибок и с недефолтным тоже Это в, пох (?), 09:35 , 12-Май-17, (19) +3

анализатор конфигов asterisk Если Вы про диалплан, то рассматривать работать с , PnDx (ok), 13:56 , 12-Май-17, (24)

если работать как с программой на нечеловеческом языке, не уверен что анализатор, пох (?), 14:15 , 12-Май-17, (26)

http nginx org ru docs http ngx_http_proxy_module html proxy_set_headerВнимате, Sw00p aka Jerom (?), 17:20 , 12-Май-17, (30)

осспди вы вообще конфиги нетривиальных систем-то видели хоть по телевизору я, пох (?), 19:39 , 12-Май-17, (33)

Я другой аноним не видел Можете показать примерчик, чтоб понимать, о чём речь, Аноним (-), 22:26 , 12-Май-17, (37)

список рассылки нгинкса вам в помощь там куча нетривиальных конфигов, иногда , Sw00p aka Jerom (?), 01:00 , 13-Май-17, (40)

я что-то очень сомневаюсь, что вы там увидите хоть один кусок конфига крупных пр, пох (?), 10:24 , 14-Май-17, (45)

не, не могу - даже если б унес на память, там потроха конкурента яндекса, унылые, пох (?), 00:41 , 14-Май-17, (43)

хех с основания нгинкса вижу ток они не содержат логику приложенийв принципе , Sw00p aka Jerom (?), 00:54 , 13-Май-17, (39)

Потому что опенсорс живёт по принципу DIY do it yourself Вот новичок боится з, anonymous (??), 09:24 , 12-Май-17, (18)

Только использовать для этого Питон - это надо себя сильно не любить У вас там , Vkni (ok), 06:05 , 12-Май-17, (12) –5 //

так говорю же эт тока ИБ-ещники так любят питон, вот и накалякали анализатор на , Sw00p aka Jerom (?), 01:04 , 13-Май-17, (41)

ммм, NGINX-Studio, kai3341 (ok), 23:21 , 11-Май-17, (2) +2 //

Между прочим, масса ниш ещё не занято Выбирай и делай И анализаторы потихоньку, Andrey_Karpov (ok), 23:26 , 11-Май-17, (3) +1 //

Техническая сингулярность всё ближе Вокруг куча способов прострелить себе ногу , kai3341 (ok), 23:39 , 11-Май-17, (5) +2 //

Да еще вспомнити npm leftpad , Аноним (-), 05:17 , 12-Май-17, (8) –3

Да Только сложно, извините, поляну не испоганить В науке, к которой OSS по сво, Vkni (ok), 06:08 , 12-Май-17, (13) +2

хорошо было бы вдобавок выпустить анализатор кода анализатора файлов конфигураци, Аноним (-), 02:22 , 12-Май-17, (7)
Проверил Ошибок нет Непонятно, то ли конфиги хорошие, то ли тулза плохая , Аноним (-), 05:59 , 12-Май-17, (10) //

Просто тулза - не панацея В статье описано, что она проверяет Неправильно скон, Аноним (-), 09:02 , 12-Май-17, (16) +1 //

зависит от того, что такое неправильный Не так заполняет переменные - не выяв, пох (?), 09:40 , 12-Май-17, (21) //

Ты каждый раз, когда тебе нужны регексы, пишешь свой парсер , Аноним (-), 13:49 , 12-Май-17, (23)

Тебе в данном случае нужны не регексы в общем виде, а _проверка_ что написанное , пох (?), 14:01 , 12-Май-17, (25)

libpcre libastral решат проблему Правда лицензия на libastral дороговата, но , Аноним (-), 14:58 , 12-Май-17, (27)

еще раз, медленно pcre не помогает анализировать регексы, совсем Так же как си-, пох (?), 16:34 , 12-Май-17, (28)

А что в них анализировать-то, в регексах Ну, допустим, можно отсеять регексы, к, Аноним (-), 16:41 , 12-Май-17, (29)

для начала, как обычно - typical human error, когда написано одно, а подразумева, пох (?), 19:48 , 12-Май-17, (34)

Вот я и спрашиваю, что это за ошибки такие могут быть, что их можно отловить без, Аноним (-), 00:21 , 13-Май-17, (38)

я ж говорю - я, слава Аллаху, не девоп, мои ошибки могут быть нереферрентными Н, пох (?), 00:59 , 14-Май-17, (44)

Сообщения [Сортировка по времени | RSS]

1. "Yandex опубликовал статический анализатор файлов конфигураци..." –4 +/–

Сообщение от Andrey_Karpov (ok), 11-Май-17, 23:18

Статический анализ, статический анализ везде....
Методология растёт и ширится. И это неизбежно. Сложность и размер программных проектов растёт и чем дальше, тем сложнее будет обходиться без вспомогательных средств статического анализа. Просто невозможно уже всё знать, помнить и иметь возможность просмотреть.

Ответить | Правка | Наверх | Cообщить модератору

4. "Yandex опубликовал статический анализатор файлов конфигураци..." +1 +/–

Сообщение от Анонистый калий (?), 11-Май-17, 23:27

А вы почему раньше Яндекса ничего не сделали?

Ответить | Правка | Наверх | Cообщить модератору

6. "Yandex опубликовал статический анализатор файлов конфигураци..." +2 +/–

Сообщение от Sw00p aka Jerom (?), 12-Май-17, 02:04

Потому-что внимательно читает документацию по настройке нгинкса.
И описанные аля мисконфигурейшен не страшен локалхостам с дефолтовым конфигом, просто складывается такое ощущение, что в яндексе криворукие нгинкс админы, вот и написали этот анализатор, а написали - ИБешники, как я понял.

Ответить | Правка | Наверх | Cообщить модератору

14. "Yandex опубликовал статический анализатор файлов конфигураци..." +2 +/–

Сообщение от Аноним (-), 12-Май-17, 07:15

>в яндексе криворукие нгинкс админы
Yandex распался несколько лет назад. Многие крутые дяди (и тети), которые там работали с начала 2000х разошлись в разные стороны. А современный Yandex это уровень студентов и школоты. Доказательства этому будут все чаще и чаще появляться.
Ах да, криворукие у них не только админы. Удивил HR с психическим расстройством. Были все признаки панической атаки, когда не дал ему ответ в течении нескольких дней.

Ответить | Правка | Наверх | Cообщить модератору

17. "Yandex опубликовал статический анализатор файлов конфигураци..." –1 +/–

Сообщение от тигар (ok), 12-Май-17, 09:05

>>в яндексе криворукие нгинкс админы
> Yandex распался несколько лет назад. Многие крутые дяди (и тети), которые там
> работали с начала 2000х разошлись в разные стороны. А современный Yandex
> это уровень студентов и школоты. Доказательства этому будут все чаще и
> чаще появляться.
ну потому там и мигрировали на *бунту ;-)

Ответить | Правка | Наверх | Cообщить модератору

20. "Yandex опубликовал статический анализатор файлов конфигураци..." –2 +/–

Сообщение от Аноним (-), 12-Май-17, 09:36

У тебя комплекс неполноценности.

Ответить | Правка | Наверх | Cообщить модератору

22. "Yandex опубликовал статический анализатор файлов конфигураци..." –2 +/–

Сообщение от тигар (ok), 12-Май-17, 09:47

> У тебя комплекс неполноценности.
обоснуй;)

Ответить | Правка | Наверх | Cообщить модератору

31. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от Аноним (-), 12-Май-17, 18:33

> ну потому там и мигрировали на *бунту ;-)
Ну да, а во фрю коммитят чисто из альтруистических соображений:

commit fed97f3094ee0c71bc2ae864dce888257108122c
Author: ae <ae@FreeBSD.org>
Date:   Mon Apr 17 09:42:05 2017 +0000
    MFC r316435:
      Add ipfw_pmod kernel module.
...

      Obtained from:        Yandex LLC
      Relnotes:     yes
      Sponsored by: Yandex LLC
      Differential Revision:        https://reviews.freebsd.org/D10150
commit 7a6d766f1284a41887dd6302256d4bb01df92e5c
Author: ae <ae@FreeBSD.org>
Date:   Mon Apr 17 09:36:35 2017 +0000
    MFC r316434:
      Add O_EXTERNAL_DATA opcode support.

      This opcode can be used to attach some data to external action opcode.
      And unlike to O_EXTERNAL_INSTANCE opcode, this opcode does not require
   ...
      Obtained from:        Yandex LLC
      Sponsored by: Yandex LLC
commit 1f5f6e71571eeaab683b65e91887222f4a6ece97
Author: ae <ae@FreeBSD.org>
Date:   Mon Apr 3 08:50:54 2017 +0000
    MFC r304041:
      Move logging via BPF support into separate file.

      * make interface cloner VNET-aware;
      * simplify cloner code and use if_clone_simple();
      * migrate LOGIF_LOCK() to rmlock;
      * add ipfw_bpf_mtap2() function to pass mbuf to BPF;
...
      Obtained from:        Yandex LLC
      Sponsored by: Yandex LLC
MFC r304046, 304108:
      Add ipfw_nat64 module that implements stateless and stateful NAT64.

      The module works together with ipfw(4) and implemented as its external
      action module
commit ae659ef435156d011821295969f63c5f4dcfb1d2
Author: ae <ae@FreeBSD.org>
Date:   Mon Apr 3 07:40:38 2017 +0000
    MFC r307570:
      Add support for non-contiguous IPv6 masks in ipfw(8) rules.

      For example fe::640:0:0/ffff::ffff:ffff:0:0 will match
      addresses fe:*:*:*:0:640:*:*

      Submitted by: Eugene Mamchits <mamchits at yandex-team dot ru>
      Obtained from:        Yandex LLC
      Sponsored by: Yandex LLC
commit ab3e7e42d2f4196cc40513ff5d86b05bb15355e8
Author: ae <ae@FreeBSD.org>
Date:   Thu Mar 30 14:20:27 2017 +0000
    MFC r303018:
      Add named dynamic states support to ipfw(4).

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

32. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от тигар (ok), 12-Май-17, 18:53

>> ну потому там и мигрировали на *бунту ;-)
> Ну да, а во фрю коммитят чисто из альтруистических соображений:
>

> commit fed97f3094ee0c71bc2ae864dce888257108122c
> Author: ae <ae@FreeBSD.org>
..
>

ну не нужно путать NOCов и проектных админов. Вменяемые проектные закончились - набрали убунтоголовых и как-то живут.
Закончится ae@ (и еще 1 товарищ) в ноках - наймут цискоголовых убунтоводов - мигрируют и там.
p.s. до этого еще melifaro@ был там же где и ae@. был.

Ответить | Правка | Наверх | Cообщить модератору

35. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от пох (?), 12-Май-17, 19:55

если присмотреться к патчам - там далеко не один ae@ - просто не всем дано напрямую комитить (или не у всех есть столько лишнего времени).
Кстати, недавно случилось чудо: https://svnweb.freebsd.org/base?view=revision&revision=316770 - кто в теме, оценит
- это ж сколько, лет десять уже, наверное?

Ответить | Правка | Наверх | Cообщить модератору

36. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от тигар (ok), 12-Май-17, 21:37

> если присмотреться к патчам - там далеко не один ae@ - просто
> не всем дано напрямую комитить (или не у всех есть столько
> лишнего времени).
речь выше шла о конкретной компании. и там реально мало кого осталось с коммит-битом в порты/src фри. а раньше ребята из поиска были, давно:)
> Кстати, недавно случилось чудо: https://svnweb.freebsd.org/base?view=revision&revision=316770
> - кто в теме, оценит
> - это ж сколько, лет десять уже, наверное?
не скажу, что прямо капец как в теме, но от момента обсуждения бага в рассылке uafug и до того коммита прошло с недельку, примерно, включая стадии "у меня не работает вот так" "а попробуй вот так" "о, работает" и "попробуй патч (от ae@)" "ага. так тоже все работает!"
багу, то, может и Х лет, но где же Ваш забытый багрепорт о нем?

Ответить | Правка | Наверх | Cообщить модератору

42. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от пох (?), 14-Май-17, 00:22

> речь выше шла о конкретной компании. и там реально мало кого осталось с коммит-битом
работать приходится, да, а не "развивать опенсорсе" в рабочее время, кризис говорят в стране какой-то.
Я говорил про тех, чьи имена упоминаются в патчах и репортах, хотя они и не могут коммитить - их существенно больше одного. То есть где-то в недрах яндекса пара (десятков ;-) фрей видимо еще уцелела, как и тех, кто умеет их готовить.
А глобально выбор в сторону линухов был еще в 2011м, как минимум (впрочем, полагаю, на самом деле гораздо раньше).
> не скажу, что прямо капец как в теме
видимо, совсем не. Это (ломание csum offload) очень хорошо натоптанные грабли, то есть просто вот все, кто когда либо делал vpn-сервера (и не только) на фре, либо сами по лбу получали, либо уже были в курсе. И оно так с совсем незапамятных времен было.
> но где же Ваш забытый багрепорт о нем
мертвых PR без патчей (да и с патчами, пришедшимися не ко двору) и без меня мильен с тыщами. А уж тем более по неинтересной мне фигне.
Тут забавно было как раз то, что человек в теме, пробегая мимо, походя поправил то, что все привычно перешагивали.

Ответить | Правка | Наверх | Cообщить модератору

19. "Yandex опубликовал статический анализатор файлов конфигураци..." +3 +/–

Сообщение от пох (?), 12-Май-17, 09:35

> Потому-что внимательно читает документацию
чтение документации совершенно не помогает от ошибок.
> И описанные аля мисконфигурейшен не страшен локалхостам с дефолтовым конфигом
и с недефолтным тоже. Это верно. В трех недефолтных строках очень сложно ошибиться.
Пока конфиг можно прочитать, пару раз нажав pg-dn, ошибки в нем бывают в основном те, которые nginx -t покажет. А когда он громадный, потому что система, ну надо же, посложнее твоего локалхоста не в разы, а на пару порядков - то очень быстро превращается в очень запутанный ком спагетти. Там и собственно структура конфига весьма этому помогает, но в первую очередь - сложность задачи, которая очень маловероятно имеет простые решения.
И оно именно что может работать, до определенного момента, вылезая в каких-то специфических случаях, которые не так просто или совсем нельзя протестировать "вживую".
В общем, кто писал конфиги для больших систем, тому это и так понятно, а у кого локалхост, на тех пофиг, какие б нынче плохие не были в яндексе hr'ы, вас все равно туда не возьмут на должность, предполагающую хоть какое-то самостоятельное мышление.
P.S. напишите уже кто-нибудь анализатор конфигов asterisk, 1.4-style хотя бы. Без lua ;-)

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

24. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от PnDx (ok), 12-Май-17, 13:56

"анализатор конфигов asterisk"
Если Вы про диалплан, то рассматривать/работать с ним, как с конфигом — фатальная ошибка. Последствия которой я изредка разбираю, делая терпилам разбор слива через какой-нибудь freepbx|asterisknow.
У себя в профильной конторе я делал по этому поводу ORM, открытая часть выложена в районе https://github.com/ds-voix/VX-PBX/tree/master/UPSERT https://github.com/ds-voix/VX-PBX/tree/master/VX
("Закрытая" часть содержит ряд известных ошибок и (до их исправления) на github публиковаться не будет.)

Ответить | Правка | Наверх | Cообщить модератору

26. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от пох (?), 12-Май-17, 14:15

> "анализатор конфигов asterisk"
> Если Вы про диалплан, то рассматривать/работать с ним, как с конфигом —
> фатальная ошибка.
если работать как с программой на нечеловеческом языке, не уверен что анализатор от этого проще станет писать.
> У себя в профильной конторе я делал по этому поводу ORM, открытая
ну, может для профильной конторы это и метод (а кто будет писать анализатор уже теперь исходного формата? ;-)
для отдельно взятого админа, которому приходится возиться с унаследованными системами, вряд ли подойдет. (ну да, можно, конечно, подождать пока там на пару лямов переговоров с Парагваем набежит)

Ответить | Правка | Наверх | Cообщить модератору

30. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от Sw00p aka Jerom (?), 12-Май-17, 17:20

>>чтение документации совершенно не помогает от ошибок.
http://nginx.org/ru/docs/http/ngx_http_proxy_module.html#pro...
Внимательное чтение этого уже защитит от спуфинга Host заголовка
>>то очень быстро превращается в очень запутанный ком спагетти.
какой ком ? какой спагетти код ? программировать на конфигах нгинкса не нужно, не нужна на нём никакая логика вынесенная из контроллеров приложения.

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

33. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от пох (?), 12-Май-17, 19:39

> Внимательное чтение этого уже защитит от спуфинга Host заголовка
осспди... вы вообще конфиги нетривиальных систем-то видели хоть по телевизору?
(я уж молчу, что "от спуфинга хост заголовка" в принципе ничего не защитит, не надо ему доверять вообще, если ты его не сам только что установил - но это генитальным программистам еще надо суметь разжевать)
>>>то очень быстро превращается в очень запутанный ком спагетти.
> какой ком ? какой спагетти код ? программировать на конфигах нгинкса не
в общем, админ локалхоста детeктед.
> нужно, не нужна на нём никакая логика вынесенная из контроллеров приложения.
вас не будут в яндексе спрашивать, что нужно, а что не нужно. И ни в одном более-менее крупном проекте тоже не будут, это не яндекс такой плохой. Некоторые, не будем показывать пальцем, еще и на lua туда писают.
P.S. интересно, среди чудо-скриптов есть скрипт проверки на "квадратик" ?

Ответить | Правка | Наверх | Cообщить модератору

37. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от Аноним (-), 12-Май-17, 22:26

> вы вообще конфиги нетривиальных систем-то видели
Я (другой аноним) не видел. Можете показать примерчик, чтоб понимать, о чём речь?

Ответить | Правка | Наверх | Cообщить модератору

40. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от Sw00p aka Jerom (?), 13-Май-17, 01:00

>> вы вообще конфиги нетривиальных систем-то видели
> Я (другой аноним) не видел. Можете показать примерчик, чтоб понимать, о чём
> речь?
список рассылки нгинкса вам в помощь )) там куча нетривиальных конфигов, иногда ржачных

Ответить | Правка | Наверх | Cообщить модератору

45. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от пох (?), 14-Май-17, 10:24

> список рассылки нгинкса вам в помощь
я что-то очень сомневаюсь, что вы там увидите хоть один кусок конфига крупных проектов, и совершенно уверен, что не увидите его целиком, что позволило бы оценить масштабы бедствия.
локалхост админы, такие локалхост админы - думают, что то что они видят вокруг себя ("список рассылки" в том числе) - это и есть весь мир.
для тех, кому непонятно, почему оно так - разжевываю: если бы во времена работы в данной области я наткнулся на какие-то проблемы с конфигурацией - я бы просто потыкал палочкой в старшего товарища, через стол. Если бы, внезапно, оказалось что это какая-то серьезная проблема, а не я чего-то не понял - мы бы оторвали задницы, и дошли в соседнюю комнату - где сидела группа разработки (мы не яндекс, у нас компания была маленькая - те во внутреннюю рассылку бы писали, и неделю ждали снисхождения). Там либо разжевали бы нам, что оно вот так и задумано, а мы не поняли глубины идеи (впрочем, "либо" тут лишнее ;-) либо с пятого раза удалось бы их убедить, что в этой задумке что-то не то. И вот тогда, по результатам, в "список рассылки" уехал бы уже патч. И уезжали, не один раз. (на самый крайний случай на фронтах был логин sysoev ;-)

Ответить | Правка | Наверх | Cообщить модератору

43. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от пох (?), 14-Май-17, 00:41

>> вы вообще конфиги нетривиальных систем-то видели
> Я (другой аноним) не видел. Можете показать примерчик, чтоб понимать, о чём
> речь?
не, не могу - даже если б унес на память, там потроха конкурента яндекса, унылые, но вряд ли даже сейчас их можно обнародовать.
Когда столкнетесь - поймете. (не, править не заставят, это обычно удел пары-тройки страдальцев, оно такое не на фронтах и не на конечных нодах, если, конечно, сеть не сплели жопой, при обычной работе их не трогают ;)
Ключевой момент первый аноним,на самом деле, понял правильно, но не понял что это так везде - в большой конторе тебе не удастся легко и просто заставить разработчиков изменить бэкэнд, даже если ситуация совсем хреновая (они, кстати, не очень-то и могут) - поэтому неизбежно ты будешь затыкать дырки в их чудо-системе собственными средствами. "С таким параметром - сюды, а с вот таким - вот туды, а то сюды ломается, а это вот я вообще не знаю что такое и кто это обрабатывает, давайте его на следующий уровень пробросим, наверное, оно там используется или планировалось".
Особенно "приятно" потом эту логику еще и на тестовую систему переносить, тем хуже - когда сам ты не очень понимаешь, как оно работает.

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

39. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от Sw00p aka Jerom (?), 13-Май-17, 00:54

>>осспди... вы вообще конфиги нетривиальных систем-то видели хоть по телевизору?
хех с основания нгинкса вижу )) ток они не содержат логику приложений
>>не надо ему доверять вообще,
в принципе суть в том, что реальный "пряморукий" админ нгинкса должен знать рфс протокола ХТТП, а если он знает - зачем какой-то ещё анализатор ))
>>в общем, админ локалхоста детeктед.
))) ну пусть будет так, админ локалхоста с 10+ лет стажем думаю наизусть выучит конфигурирование нгинкса, нежеле, студент админ нетривиальных систем, на годовой стажировке в яндексе.
>>вас не будут в яндексе спрашивать, что нужно, а что не нужно.
всё правильно, так и есть - главное чтобы работало, вот и бесятся ИБ-ешники яндекса от таких админов и проггеров, решили написать скрипт для "статического анализа" ))))))))

>>И ни в одном более-менее крупном проекте тоже не будут, это не яндекс такой плохой.
я кстате не говорил, что яндекс плохой. Я предположил, что у них на столько криворукие нгинкс админы, что ИБ-ешники, которые замучались от их косяков, решили написать "анализатор"
>>Некоторые, не будем показывать пальцем, еще и на lua туда писают.
АГА )))) эт уже другая тема )) ждём ещё статического анализатора для lua, js, perl и тд ))

>>P.S. интересно, среди чудо-скриптов есть скрипт проверки на "квадратик" ?
???

Ответить | Правка | К родителю #33 | Наверх | Cообщить модератору

18. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от anonymous (??), 12-Май-17, 09:24

> А вы почему раньше Яндекса ничего не сделали?
Потому что опенсорс живёт по принципу DIY (do it yourself). Вот новичок боится запутаться в конфигах и думает "хорошо бы написать утилиту для проверки конфигов на типичные ошибки". Садиться писать. В процессе изучает все детали конфигурации и способы настройки. Потом понимает, что можно не продолжать написание инструмента - ему он уже не нужен.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

12. "Yandex опубликовал статический анализатор файлов конфигураци..." –5 +/–

Сообщение от Vkni (ok), 12-Май-17, 06:05

Только использовать для этого Питон - это надо себя сильно не любить. У вас там ведь весь код анализатора, скорее всего, сплошь из ветвлений. На Питоне их нужно все проверять. :-)

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

41. "Yandex опубликовал статический анализатор файлов конфигураци..." +/–

Сообщение от Sw00p aka Jerom (?), 13-Май-17, 01:04

> Только использовать для этого Питон - это надо себя сильно не любить.
> У вас там ведь весь код анализатора, скорее всего, сплошь из
> ветвлений. На Питоне их нужно все проверять. :-)
так говорю же эт тока ИБ-ещники так любят питон, вот и накалякали анализатор на коленке )

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Yandex опубликовал статический анализатор файлов конфигураци..."	–4 +/–
Сообщение от Andrey_Karpov (ok), 11-Май-17, 23:18
Статический анализ, статический анализ везде.... Методология растёт и ширится. И это неизбежно. Сложность и размер программных проектов растёт и чем дальше, тем сложнее будет обходиться без вспомогательных средств статического анализа. Просто невозможно уже всё знать, помнить и иметь возможность просмотреть.
Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "Yandex опубликовал статический анализатор файлов конфигураци..."	+1 +/–
	Сообщение от Анонистый калий (?), 11-Май-17, 23:27
	А вы почему раньше Яндекса ничего не сделали?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "Yandex опубликовал статический анализатор файлов конфигураци..."	+2 +/–
	Сообщение от Sw00p aka Jerom (?), 12-Май-17, 02:04
	Потому-что внимательно читает документацию по настройке нгинкса. И описанные аля мисконфигурейшен не страшен локалхостам с дефолтовым конфигом, просто складывается такое ощущение, что в яндексе криворукие нгинкс админы, вот и написали этот анализатор, а написали - ИБешники, как я понял.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	14. "Yandex опубликовал статический анализатор файлов конфигураци..."	+2 +/–
	Сообщение от Аноним (-), 12-Май-17, 07:15
	>в яндексе криворукие нгинкс админы Yandex распался несколько лет назад. Многие крутые дяди (и тети), которые там работали с начала 2000х разошлись в разные стороны. А современный Yandex это уровень студентов и школоты. Доказательства этому будут все чаще и чаще появляться. Ах да, криворукие у них не только админы. Удивил HR с психическим расстройством. Были все признаки панической атаки, когда не дал ему ответ в течении нескольких дней.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	17. "Yandex опубликовал статический анализатор файлов конфигураци..."	–1 +/–
	Сообщение от тигар (ok), 12-Май-17, 09:05
	>>в яндексе криворукие нгинкс админы > Yandex распался несколько лет назад. Многие крутые дяди (и тети), которые там > работали с начала 2000х разошлись в разные стороны. А современный Yandex > это уровень студентов и школоты. Доказательства этому будут все чаще и > чаще появляться. ну потому там и мигрировали на *бунту ;-)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	20. "Yandex опубликовал статический анализатор файлов конфигураци..."	–2 +/–
	Сообщение от Аноним (-), 12-Май-17, 09:36
	У тебя комплекс неполноценности.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	22. "Yandex опубликовал статический анализатор файлов конфигураци..."	–2 +/–
	Сообщение от тигар (ok), 12-Май-17, 09:47
	> У тебя комплекс неполноценности. обоснуй;)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	31. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от Аноним (-), 12-Май-17, 18:33
	> ну потому там и мигрировали на бунту ;-) Ну да, а во фрю коммитят чисто из альтруистических соображений: commit fed97f3094ee0c71bc2ae864dce888257108122c Author: ae <ae@FreeBSD.org> Date: Mon Apr 17 09:42:05 2017 +0000 MFC r316435: Add ipfw_pmod kernel module. ... Obtained from: Yandex LLC Relnotes: yes Sponsored by: Yandex LLC Differential Revision: https://reviews.freebsd.org/D10150 commit 7a6d766f1284a41887dd6302256d4bb01df92e5c Author: ae <ae@FreeBSD.org> Date: Mon Apr 17 09:36:35 2017 +0000 MFC r316434: Add O_EXTERNAL_DATA opcode support. This opcode can be used to attach some data to external action opcode. And unlike to O_EXTERNAL_INSTANCE opcode, this opcode does not require ... Obtained from: Yandex LLC Sponsored by: Yandex LLC commit 1f5f6e71571eeaab683b65e91887222f4a6ece97 Author: ae <ae@FreeBSD.org> Date: Mon Apr 3 08:50:54 2017 +0000 MFC r304041: Move logging via BPF support into separate file. make interface cloner VNET-aware; * simplify cloner code and use if_clone_simple(); * migrate LOGIF_LOCK() to rmlock; * add ipfw_bpf_mtap2() function to pass mbuf to BPF; ... Obtained from: Yandex LLC Sponsored by: Yandex LLC MFC r304046, 304108: Add ipfw_nat64 module that implements stateless and stateful NAT64. The module works together with ipfw(4) and implemented as its external action module commit ae659ef435156d011821295969f63c5f4dcfb1d2 Author: ae <ae@FreeBSD.org> Date: Mon Apr 3 07:40:38 2017 +0000 MFC r307570: Add support for non-contiguous IPv6 masks in ipfw(8) rules. For example fe::640:0:0/ffff::ffff:ffff:0:0 will match addresses fe::::0:640::* Submitted by: Eugene Mamchits <mamchits at yandex-team dot ru> Obtained from: Yandex LLC Sponsored by: Yandex LLC commit ab3e7e42d2f4196cc40513ff5d86b05bb15355e8 Author: ae <ae@FreeBSD.org> Date: Thu Mar 30 14:20:27 2017 +0000 MFC r303018: Add named dynamic states support to ipfw(4).
	Ответить \| Правка \| К родителю #17 \| Наверх \| Cообщить модератору


	32. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от тигар (ok), 12-Май-17, 18:53
	>> ну потому там и мигрировали на *бунту ;-) > Ну да, а во фрю коммитят чисто из альтруистических соображений: > > commit fed97f3094ee0c71bc2ae864dce888257108122c > Author: ae <ae@FreeBSD.org> .. > ну не нужно путать NOCов и проектных админов. Вменяемые проектные закончились - набрали убунтоголовых и как-то живут. Закончится ae@ (и еще 1 товарищ) в ноках - наймут цискоголовых убунтоводов - мигрируют и там. p.s. до этого еще melifaro@ был там же где и ae@. был.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	35. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от пох (?), 12-Май-17, 19:55
	если присмотреться к патчам - там далеко не один ae@ - просто не всем дано напрямую комитить (или не у всех есть столько лишнего времени). Кстати, недавно случилось чудо: https://svnweb.freebsd.org/base?view=revision&revision=316770 - кто в теме, оценит - это ж сколько, лет десять уже, наверное?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	36. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от тигар (ok), 12-Май-17, 21:37
	> если присмотреться к патчам - там далеко не один ae@ - просто > не всем дано напрямую комитить (или не у всех есть столько > лишнего времени). речь выше шла о конкретной компании. и там реально мало кого осталось с коммит-битом в порты/src фри. а раньше ребята из поиска были, давно:) > Кстати, недавно случилось чудо: https://svnweb.freebsd.org/base?view=revision&revision=316770 > - кто в теме, оценит > - это ж сколько, лет десять уже, наверное? не скажу, что прямо капец как в теме, но от момента обсуждения бага в рассылке uafug и до того коммита прошло с недельку, примерно, включая стадии "у меня не работает вот так" "а попробуй вот так" "о, работает" и "попробуй патч (от ae@)" "ага. так тоже все работает!" багу, то, может и Х лет, но где же Ваш забытый багрепорт о нем?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	42. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от пох (?), 14-Май-17, 00:22
	> речь выше шла о конкретной компании. и там реально мало кого осталось с коммит-битом работать приходится, да, а не "развивать опенсорсе" в рабочее время, кризис говорят в стране какой-то. Я говорил про тех, чьи имена упоминаются в патчах и репортах, хотя они и не могут коммитить - их существенно больше одного. То есть где-то в недрах яндекса пара (десятков ;-) фрей видимо еще уцелела, как и тех, кто умеет их готовить. А глобально выбор в сторону линухов был еще в 2011м, как минимум (впрочем, полагаю, на самом деле гораздо раньше). > не скажу, что прямо капец как в теме видимо, совсем не. Это (ломание csum offload) очень хорошо натоптанные грабли, то есть просто вот все, кто когда либо делал vpn-сервера (и не только) на фре, либо сами по лбу получали, либо уже были в курсе. И оно так с совсем незапамятных времен было. > но где же Ваш забытый багрепорт о нем мертвых PR без патчей (да и с патчами, пришедшимися не ко двору) и без меня мильен с тыщами. А уж тем более по неинтересной мне фигне. Тут забавно было как раз то, что человек в теме, пробегая мимо, походя поправил то, что все привычно перешагивали.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	19. "Yandex опубликовал статический анализатор файлов конфигураци..."	+3 +/–
	Сообщение от пох (?), 12-Май-17, 09:35
	> Потому-что внимательно читает документацию чтение документации совершенно не помогает от ошибок. > И описанные аля мисконфигурейшен не страшен локалхостам с дефолтовым конфигом и с недефолтным тоже. Это верно. В трех недефолтных строках очень сложно ошибиться. Пока конфиг можно прочитать, пару раз нажав pg-dn, ошибки в нем бывают в основном те, которые nginx -t покажет. А когда он громадный, потому что система, ну надо же, посложнее твоего локалхоста не в разы, а на пару порядков - то очень быстро превращается в очень запутанный ком спагетти. Там и собственно структура конфига весьма этому помогает, но в первую очередь - сложность задачи, которая очень маловероятно имеет простые решения. И оно именно что может работать, до определенного момента, вылезая в каких-то специфических случаях, которые не так просто или совсем нельзя протестировать "вживую". В общем, кто писал конфиги для больших систем, тому это и так понятно, а у кого локалхост, на тех пофиг, какие б нынче плохие не были в яндексе hr'ы, вас все равно туда не возьмут на должность, предполагающую хоть какое-то самостоятельное мышление. P.S. напишите уже кто-нибудь анализатор конфигов asterisk, 1.4-style хотя бы. Без lua ;-)
	Ответить \| Правка \| К родителю #6 \| Наверх \| Cообщить модератору


	24. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от PnDx (ok), 12-Май-17, 13:56
	"анализатор конфигов asterisk" Если Вы про диалплан, то рассматривать/работать с ним, как с конфигом — фатальная ошибка. Последствия которой я изредка разбираю, делая терпилам разбор слива через какой-нибудь freepbx\|asterisknow. У себя в профильной конторе я делал по этому поводу ORM, открытая часть выложена в районе https://github.com/ds-voix/VX-PBX/tree/master/UPSERT https://github.com/ds-voix/VX-PBX/tree/master/VX ("Закрытая" часть содержит ряд известных ошибок и (до их исправления) на github публиковаться не будет.)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	26. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от пох (?), 12-Май-17, 14:15
	> "анализатор конфигов asterisk" > Если Вы про диалплан, то рассматривать/работать с ним, как с конфигом — > фатальная ошибка. если работать как с программой на нечеловеческом языке, не уверен что анализатор от этого проще станет писать. > У себя в профильной конторе я делал по этому поводу ORM, открытая ну, может для профильной конторы это и метод (а кто будет писать анализатор уже теперь исходного формата? ;-) для отдельно взятого админа, которому приходится возиться с унаследованными системами, вряд ли подойдет. (ну да, можно, конечно, подождать пока там на пару лямов переговоров с Парагваем набежит)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	30. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от Sw00p aka Jerom (?), 12-Май-17, 17:20
	>>чтение документации совершенно не помогает от ошибок. http://nginx.org/ru/docs/http/ngx_http_proxy_module.html#pro... Внимательное чтение этого уже защитит от спуфинга Host заголовка >>то очень быстро превращается в очень запутанный ком спагетти. какой ком ? какой спагетти код ? программировать на конфигах нгинкса не нужно, не нужна на нём никакая логика вынесенная из контроллеров приложения.
	Ответить \| Правка \| К родителю #19 \| Наверх \| Cообщить модератору


	33. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от пох (?), 12-Май-17, 19:39
	> Внимательное чтение этого уже защитит от спуфинга Host заголовка осспди... вы вообще конфиги нетривиальных систем-то видели хоть по телевизору? (я уж молчу, что "от спуфинга хост заголовка" в принципе ничего не защитит, не надо ему доверять вообще, если ты его не сам только что установил - но это генитальным программистам еще надо суметь разжевать) >>>то очень быстро превращается в очень запутанный ком спагетти. > какой ком ? какой спагетти код ? программировать на конфигах нгинкса не в общем, админ локалхоста детeктед. > нужно, не нужна на нём никакая логика вынесенная из контроллеров приложения. вас не будут в яндексе спрашивать, что нужно, а что не нужно. И ни в одном более-менее крупном проекте тоже не будут, это не яндекс такой плохой. Некоторые, не будем показывать пальцем, еще и на lua туда писают. P.S. интересно, среди чудо-скриптов есть скрипт проверки на "квадратик" ?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	37. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от Аноним (-), 12-Май-17, 22:26
	> вы вообще конфиги нетривиальных систем-то видели Я (другой аноним) не видел. Можете показать примерчик, чтоб понимать, о чём речь?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	40. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от Sw00p aka Jerom (?), 13-Май-17, 01:00
	>> вы вообще конфиги нетривиальных систем-то видели > Я (другой аноним) не видел. Можете показать примерчик, чтоб понимать, о чём > речь? список рассылки нгинкса вам в помощь )) там куча нетривиальных конфигов, иногда ржачных
	Ответить \| Правка \| Наверх \| Cообщить модератору


	45. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от пох (?), 14-Май-17, 10:24
	> список рассылки нгинкса вам в помощь я что-то очень сомневаюсь, что вы там увидите хоть один кусок конфига крупных проектов, и совершенно уверен, что не увидите его целиком, что позволило бы оценить масштабы бедствия. локалхост админы, такие локалхост админы - думают, что то что они видят вокруг себя ("список рассылки" в том числе) - это и есть весь мир. для тех, кому непонятно, почему оно так - разжевываю: если бы во времена работы в данной области я наткнулся на какие-то проблемы с конфигурацией - я бы просто потыкал палочкой в старшего товарища, через стол. Если бы, внезапно, оказалось что это какая-то серьезная проблема, а не я чего-то не понял - мы бы оторвали задницы, и дошли в соседнюю комнату - где сидела группа разработки (мы не яндекс, у нас компания была маленькая - те во внутреннюю рассылку бы писали, и неделю ждали снисхождения). Там либо разжевали бы нам, что оно вот так и задумано, а мы не поняли глубины идеи (впрочем, "либо" тут лишнее ;-) либо с пятого раза удалось бы их убедить, что в этой задумке что-то не то. И вот тогда, по результатам, в "список рассылки" уехал бы уже патч. И уезжали, не один раз. (на самый крайний случай на фронтах был логин sysoev ;-)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	43. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от пох (?), 14-Май-17, 00:41
	>> вы вообще конфиги нетривиальных систем-то видели > Я (другой аноним) не видел. Можете показать примерчик, чтоб понимать, о чём > речь? не, не могу - даже если б унес на память, там потроха конкурента яндекса, унылые, но вряд ли даже сейчас их можно обнародовать. Когда столкнетесь - поймете. (не, править не заставят, это обычно удел пары-тройки страдальцев, оно такое не на фронтах и не на конечных нодах, если, конечно, сеть не сплели жопой, при обычной работе их не трогают ;) Ключевой момент первый аноним,на самом деле, понял правильно, но не понял что это так везде - в большой конторе тебе не удастся легко и просто заставить разработчиков изменить бэкэнд, даже если ситуация совсем хреновая (они, кстати, не очень-то и могут) - поэтому неизбежно ты будешь затыкать дырки в их чудо-системе собственными средствами. "С таким параметром - сюды, а с вот таким - вот туды, а то сюды ломается, а это вот я вообще не знаю что такое и кто это обрабатывает, давайте его на следующий уровень пробросим, наверное, оно там используется или планировалось". Особенно "приятно" потом эту логику еще и на тестовую систему переносить, тем хуже - когда сам ты не очень понимаешь, как оно работает.
	Ответить \| Правка \| К родителю #37 \| Наверх \| Cообщить модератору


	39. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от Sw00p aka Jerom (?), 13-Май-17, 00:54
	>>осспди... вы вообще конфиги нетривиальных систем-то видели хоть по телевизору? хех с основания нгинкса вижу )) ток они не содержат логику приложений >>не надо ему доверять вообще, в принципе суть в том, что реальный "пряморукий" админ нгинкса должен знать рфс протокола ХТТП, а если он знает - зачем какой-то ещё анализатор )) >>в общем, админ локалхоста детeктед. ))) ну пусть будет так, админ локалхоста с 10+ лет стажем думаю наизусть выучит конфигурирование нгинкса, нежеле, студент админ нетривиальных систем, на годовой стажировке в яндексе. >>вас не будут в яндексе спрашивать, что нужно, а что не нужно. всё правильно, так и есть - главное чтобы работало, вот и бесятся ИБ-ешники яндекса от таких админов и проггеров, решили написать скрипт для "статического анализа" )))))))) >>И ни в одном более-менее крупном проекте тоже не будут, это не яндекс такой плохой. я кстате не говорил, что яндекс плохой. Я предположил, что у них на столько криворукие нгинкс админы, что ИБ-ешники, которые замучались от их косяков, решили написать "анализатор" >>Некоторые, не будем показывать пальцем, еще и на lua туда писают. АГА )))) эт уже другая тема )) ждём ещё статического анализатора для lua, js, perl и тд )) >>P.S. интересно, среди чудо-скриптов есть скрипт проверки на "квадратик" ? ???
	Ответить \| Правка \| К родителю #33 \| Наверх \| Cообщить модератору


	18. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от anonymous (??), 12-Май-17, 09:24
	> А вы почему раньше Яндекса ничего не сделали? Потому что опенсорс живёт по принципу DIY (do it yourself). Вот новичок боится запутаться в конфигах и думает "хорошо бы написать утилиту для проверки конфигов на типичные ошибки". Садиться писать. В процессе изучает все детали конфигурации и способы настройки. Потом понимает, что можно не продолжать написание инструмента - ему он уже не нужен.
	Ответить \| Правка \| К родителю #4 \| Наверх \| Cообщить модератору


	12. "Yandex опубликовал статический анализатор файлов конфигураци..."	–5 +/–
	Сообщение от Vkni (ok), 12-Май-17, 06:05
	Только использовать для этого Питон - это надо себя сильно не любить. У вас там ведь весь код анализатора, скорее всего, сплошь из ветвлений. На Питоне их нужно все проверять. :-)
	Ответить \| Правка \| К родителю #1 \| Наверх \| Cообщить модератору


	41. "Yandex опубликовал статический анализатор файлов конфигураци..."	+/–
	Сообщение от Sw00p aka Jerom (?), 13-Май-17, 01:04
	> Только использовать для этого Питон - это надо себя сильно не любить. > У вас там ведь весь код анализатора, скорее всего, сплошь из > ветвлений. На Питоне их нужно все проверять. :-) так говорю же эт тока ИБ-ещники так любят питон, вот и накалякали анализатор на коленке )
	Ответить \| Правка \| Наверх \| Cообщить модератору