The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Около 390 тысяч сайтов оставили открытыми каталоги .git с кодом"
Версия для распечатки Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Исходное сообщение [ Отслеживать ]
Присылайте удачные настройки в раздел примеров файлов конфигурации на WIKI.opennet.ru.
. "Около 390 тысяч сайтов оставили открытыми каталоги .git с ко..." +1 +/
Сообщение от пох (?), 05-Сен-18, 10:15 
не угадали.

So, I used DNS log from the OpenData Rapid 7 project.  This was a 3.5TB text file in JSON format, which shows the individual queries:

{"timestamp":"1530259463","name":"<domain>","type":"<a/cname/mx/..>","value":"<ip>"}

Linux offers lots of handy Gzip tools (zcat,...), so processing such a large volume of data wasn't a big problem.

There was a huge amount of various domains and subdomains on the list and it was necessary to reduce them and select only the "interesting" domains. I only filtered A queries on second-level domains of selected TLDs (generic, European + eu, other major states, popular new TLDs: top, xyz, etc.). That's how I got the list with more than 230 million domains.

https://opendata.rapid7.com/ - качайте на здоровье.

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Около 390 тысяч сайтов оставили открытыми каталоги .git с кодом, opennews, 04-Сен-18, 19:18  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру