Реестр запрещенных сайтов

.

Список запрещенных сайтов со скриншотами

.

Автоматизация выгрузки реестра запрещённых сайтов и настройка mikrotik

Стоит задача по выгрузки реестра запрещенных сайтов и блокирование доступа к ним пользователей. Реестр запрещенных сайтов можно получить на сайте роскомнадзора по ссылке http://vigruzki.rkn.gov.ru/tooperators_form/, выгрузка должна производится не реже 2-х раз в сутки. Делать это вручную не совсем хочется, поэтому я решил этот процесс автоматизировать. В интернете много статей по автоматизации выгрузки, но вот как полностью автоматизировать процесс от выгрузки и до насройки оборудования мне не попадалось.

Весь процесс разбит на несколько этапов

  1. Создание файл запрос и подпись файла запроса с помощью открепленной электронной подписи
  2. Отправка подписанного файла на сайт http://vigruzki.rkn.gov.ru  и получение реестра запрещенных сайтов
  3. Извлечение доменных имен из реестра
  4. Настройка маршрутизаторов.

Вся система по получению реестра и настройки маршрутизаторов будет находится на сервере с установленной системой Centos 6.4

 

Создание файл запрос и подпись файла запроса с помощью открепленной электронной подписи

1. Для начала вам нужна квалифицированная электронная подпись. Получить эту подпись можно в любом аккредитованном удостоверяющем центре, список можно скачать по ссылке http://minsvyaz.ru/common/upload/Perechen_akkreditovannih_UZ.xls. Выбираем ближайший, звоните туда, объясняете что вам нужна электронная подпись для zapret-info.gov.ru, и вам объясняют дальнейшие шаги. Собираете кучу бумаг, заполняете анкеты, оплачиваете, после чего получаете сертификат, при необходимости еще и покупаете e-Token.

2.Когда  e-Token с сертификатом у вас уже на руках.

Реестр запрещённых сайтов

вам нужен будет компьютер с установленным Windows и программой КриптоПро. Необходимо средствами КриптоПро скопировать ключевой контейнер в реестр с возможность экспорта. Затем с помощью утилиты P12FromGostCSP.zip  выгружаем сертификат в формате PCKS#12

3.Подключаемся к нашему серверу с CentOS, и создаем в корне каталог  gost-ssl.

Устанавливаем openssl:

wget http://zhutov.ru/static/files/mikrotik/openssl-1.0.1c.tar.gz tar xzf openssl-1.0.1с.tar.gz cd openssl-1.0.1с ./config shared zlib enable-rfc3779 —prefix=/gost-ssl make depend make make test make install

Если в процессе установки появится ошибка:

gcc: команда не найдена или  zlib.h: Нет такого файла или каталога

То устанавливаем пакеты gcc и zlib-devel :

yum install gcc zlib-devel -y

Правим конфиг /gost-ssl/ssl/openssl.cnf

В самом верху, первой строкой пишем:

openssl_conf = openssl_def

Далее добавляем в конец:

[openssl_def] engines = engine_section
[engine_section] gost = gost_section
[gost_section] default_algorithms = ALL engine_id = gost dynamic_path = /gost-ssl/lib/engines/libgost.so CRYPT_PARAMS = id-Gost28147-89-CryptoPro-A-ParamSet

Далее проверяем работоспособность и наличие GOST (полный путь до openssl обязателен)

/gost-ssl/bin/openssl ciphers | tr «:» «\n» | grep GOST

Если вывод пуст, значит что то не так. Должны появится строчки типа:

GOST2001-GOST89-GOST89 GOST94-GOST89-GOST89

Создаем каталог:

mkdir /gost-ssl/ssl/rzs

И кидаем туда файл p12.pfx полученный в пункте 2.

Проверяем, что у нас нормальный (содержит сертификат и закрытый ключ) PKCS#12 командой:

/gost-ssl/bin/openssl pkcs12 -in p12.pfx -nodes

конвертируем полученный на Windows PKCS#12 в PEM:

/gost-ssl/bin/openssl pkcs12 -in p12.pfx -out provider.pem -nodes -clcerts

создаем XML файл запроса, согласно памятке оператора http://zapret-info.gov.ru/docs/description_for_operators_2012-11-09v1.4.pdf  и конфертируем его при помощи icov в СP1251:

/usr/bin/iconv -f UTF8 -t WINDOWS-1251 request.xml -o request.xml

подписываем xml файл нашим сертификатом:

/gost-ssl/bin/openssl smime -sign -in request.xml -out request.bin -signer provider.pem -outform DER

скидываем в Windows и проверяем валидность на http://www.gosuslugi.ru/pgu/eds/ если все впоряде, то идем дальше.

Для автоматизации получения файла запроса, создаем скрипт на python под названием request.py

Со следующим кодом:

# -*- coding: windows-1251 -*- from datetime import datetime from dateutil.tz import tzlocal from lxml import etree from lxml.builder import E f=open(‘/gost-ssl/ssl/rzs/req.xml’, ‘w’) request_xml = E.request( E.requestTime(datetime.now(tzlocal()).isoformat()), E.operatorName(u’ООО Рога и копыта’), E.inn(‘1234567890’), E.ogrn(‘1234567890’), E.email(‘123″123.ru’), ) request_str = etree.tostring(request_xml, xml_declaration=True, encoding=’windows-1251′).replace(«‘», ‘»‘) print request_str f.write(request_str)

 Естественно Название компании, ИНН, ОГРН и e-mail указываем свои

Отправка подписанного файла на сайт http://vigruzki.rkn.gov.ru  и получение реестра запрещенных сайтов

В интернете были найдены два скрипта на pyton для автоматической выгрузки реестра, скачиваете их и кладете в тот же каталог /gost-ssl/ssl/rzs/

cd /gost-ssl/ssl/rzs/ wget http://zhutov.ru/static/files/mikrotik/zapret_checker.py http://zhutov.ru/static/files/mikrotik/zapretinfo.py

Устанавливаем suds

yum install python-suds -y

 Проверяем работу выгрузки:

/gost-ssl/bin/openssl smime -sign -in req.xml -out req.xml.sign -binary -signer provider.pem -outform PEM python request.py python zapretinfo.py

 Через 1-3 минуты каталоге /gost-ssl/ssl/rzs/ должен появится файл реестра запрещенных имен dump.xml

 Извлечение доменных имен из реестра

Для извлечения из реестра доменные имена, создаем в каталоге /gost-ssl/ssl/rzs/  скрипт extract.py

from xml.dom.minidom import * import os os.remove(‘domains.txt’) f=open(‘domains.txt’, ‘a’) xml = parse(‘dump.xml’) domains = xml.getElementsByTagName(‘domain’) for domain in domains: f.write(‘%s\n’ % domain.childNodes[0].nodeValue)

 ВНИМАНИЕ!!!

перед первым запуском скрипта extract.py создайте пустой файл domains.txt

touch domains.txt

Настройка маршрутизаторов

При попытке получить доступ к запрещенному сайту, пользователь должен будет попасть на страницу с сообщением о запрещенном ресурсе, например как тут .

Для этого в сети должен быть настроен http сервер, с html страницей на которой сообщается о запрещенном ресурсе.

На маршрутизаторах должно быть включен перехват dns запросов  «Allow Remote Requests»

ip dns edit allow-remote-requests

 Исправляем на yes и сохраняем. Так же в качестве ДНС сервера у пользователей должен быть прописан ip адрес микротика.

Для автоматической настройки маршрутизаторов используется скрипт mikrotik_configure.py

# -*- coding: utf-8 -*- import paramiko from datetime import datetime import time #Логин и пароль для доступа на маршрутизаторы user=’admin’ secret=’password’ port=’22’ #Список ip адресов маршрутизаторов ip_list=[‘1.1.1.1’, ‘2.2.2.2’, ‘3.3.3.3’] f=open(‘domains.txt’) string=f.readlines() def m_add_host(host,user,secret,port,string): client = paramiko.SSHClient() client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) try: #Подключаемся к маршрутизатору client.connect(hostname=host, username=user, password=secret, port=port) time.sleep(3) #Очищаем старую dns таблицу stdin, stdout, stderr = client.exec_command(‘ip dns static remove [find address=10.10.10.10]’) time.sleep(5) for name in string: stdin, stdout, stderr = client.exec_command(‘ip dns static add name=%s address=10.10.10.10’ % name.replace(‘\n’,»)) client.close() except: print ‘Error’ for ip in ip_list: m_add_host(ip,user,secret,port,string)

10.10.10.10- ip адрес нашего http сервера.

Теперь собираем все вместе в один скрипт который будет запускать выгрузку реестра и настраивать маршрутизаторы. Для этого создаем файл start_rzs.sh

#!/bin/bash cd /gost-ssl/ssl/rzs/ python request.py /gost-ssl/bin/openssl smime -sign -in req.xml -out req.xml.sign -binary -signer provider.pem -outform PEM python zapret_checker.py wait python extract.py python mikrotik_configure.py

 И помещаем его в cron который будет его запускать, несколько раз в сутки, допустим каждые 10 часов, для этого в /var/spool/cron/root добавляем строку

00 */10 * * * /gost-ssl/ssl/rzs/start_rzs.sh

 и перезапускаем крон

/etc/init.d/crond restart

Рубрика: Mikrotik | Теги: реестр запрещенных сайтов автоматизация, mikrotik, python

—>

Ремонт компьютеров

О сервисе

Данный сервис предназначен для сбора, обработки и хранения информации о доменах, ip-адресах и страницах, находящихся в Едином реестре доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено (http://zapret-info.gov.ru).

Прочитайте текст ниже, чтобы понимать, как именно информация поступает на проект antizapret.info!
Обычный порядок работы с Реестром запрещенных сайтов, осуществляемый Роскомнадзором, следующий.

В силу специфики получения информации проектом antizapret.info, мы имеем доступ к Реестру, предоставляемому операторам связи, т.е. к информации о шагах 7Б и 8 указанной выше схемы.

Именно поэтому в копии Реестра на проекте antizapret.info нет ЖЖ Лебедева и подобных скандальных случаев, так как они заканчивались на шагах 1 — 7А и в Реестр для блокировок операторам связи не попадали.

Собирается следующая информация:

  • — URL;
  • — доменное имя;
  • — IP-адрес;
  • — информация о добавившем запись в Реестр;
  • — дата добавления в Реестр;
  • — дата удаления из Реестра;
  • — история попадания сайта/ip адреса в Реестр;

Частота обновления

Информация из Ресстра обновляется несколько раз в сутки. Точное время её обновления можно увидеть в каталоге.

Актуальность информации

Система использует непосредственно официальные данные Единого реестра запрещенных сайтов (http://zapret-info.gov.ru) и хранит всю историю его изменения.

Кому необходим данный сервис?

  • 1. Любым пользователям- в качестве аналитической информации по содержимому Реестра.
  • 2.

    «Экстремистские ресурсы» в Едином реестре запрещенных сайтов

    Хостинг-провайдерам — в качестве актуальной базы и системы уведомления о попадании сайтов и серверов клиентов в Реестр.

  • 3. Владельцам сайтов — вы всегда будете в курсе наличия вашего сайта в Реестре и сможете получать уведомления о попадании или удалении сайта из Реестра.

API

Для удобства работы с реестром имеется API, которые могут быть использованы сторонними сервисами. Подробная информация об API имеется в соответствующем разделе.

comments powered by HyperComments

Реестр запрещенных сайтов

.

Как-то столкнулся с проблемой, сайт чист от вредоносного содержимого, а многие антивирусы все равно «ругаются». И стал я искать, где и как отправить запрос на пересмотре решения. И решил объединить все в одном месте на будущее, а заодно поделиться опытом, насколько быстро и эффективно оказалось снятие сайтов с черного списка.

Удалить сайт из черных списков поисковых систем

— Начну с известных поисковых систем — Google и Yandex. Здесь обычно все достаточно просто, стоит только добавить свой сайт в панель вебмастера, и можно просматривать подробную информацию о зараженных страницах и советам по удалению вредоносного кода. И само собой заветная кнопочка перепроверки, главное перед этим все вычистить на сайте.

Гугл обычно бывает оперативнее — если повезет, то уже через пару часов санкции будут сняты с сайта. В сравнении с ним Яндекс выглядит черепахой — в среднем популярному в СНГ поисковику требуется 2-3 дня для очищения репутации сайта.

Но и здесь есть своя загвоздка: сейчас можно попасть под поисковой фильтр не только с вредоносным кодом. Порой бывает на сайте селятся дорвеи или редиректы, в разных случаях могут использоваться различные предупреждения. К части сайтов применяются ручные меры: в этом случае на быстрое решение проблемы не стоит надеяться, выход с такого положения может затянуться от недели до месяца.

Кроме этого появилась новая разновидность санкций у гугла — так называемый рецидив или » Repeat Offenders». Данной мерой наказываются сайты которые преднамеренно распространяют вредоносный код, на время скрывая чтобы пройти очередную перепроверку.

Что такое Реестр запрещенных сайтов РосКомНадзора?

Точный алгоритм данных мер неизвестен, но я советую с заражениями постоянно не попадаться — вывод данной метки затянется и придется наблюдаться надпись о взломе минимум месяц.

Убрать с блэклиста (black list) популярных антивирусов

— Многие используют шустрый и бесплатный Avast, поэтому будет неприятно, если антивирус будет блокировать ваш собственный сайт. В принципе вывести достаточно просто, нужно просто отправить в форме обратной связи сообщение о ложном срабатывании, и через пару дней придет весть о решении проблемы. К сожалению, сайты быстро меняются, и ранее удобная форма сообщения о «false positive» превратилось в универсальную форму поддержки.

Upd: Формы уже нету ни одной ни второй, скорее всего их вообще убрали с сайта. Теперь можно сообщать посредством самой антивирусной программы Avast (Кнопка «Передать в лабораторию…»), или связаться по электронной почте virus@avast.com с пометкой «False Positive». Для любителей пообщаться на форумах не исключен вариант задать свой вопрос в новой теме.

— С популярным в России KasperskyLab выглядит всё более запутанно. На самом сайте куча разделов, которые нам не помогут, а если попробовать выбрать разные языки, то и часть полезной информации исчезнет. Чтобы заполнить форму о ложном срабатывании (ссылка удалена из-за неактуальности), необходимо будет сначала зарегистрироваться. Если нет желания проходить процедуру регистрации, то можно просто отправить письмо с пометкой «False Positive» на адрес newvirus@kaspersky.com

— Совсем другая ситуация обстоит с проприетарным антивирусом Sophos. Его активно использует Yandex в качестве проверки на вредоносный код, поэтому в большинстве случаев бывает достаточным устранить проблемы, описанные в Yandex.Webmaster —  и ваш сайт чист. В редких случаях детектирования можно обратиться на форум, но не сказал бы, что там слишком отзывчивы.

— Не стоит исключать из внимания пользователей ESET (он же Nod32). Здесь все так же просто, отправить сообщение о выводе с черного списка на адрес samples@eset.com.

— Для Avira просто сразу приведу ссылку на вывод с черного списка.

 — Решил добавить форму для добавления false positive для DrWeb. Здесь тоже всё предельно просто: или заполнить поля онлайн-формы или же отправить запрос по электронной почте malware@emcosoftware.com с темой письма «False Positive Submission».

 — Совсем иначе ситуация обстоит с известным американским антивирусом McAfee. Хорошей работой он не славится, однако бывает очень часто предустановлен в стартовом наборе при покупке ( к примеру на ноутбуки вместе с лицензионной Windows). Опытные пользователи привыкли удалять первым делом, но это не означает, что он будет деинсталлирован у домохозяек. Для анализа безопасности сайтов у макафи есть свой собственный продукт — SiteAdvisor. Для того, чтобы узнать репутацию сайта, необходимо перейти по ссылке www.siteadvisor.com/sites/protectyoursite.ru, где вместо protectyoursite.ru
не забываем подставить свой сайт. После этого появится информация, как к сайту относится система и к какой категории причисляет. Там же будет и кнопка «Запросить проверку», где можно выбрать категорию и написать свое мнение. К сожалению, вывод с черного списка McAfee может обернуться целой проблемой, у меня только раза с десятого удалось отправить заявку (какая-то глючная капча на сайте). Кроме этого нету никаких уведомлений о результатах, можно прождать месяц и ситуация не изменится. Поэтому советую запастись железными нервами и крепким терпением перед запросом сайта на перепроверку.

Сайт блокируется браузером для просмотра

Иногда пользователям опасные сайты фильтруются самим браузером. Однако в большинстве случаев программы для серфинга в интернете используют сторонние списки. Одним из популярных и известных примеров, который встроен в большинство браузеров является компания StopBadware. Для пользователей Mozilla Firefox очень важно, чтобы сайт был чист и поэтомы мы рассмотрим на практике вывод с базы вредоносных.

StopBadware использует информацию о зараженных сайтах, предоставляемые Google, GFI и NSFocus. Поэтому перед запросом о исключении из списка стоит разобраться с гуглом —  в большинстве случаев сайт уйдет с блэк-листа автоматически.

Если же были применены отдельные меры то можно подать заявку на вывод с черного списка StopBadware, указав сайт в поле поиска и следуя дальнейшим инструкциям.

Устранение проблем репутации в онлайн-сервисах и сканерах

— На удивление быстро и понятно происходит у BitDefenderа. Просто заполняешь форму и через день-второй сайт уже исключен из блеклиста. Еще как вариант можно отправить сообщение на почту.

— На последней стадии стоит выводить из WOT — Web of trust (mywot.com). Для этого нужно зарегистрироваться, подтвердить права на владение сайтом и можно создавать заявку на пересмотр оценки сайта. Однако на данном ресурсе сложнее получить положительную оценку, так как в данном случае сайты оцениваются не только с технической стороны, но и по содержанию. Особое вниманию советую уделить созданию страницы с политикой конфиденциальности, без нее многие участники WOT не будут оценивать ресурс.

— Немного посложнее дела обстоят с малоизвестным немецкой антивирусной компанией Clean Mx. Посмотреть общую статистику по черному списку можно здесь. Для того, чтобы найти информацию по нашему сайту надо в конце ссылки указать домен без http (Для примера protectyoursite.ru ссылка будет выглядеть следующим образом). При обнаруженных инцидентах там будет кнопка «Report false positive», по нажатию которой можно будет открыть тикет по абузе.

— Онлайн сервис по проверке сайтов на вирусы Quttera проводит одновременно несколько проверок: от сканирования файлов до сигнализирования нахождения домена в блеклистах и сторонних URL на сайте. Система обратной связи тоже не составит проблем, надо заполнить тикет, выбрав параметр False Positive и ждать дальнейшего ответа.

— Аналогичный сканер онлайн Sucuri Sitecheck имеет очень много ложных срабатываний по различным вставкам сторонних обратных форм и следящих систем.

Если вы все же захотите связаться с поддержкой антивируса, то само быстро будет отправить письмо на адрес info@sucuri.net, так как создание тикетов доступно только для пользователей продуктов Sucuri.

Так же в комментариях можете оставлять пожелания на добавление в список новых антивирусов.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *