Listes pour bloquer domaines

[PengouinPdt]

Un de mes projets est la génération de listes pour bloquer des domaines indésirables - serveurs ADS "publicitaires", malwares, C&C, etc ...

Les scripts récupèrent sur différentes URLs les listes adéquates pour créer une liste gérée par un service ou "sous-système" ...

Les différents projets sont sur mon .git - et, se nomme "BlackLists".
- Mon premier essai "ipt_blacklist" était, est, pour fonctionner avec iptables - mais le temps de gestion par iptables est affreusement long ... donc, inutilisable !
- Mon essai actuel "BlockZones" à pour parti pris de fonctionner à l'origine avec Unbound - il est capable de générer une liste pour Unbound, Bind (8, 9), et Hosts - les URLs enregistrées sont dans le fichier "domains".
Les fichiers listes pour 'unbound', 'bind', et 'hosts', ainsi que leur fichier de sommes de contrôle en SHA512 sont disponibles sur mon espace : https://stephane-huc.net/share/BlockZones/lists/

Mon but actuel est de générer une liste pour Unbound tous les jours <= fait !

----

Ce que j'aimerais est de mettre à disposition tous les jours, au moins la liste "Unbound" dont je me sers, mais :
-1- elle fait au moins 6.5 Mo - ce n'est pas un problème à téléverser sur le(s) dépôts .git ... par contre, ça le devient pour les autres, sauf à leur donner l'adresse directe du fichier RAW - le mieux étant un "git pull", dans ce cas ...
-2- comment créer un script shell qui s'occuperait de commiter, sachant que j'ai pris pour habitude de signer mes différents codes, que je saisis une passphrase liée à ma clé GPG, - à la rigueur, je pourrais ne pas signer - reste la phase push qui elle demande le couple d'identification
La partie qui me gêne n'est pas l'ajout, le commit ni le cron nécessaire pour générer la liste ... c'est bien la phase d'identification, voire de signature ....

[piratebab]

PengouinPdt, il existe déja des dizaines de listes sur internet. Il n'y en a aucune de vraiment efficace.
Les principaux reproches que je leur fait:
- elles sont trop volumineuses, et donc les parcourir à chaque requette est très consommateur
- certaines n'hésitent pas à te mettre en liste noire, et ensuite demandent de l'argent pour en sortir
- celles qui sont faites de façon collaborative sont pleines de faux positifs
- celles qui ne sont pas collaboratives sont très incomplète
- il se crée tout les jours des milliers d'adresses à bloquer- si tu bloques l'adresse publique d'un grand réseau intranet (grosse entreprise par exemple) à cause d'un seul poste malsain, ce sont des milliers de postes qui n'ont rien demandés que tu bloques


Voila pour les premiers points qui me viennent à l'esprit.

[PengouinPdt]

@piratebab, tu as le droit de le penser ... pas de soucis.
Bien-sûr qu'elles ne peuvent pas bloquer toutes les adresses IP ... et bien sûr que parfois, des "victimes" peuvent être sur leur chemin.
Mais est-ce une raison de ne pas vouloir les utiliser ... ? Pour moi, non !
Vu les recherches que j'ai faites, je me suis bien rendu compte qu'il en existait plein.
J'ai privilégié les plus pertinentes - clairement, si tu veux toutes les gérées, certains services en sont incapables, dépassement de mémoire, et j'en passe.
De fait, tu fais le choix de ne pas t'en servir ... très bien ... d'autres font le choix inverse, et le gèrent par le moyen d'un service serveur, tels DNS, Squid, Snort, etc ...

De toute façon, tu es hors débat, mon problème n'est strictement pas là ...
Donc, au lieu d'être "négatif", utilises tes ressources pour me conseiller là où j'en ai besoin, si tu en as les compétences ;)

[piratebab]

Détrompes toi, j’utilise les services de spamhaus sur mes blogs, c'est un pis aller quand on est sur un mutualisé et qu'on ne peux pas utiliser failtoban.
Quand à ton problème de transmission de secret, recherche sur le forum, lol avait ouvert une un sujet qui a suscité pas mal d'échanges.

[PengouinPdt]

J'ai fait une recherche sur git, sur gpg ... avec pour auteur lol, désolé, mais ça ne sort rien de probant :(

[piratebab]

viewtopic.php?f=8&t=263&hilit=mot+de+passe

[PengouinPdt]

Je te remercie ... mais je dois être un "âne batté" ... car j'ai du mal à comprendre en quoi cela m'aide ;-)

[thuban]

Tu connais http://someonewhocares.org/hosts/ ?

[PengouinPdt]

@thuban : oui, déjà vu ... et oublié ... celle de Dan Pollock est souvent cité comme référence, apparemment ...
Je vais la rajouter ce jour ... ou prochainement, mais je m'en fais de ce pas un "TODO" :p

Merci.
(PS : et, regarde mes dernières réponses sur le Q&A d'OBSD4* ;) ... à ce propos, d'ailleurs ...)

[thuban]

oui oui, j'ai lu ;)

[thuban]

Toute la partie automatique me paraît délicate, surtout si tu veux signer, car là forcément, ton mot de passe est demandé afin de bien certifier que tu es celui qui publie.
Idée @lakon :
- Tu gardes le git pour le dev.
- Tu as un cron qui pousse le fichier sur un server (pas git donc, juste du plaintext) toutes les semaines par exemple. Ça simplifie la récupération pour l'user. Pour la partie "authentification", je n'utiliserai alors pas gpg, mais un signify ou une somme md5, qui n'a pas le même sens mais assure l'intégrité de tes listes.

[PengouinPdt]

Dans le fond, ce n'est pas si idiot que ça ... et, même un coup de gpg ou d'openssl pour valider est faisable :p
une somme md5 ? ... tu veux dire, plutôt, sha512, ou à défaut sha256 ;)

Bref, loin d'être idiot ... je peux le faire sur mon serveur, par contre, c'est ma BP qui ne tiendra pas la charge, du fait de l'ADSL ...
----

En passant, je me suis rendu compte que le projet "BlockZones" n'était pas visible par tlm ... c'est réglé !
l'autre projet importe très peu ... celui qui y tiendra, se connectera.

[PengouinPdt]

@thuban: bon, j'ai suivi ton idée ...
Le code est sur le git ...
Les listes sont hébergées sur mon site : https://stephane-huc.net/share/BlockZones/lists/

----

Quelqu'un connaît un moyen de modérer la connexion d'une même adresse IP, telle que 10 connexions / jour max, avec nginx ?!

[thuban]

Cool :)
Je vais tester ça pendant mes vacances moi :)
Merci!!!

---

Avec nginx non, avec pf oui ;)

[PengouinPdt]

(...)
Avec nginx non, avec pf oui ;)

PF, comme Iptables posent le "problème" - ouh,là, le bien grand mot, dans ce cas - que c'est une solution "globale" ... là, je voudrais être plus spécifique :p

[thuban]

Oui, mais avec pf, tu peux mettre un max/IP seulement pour le port HTTP. Mais tu ne veux que pour un domaine je présume. Regarde les quotas avec nginx.

[PengouinPdt]

Non, seulement, pour un domain, mais pour un répertoire en particulier ...
les option limit_conn* ne sont pas assez caractérisantes !

[thuban]

Haha, j'ai voulu récupérer le fichier hosts pour l'installer : espace disque insuffisant :D

[thuban]

2 essais, à chaque fois le sha512 pour le fichier local-zone échoue. T'es bien à jour?

[thuban]

Petit script à mettre dans /etc/monthly.local après l'avoir hacké :)

Code : Tout sélectionner

#!/bin/sh
# Auteur :      thuban <thuban@yeuxdelibad.net>
# licence :     MIT

# Description : télécharge fichier host et unbound anti-pub et domaines suspects

HOSTURL="https://stephane-huc.net/share/BlockZones/lists/hosts"
HOSTURLSHA512="https://stephane-huc.net/share/BlockZones/lists/hosts.sha512"
LOCALZONEURL="https://stephane-huc.net/share/BlockZones/lists/local-zone"
LOCALZONEURLSHA512="https://stephane-huc.net/share/BlockZones/lists/local-zone.sha512"

cd /tmp

echo "---"
echo "Installing last host file"
echo "---"
ftp -o /tmp/hosts "$HOSTURL"
ftp -o /tmp/hosts.sha512 "$HOSTURLSHA512"

echo "Check sha512 sum"
sha512 -C hosts.sha512 hosts
if [ $? -eq 0 ]; then
    cat /tmp/hosts /etc/hosts | sort | uniq  > /etc/hosts
fi

echo "---"
echo "Installing last unbound file"
echo "---"
ftp -o /tmp/local-zone "$LOCALZONEURL"
ftp -o /tmp/local-zone.sha512 "$LOCALZONEURLSHA512"

echo "Check sha512 sum"
sha512 -C local-zone.sha512 local-zone
if [ $? -eq 0 ]; then
    mv /tmp/local-zone /var/unbound/etc/unbound_ad_servers
fi

exit 0