Ubuntu-fr

Degenesis

Unbound - liste Ads

Actuellement entrain de monter mon serveur DNS en local je cherche à créer un script pour construire un fichier complet contre les ads et trackers à l'aide plusieurs sources fiables.

#!/bin/bash

wget https://s3.amazonaws.com/lists.disconnect.me/simple_ad.txt -O /home/User/Desktop/Sources/simple_ad.txt
wget https://s3.amazonaws.com/lists.disconnect.me/simple_malware.txt -O /home/User/Desktop/Sources/simple_malware.txt
wget https://s3.amazonaws.com/lists.disconnect.me/simple_tracking.txt -O /home/User/Desktop/Sources/simple_tracking.txt
wget https://s3.amazonaws.com/lists.disconnect.me/simple_malvertising.txt -O /home/User/Desktop/Sources/simple_malvertising.txt
wget https://raw.githubusercontent.com/stevenblack/hosts/master/hosts -O /home/User/Desktop/Sources/hostsStevenBlack.txt
wget https://raw.githubusercontent.com/stevenblack/hosts/master/alternates/fakenews-gambling-porn/hosts -O /home/User/Desktop/Sources/AlternStevenBlack.txt
wget https://raw.githubusercontent.com/adaway/adaway.github.io/master/hosts.txt -O /home/User/Desktop/Sources/AdAway.txt

cat /home/User/Desktop/Sources/*.txt > /home/User/Desktop/Sources/Listing.txt
cat /home/User/Desktop/Sources/Listing.txt | grep '^0\.0\.0\.0' | awk '{print "local-zone: \""$2"\" redirect\nlocal-data: \""$2" A 0.0.0.0\""}' >  /home/User/Desktop/Sources/domains-blacklist.conf

Cependant après un test, le fichier Listing.txt est complètement vide, ce qui coupe la procédure du script.
Une idée ? Cela reste à optimiser comme par exemple avec un tri 'uniq' avant la dernière commande du script.

Dernière modification par Degenesis (Le 29/06/2017, à 15:22)

bruno

Re : Unbound - liste Ads

Bonjour,

cat /home/User/Desktop/Sources/*.txt > /home/User/Desktop/Sources/Listing.txt

Si le fichier Listing.txt existe déjà, cela va provoquer une erreur et la concaténation va échouer.

Dernière modification par bruno (Le 30/06/2017, à 06:40)

Degenesis

Re : Unbound - liste Ads

Si le fichier Listing.txt existe déjà

Bonjour, ce n'est pas le cas. Ce fichier et tous les autres dans le dossier Sources sont effacés à la fin du script. Et j'effectue mes tests sans rien laisser.

vv221

Re : Unbound - liste Ads

Commence par interrompre ton script après les wget pour vérifier que les fichiers .txt contiennent bien les infos que tu veux avant de tenter la concaténation.

---

Jouer sur Ubuntu ? Facile !

Degenesis

Re : Unbound - liste Ads

C'est la 1ere chose à laquelle j'ai pensé mais non les wget fonctionnent

bruno

Re : Unbound - liste Ads

Essaie déjà en enlevant les choses inutiles (cat) :

#!/bin/bash

wget https://s3.amazonaws.com/lists.disconnect.me/simple_ad.txt -O - >> listing.txt
wget https://s3.amazonaws.com/lists.disconnect.me/simple_malware.txt -O - >> listing.txt
wget https://s3.amazonaws.com/lists.disconnect.me/simple_tracking.txt -O - >> listing.txt
wget https://s3.amazonaws.com/lists.disconnect.me/simple_malvertising.txt -O - >> listing.txt
wget https://raw.githubusercontent.com/stevenblack/hosts/master/hosts -O - >> listing.txt
wget https://raw.githubusercontent.com/stevenblack/hosts/master/alternates/fakenews-gambling-porn/hosts -O - >> listing.txt
wget https://raw.githubusercontent.com/adaway/adaway.github.io/master/hosts.txt -O - >> listing.txt

grep '^0\.0\.0\.0' listing.txt | awk '{print "local-zone: \""$2"\" redirect\nlocal-data: \""$2" A 0.0.0.0\""}' >  domains-blacklist.conf

Degenesis

Re : Unbound - liste Ads

grep : listing.txt: Aucun fichier ou dossier de ce type

En tout cas le listing.txt est bien créer et rempli mais ça ne semble pas donner le résultat que j'avais en tête.
En prenant modèle sur Simple DNS Crypt, je pensais uniquement pouvoir extraire les url dans un fichier unique sous cette forme, sans doublons.

101com.com
101order.com
123found.com
140proof.com
180hits.de
180searchassistant.com
1x1rank.com
207.net
247media.com
24log.com
24log.de
24pm-affiliation.com
2mdn.net
2o7.net
360yield.com
...
...

Et ensuite appliquer la dernière ligne du script que tu a corrigé pour directement le mettre dans Unbound

vv221

Re : Unbound - liste Ads

Tu peux nous donner quelques lignes du fichier Listing.txt ?
Je pense que c’est le motif que tu donnes à grep ou awk qui pose souci.

Dernière modification par vv221 (Le 30/06/2017, à 17:51)

---

Jouer sur Ubuntu ? Facile !

Degenesis

Re : Unbound - liste Ads

Je pense plutôt avoir trouver la bonne solution, j'ai réussi à trouver le script Python qui est utilisé dans DNSCrypt; il suffit juste de l'adapter en y ajoutant le grep puis la possibilité d'un fichier 'source' qui servirait à regrouper tous les urls et ça devrait fonctionner.

Degenesis

Re : Unbound - liste Ads

Après quelques jours, je me ravise car je ne suis pas expert python
Si quelqu'un est tenté par ma suggestion, un peu d'aide serait apprécier.:(