ubuntu-fr

Communauté francophone des utilisateurs d'Ubuntu

Annonce

Les Ubuntu-partys sont l'occasion pour beaucoup d'entre vous d'acquérir les goodies Ubuntu-fr faits par nos petites mains avec amour.
Pour tous les autres, fini le désespoir de les manquer wink Il est désormais possible de vous procurer l'objet de votre choix grâce à la boutique en ligne, commune à Framasoft et Ubuntu-fr. Vous pourrez déjà y trouver mugs, t-shirts et, bien sûr, les Framakey Ubuntu-fr Remix.

#1 Le 29/04/2008, à 11:42

Delaclya

Squid : Trop de logs pour une page web

Bonjour,

Je me heurte à un problème assez ennuyeux, je m'explique :

Mes logs de Squid s'enregistrent sous access.log comme il faut avec le format suivant :


logformat squid %tl %>a %ru %<A


Le problème que je rencontre, c'est que j'ai droit à une ligne de code pour chaque élément de la page: Image.gif, Style.css, etc...


Exemple :

Code:

28/Apr/2008:08:46:00 +0200 10.1.2.5 http://www.leboncoin.fr/ 195.154.144.187
28/Apr/2008:08:46:00 +0200 10.1.2.5 http://www.leboncoin.fr/css/index.css? 195.154.144.187
28/Apr/2008:08:46:00 +0200 10.1.2.5 http://www.leboncoin.fr/css/blocket.css? 195.154.144.187
28/Apr/2008:08:46:01 +0200 10.1.2.5 http://www.leboncoin.fr/img/map_8.gif -

Je me demande donc s'il existe un moyen simple d'avoir des logs sous la forme suivante :

Code:

28/Apr/2008:08:46:00 +0200 10.1.2.5 http://www.leboncoin.fr/ 195.154.144.187

Soit une ligne de log pour une page web, ce qui permettrait de réduire énormément la taille et la lisibilité de mes logs...

Je signale que j'ai également essayé le format de logs CFL, qui ne pas plus avancé, je trouve même qu'il ressemble assez aux logs propres à Squid hmm


Merci d'avance si vous avez une réponse à me proposer smile

 

#2 Le 30/04/2008, à 09:23

Re: Squid : Trop de logs pour une page web

si je ne m'abuse, squid journalise, par défaut, les accès à tous les objets qu'on lui demande de servir. par objet j'entends page html, image, css, js, etc etc. donc en gros, c'est normal que tu aies ça dans tes logs.
ensuite, si tu veux pouvoir analyser tes logs de façon plus "sympathique", je te conseille d'installer sarg. ça te permettra de générer des rapports html basés sur les fichiers de logs. tu peux demander le top 100 (nombre paramètrables) des sites visités / des utilisateurs, les téléchargements effectués, les accès interdits, la liste des sites d'un utilisateur, etc ...
après je ne sais pas si ça te convient

ce qui permettrait de réduire énormément la taille [..] de mes logs

logrotate est là pour t'aider. s'il est déjà installé, regarde du côté du fichier /etc/logrotate.d/squid


"Un optimiste, c'est un homme qui plante deux glands et qui s'achète un hamac" - Jean de Lattre de Tassigny
Pensez à mettre [RÉSOLU] dans le sujet de vos posts une fois qu'ils le sont...
quelques docs

Hors ligne

 

#3 Le 02/05/2008, à 09:27

Re: Squid : Trop de logs pour une page web

Bonjour, déjà merci pour les éléments de réponse wink

Concernant Sarg, j'avais déjà un peu regardé, mais le fait étant que les utilisateurs ont un bail DHCP tournant, je me suis posé la question de l'utilité de Sarg, vu qu'il doit se baser sur les IP des postes pour effectuer ses statistiques (je présume).

Et pour Logrotate, je l'ai trouvé un peu alambiqué, alors j'ai fait mes propres scripts avec mes connaissances... Ca a au moins le mérite de me garder en forme smile.

Pour info :

Code:

#!/bin/sh

# Initialisation de la date courante sous forme de variable
DATE=`date +"%y-%m-%d"`

# Création du fichier de log du jour
touch /home/srvtroxy/Bureau/Archives/log_$DATE

# Copie des logs du jour dans le fichier d'archives
cp /var/log/squid/access.log /home/srvtroxy/Bureau/Archives/log_$DATE

# Compression du fichier de log
gzip log_$DATE.gz /home/srvtroxy/Bureau/Archives/log_$DATE 

# Suppression du fichier contenant les logs du jour
rm /var/log/squid/access.log

# Rechargement de la configuration de Squid permettant de recréer un fichier de log vierge
/etc/init.d/squid reload

# Destruction des logs datant de plus d'un an
find /home/srvtroxy/Bureau/Archives/ -ctime +365 -exec rm -f {} \;

# Fin du script
exit 0

tout fonctionne très bien, le seul souci étant la taille sad

Avant de mettre le système en service, j'ai un "cobaye" pour tout tester, et il me rend tout de même entre 300 et 400ko de logs archivés par jour à lui tout seul. Ce qui par an donnerait une taille beaucoup trop importante, si on considère que j'aurais une bonne vingtaine d'utilisateurs simultanés une fois en service...


A ma connaissance (légère), Logrotate ne fait que archiver/compresser/supprimer les logs, moi je chercherais un utilitaire permettant de rassembler un petit peu les logs de Squid un peu trop détaillés à mon goût sad

Si quelqu'un à un utilistaire ou une solution en stock je suis preneur wink

Dernière modification par Delaclya (Le 02/05/2008, à 09:39)

Hors ligne

 

#4 Le 02/05/2008, à 10:05

Re: Squid : Trop de logs pour une page web

vu qu'il doit se baser sur les IP des postes pour effectuer ses statistiques (je présume)

en fait non. mais il faut faire une légère modification dans le fichier "squid.conf". cherche la directive "access_log" et modifie la comme suit :

Code:

access_log /var/log/squid/access.log common

les logs auront la forme :

Code:

ip - login - [date] "METHOD URL PROTOCOLE" <code retour requete> <taille des données transmises> <action réalisée>

tu pourras ainsi générer un tas de stats sur les logs avec sarg (volume requêtes,  % par rapport au volume total, % d'accès au cache, etc etc), la liste des sites visités par chaque utilisateur, le top 100 (tu peux paramétrer le nombre) des utilisateurs ou des sites, etc

A ma connaissance (légère), Logrotate ne fait que archiver/compresser/supprimer les logs, moi je chercherais un utilitaire permettant de rassembler un petit peu les logs de Squid un peu trop détaillés à mon goût sad

effectivement, logrotate se contente d'archiver (et eventuellement compresser) les logs. il le fait tous les jours/semaines/mois (à choisir) sur un nombre de rotations à paramètrer. si tu mets 5, en choisissant une rotation journalière, il utilisera 6 fichiers (5 compressés + le fichier de log "normal") et à partir du 6è jour il effectue une "rotation" des fichiers existant.
juste pour ton info, j'ai environ 200 utilisateurs par jour et le fichier de log fait environ 60Mo (par jour), avec une rotation sur 7 jours (et une sauvegarde sur bande et CD pour la conservation sur 1 an)
l'intérêt de sarg, est qu'il sait travailler sur les fichiers compressés générés par logrotate. donc tu as les statistiques de la semaine écoulée en le lançant (via cron par exemple) une fois par semaine.

après, si tu veux utiliser les fichiers de logs directement en ligne de commandes, il va falloir utiliser des scripts faits maison pour faire un peu le ménage dans le fichier de log...
juste une dernière remarque, je te déconseille de modifier directement les fichiers générés par squid, puisque tu es sensé pouvoir fournir ces fichiers en cas d'enquête judiciaire.

Dernière modification par wblitz (Le 02/05/2008, à 10:09)


"Un optimiste, c'est un homme qui plante deux glands et qui s'achète un hamac" - Jean de Lattre de Tassigny
Pensez à mettre [RÉSOLU] dans le sujet de vos posts une fois qu'ils le sont...
quelques docs

Hors ligne

 

#5 Le 02/05/2008, à 10:34

Re: Squid : Trop de logs pour une page web

Re,

Donc j'ai suivi tes conseils et me voila embarqué dans Sarg smile

Je me heurte d'ailleurs à un petit souci :

root@srvtroxy:/var/www/squid-reports/Daily# sarg -x
SARG: Init
SARG: Loading configuration from: /etc/squid/sarg.conf
SARG: Chargement des exclusions depuis: /etc/squid/sarg.hosts
SARG: Chargement des exclusions depuis: /etc/squid/sarg.users
SARG: Param�tres:
SARG:
SARG:         Nom de l'h�te ou adresse IP (-a) =
SARG:     Journal des agents utilisateurs (-b) =
SARG:              Fichier des exclusions (-c) = /etc/squid/sarg.hosts
SARG:                      Date d�but-fin (-d) =
SARG: Adresse e-mail destinataire des statistiques (-e) =
SARG:            Fichier de configuration (-f) = /etc/squid/sarg.conf
SARG:                      Format de date (-g) = USA (mm/dd/yyyy)
SARG:        Statistiques des adresses IP (-i) = Non
SARG:                    Journal d'entr�e (-l) = /var/log/squid/access.log
SARG:          R�solution des adresses IP (-n) = Non
SARG:                R�pertoire de sortie (-o) = /var/www/squid-reports/
SARG: Utiliser l'adresse IP au lieu de l'identifiant utilisateur (-p) = Non
SARG:                         Site acc�d� (-s) =
SARG:                               Heure (-t) =
SARG:                         Utilisateur (-u) =
SARG:               R�pertoire temporaire (-w) = /tmp
SARG:                Messages de d�bogage (-x) = Oui
SARG:              Messages des processus (-z) = Non
SARG:
SARG: sarg version: 2.2.3.1 Jan-02-2007
SARG: Maximum file descriptor: cur=1024 max=1024, changed to cur=20000 max=20000
SARG: Loading User table: /etc/squid/sarg.usertab
SARG: Lecture du journal des acc�s: /var/log/squid/access.log
SARG:    Enregistrements lus: 0, �crits: 0, exclus: 0
SARG: Aucun enregistrement trouv
SARG: Fin


Aucun enregistrement trouvé, je suppose qu'il s'agit du rapport HTML qui n'a pas été généré, puisque /var/www/squid-reports est vide hmm

Ensuite, 60 Mo par jour avec 200... Je peux donc espérer entre 4 et 5 Mo pour ma part.
L'idée de faire travailler Sarg sur les logs compressés de Squid est meilleure que de le faire sur les originaux de Squid, c'est certain, mais toutefois il y a encore un écueil sur ma route.

En effet, mes fichiers de log ont comme nom la date du jour pour une meilleure lisibilité, donc je dois le préciser dans le sarg.conf :

Code:

access_log /var/log/squid/access.log

Et le remplacer par :

Code:

access_log /home/srvtroxy/Bureau/Archives/log_`date +"%y-%m-%d"`

non ?

Hors ligne

 

#6 Le 02/05/2008, à 10:46

Re: Squid : Trop de logs pour une page web

Aucun enregistrement trouvé, je suppose qu'il s'agit du rapport HTML qui n'a pas été généré, puisque /var/www/squid-reports est vide hmm

c'est "normal". il faut que tu changes d'abord le format des logs dans le fichier squid.conf (comme indiqué dans le post précédent), que tu arrêtes squid, que tu supprimes le fichier access.log et qu'ensuite tu redémarres squid (s'il y a deux formats de log dans le fichier, sarg ne génère rien)

En effet, mes fichiers de log ont comme nom la date du jour pour une meilleure lisibilité, donc je dois le préciser dans le sarg.conf

par défaut, sarg regarde le fichier indiqué par la directive "access_log". si tu veux générer le rapport pour un fichier (donc pour une date das ton cas) en particulier, il faut le spécifier avec l'option "-l" :

Code:

sarg -x -l /home/srvtroxy/Bureau/Archives/log_`date +"%y-%m-%d"`

tu peux le faire dans un cron par exemple wink

modifie également, dans sarg.conf, la directive report_type comme suit :

Code:

report_type topusers topsites sites_users users_sites date_time denied auth_failures site_user_time_date downloads

ça te générera toutes les stats que sarg sait faire wink

la directive "lastlog" indique combien de rapports doivent être conservés.

Dernière modification par wblitz (Le 02/05/2008, à 10:49)


"Un optimiste, c'est un homme qui plante deux glands et qui s'achète un hamac" - Jean de Lattre de Tassigny
Pensez à mettre [RÉSOLU] dans le sujet de vos posts une fois qu'ils le sont...
quelques docs

Hors ligne

 

#7 Le 02/05/2008, à 11:06

Re: Squid : Trop de logs pour une page web

Manipulations effectuées, et le problème perdure sad

J'ai donc modifié le format des logs de Squid, stoppé ce dernier, supprimé access.log puis relancé Squid.
J'ai également modifié les directives dans sarg.conf, et voici le résultat :

Code:

root@srvtroxy:/# sarg -x -l /home/srvtroxy/Bureau/Archives/log_08-05-01.gz
SARG: Init
SARG: Loading configuration from: /etc/squid/sarg.conf
SARG: Chargement des exclusions depuis: /etc/squid/sarg.hosts
SARG: Chargement des exclusions depuis: /etc/squid/sarg.users
SARG: Param�tres:
SARG:
SARG:         Nom de l'h�te ou adresse IP (-a) = 
SARG:     Journal des agents utilisateurs (-b) = 
SARG:              Fichier des exclusions (-c) = /etc/squid/sarg.hosts
SARG:                      Date d�but-fin (-d) = 
SARG: Adresse e-mail destinataire des statistiques (-e) = 
SARG:            Fichier de configuration (-f) = /etc/squid/sarg.conf
SARG:                      Format de date (-g) = USA (mm/dd/yyyy)
SARG:        Statistiques des adresses IP (-i) = Non
SARG:                    Journal d'entr�e (-l) = /var/log/squid/access.log
SARG:          R�solution des adresses IP (-n) = Non
SARG:                R�pertoire de sortie (-o) = /var/www/squid-reports/
SARG: Utiliser l'adresse IP au lieu de l'identifiant utilisateur (-p) = Non
SARG:                         Site acc�d� (-s) = 
SARG:                               Heure (-t) = 
SARG:                         Utilisateur (-u) = 
SARG:               R�pertoire temporaire (-w) = /tmp
SARG:                Messages de d�bogage (-x) = Oui
SARG:              Messages des processus (-z) = Non
SARG:
SARG: sarg version: 2.2.3.1 Jan-02-2007
SARG: Maximum file descriptor: cur=1024 max=1024, changed to cur=20000 max=20000
SARG: Loading User table: /etc/squid/sarg.usertab
SARG: Decompression du journal: /home/srvtroxy/Bureau/Archives/log_08-05-01.gz > /tmp/sarg-file.in (zcat)
SARG: Lecture du journal des acc�s: /tmp/sarg-file.in
SARG:    Enregistrements lus: 0, �crits: 0, exclus: 0
SARG: Aucun enregistrement trouv
SARG: Fin

Mon /var/www/squid-reports est donc bien toujours vide...

Squid a bien redémarré sans souci :

Code:

root@srvtroxy:/# ps aux | grep squid
root      8933  0.0  0.1   4784   652 ?        Ss   10:59   0:00 /usr/sbin/squid -D -sYC
proxy     8935  0.0  1.0   7800  5352 ?        S    10:59   0:00 (squid) -D -sYC
proxy     8936  0.0  0.2   2944  1352 ?        Ss   10:59   0:00 (squidGuard)
proxy     8937  0.0  0.2   2948  1352 ?        Ss   10:59   0:00 (squidGuard)
proxy     8941  0.0  0.2   2948  1352 ?        Ss   10:59   0:00 (squidGuard)
proxy     8942  0.0  0.2   2952  1352 ?        Ss   10:59   0:00 (squidGuard)
root      8968  0.0  0.1   2992   764 pts/0    R+   11:05   0:00 grep squid

Je suis donc quelque peu "bloqué" neutral , et les recherches Google qui exposent ce problème n'ont pas beaucoup de solutions.

Hors ligne

 

#8 Le 02/05/2008, à 11:19

Re: Squid : Trop de logs pour une page web

et il y a quoi dans le fichier "/home/srvtroxy/Bureau/Archives/log_08-05-01.gz" ? les logs ont bien la forme attendue ? ("ip - login - ...") tu peux voir le contenu avec "zless" par exemple.
et est-ce que le fichier de log du jour (/var/log/squid/access.log) a bien le bon format ?

Dernière modification par wblitz (Le 02/05/2008, à 11:21)


"Un optimiste, c'est un homme qui plante deux glands et qui s'achète un hamac" - Jean de Lattre de Tassigny
Pensez à mettre [RÉSOLU] dans le sujet de vos posts une fois qu'ils le sont...
quelques docs

Hors ligne

 

#9 Le 02/05/2008, à 11:29

Re: Squid : Trop de logs pour une page web

A vouloir aller trop vite sans réfléchir, on finit toujours par finir dans le mur, je viens d'en faire l'expérience roll.

En effet, les logs d'hier n'ont pas la bonne syntaxe, j'ai donc tout relancé pour avoir de bons logs, et mon rapport Sarg se génère sans souci.

PS : Ces rapports sont-ils suffisants au yeux de la loi ou les logs de Squid restent-ils les seuls à être valable ? (Pour ma culture générale, je compte garder les logs durant un an de toute manière smile )

Un gros merci à toi, j'aurais cherché durant longtemps sans ton aide wink

Hors ligne

 

#10 Le 02/05/2008, à 11:42

Re: Squid : Trop de logs pour une page web

PS : Ces rapports sont-ils suffisants au yeux de la loi ou les logs de Squid restent-ils les seuls à être valable ? (Pour ma culture générale, je compte garder les logs durant un an de toute manière wink )

il me semble (je ne suis pas juriste, donc à faire confirmer) que seuls les fichiers de logs pourront avoir valeur de preuves. de toute manière, ce n'est pas toi qui en fera l'étude, tu te contentes de fournir les infos ; l'interprétation reste du domaine du juge wink

par contre, n'oublie pas de prévenir tes utilisateurs que tu as mis en place ce système de rapport automatique. mets en place (ou adapte l'existante) une charte à signer, en indiquant que le service info a accès à l'intégralité des données concernant les pages web visitées. normalement, tu dois également le déclarer auprès de la CNIL (et ça doit être indiqué aux utilisateurs), puisque ça traite des données nominatives.

bon courage pour la suite en tout cas ! un petit "résolu" dans le sujet si tout est ok pour toi wink

Dernière modification par wblitz (Le 02/05/2008, à 11:44)


"Un optimiste, c'est un homme qui plante deux glands et qui s'achète un hamac" - Jean de Lattre de Tassigny
Pensez à mettre [RÉSOLU] dans le sujet de vos posts une fois qu'ils le sont...
quelques docs

Hors ligne

 

#11 Le 02/05/2008, à 11:49

Re: Squid : Trop de logs pour une page web

Les chartes et autres papiers sont déjà en vigueur, pas de souci de ce côté-là. Le réseau tourne depuis longtemps, je n'ai fait que mettre en place le proxy avant de déployer le wi-fi aux visiteurs smile

Par contre, pour le sujet je ne peux pas l'éditer pour placer le "Résolu"...
La raison est que j'ai posté le premier message sans être identifié (ou avant de m'inscrire de souvenir, donc pas d'accès à la fonction modifier sad)

Hors ligne

 

#12 Le 02/05/2008, à 11:55

Re: Squid : Trop de logs pour une page web

Par contre, pour le sujet je ne peux pas l'éditer pour placer le "Résolu"...
La raison est que j'ai posté le premier message sans être identifié (ou avant de m'inscrire de souvenir, donc pas d'accès à la fonction modifier sad)

bouh le vilain :p ben si un gentil admin passe par là roll


"Un optimiste, c'est un homme qui plante deux glands et qui s'achète un hamac" - Jean de Lattre de Tassigny
Pensez à mettre [RÉSOLU] dans le sujet de vos posts une fois qu'ils le sont...
quelques docs

Hors ligne

 

#13 Le 02/10/2008, à 14:06

Re: Squid : Trop de logs pour une page web

Bonjour,

je me permets de déterrer ce topic car j'ai quelques soucis avec SARG.

effectivement j'ai installé un proxy squid + squidGuard le tout avec authentification LDAP sur notre domaine, cela fonctionne bien.

maintenant j'ai plusieurs soucis que je n'arrive pas à régler sous SARG

tout d'abord si je fais via webmin 'générer un rapport', SARG me présente un rapport par jour, avec l'accès de mes utilisateurs aux sites. C'est correct, sauf que desfois j'ai le nom de l'utilisateur, et d'autres fois le nom de la machine de l'utilisateur. J'ai donc dans mes rapports plusieurs lignes pour un même utilisateur

ensuite chaque semaine SARG me génère un nouveau rapport, j'ai alors DAILY, WEEKLY, MONTHLY d'indiqué.Cependant je n'ai rien dans le répertoire, si je clique dessus sous webmin j'ai un jolie page blanche, et en me rendant dans /var/www/squid-reports/ j'ai bien un repertoire de type 2008Oct... par jour (celui que je voyais en générant un rapport manuellement) et les répertoires Daily et Weekly sont vides

Enfin je serais interessé pour plus de renseignements sur logrotate, car pour l'instant en test sur 5 utilisateurs, j'ai des rapports de 15 Mo à la journée hmm

merci de votre aide


" Un bon indien est un indien mort "
                   Général Sheridan, cavalerie des Etats Unis.

Hors ligne

 

#14 Le 03/10/2008, à 15:56

Re: Squid : Trop de logs pour une page web

up?


" Un bon indien est un indien mort "
                   Général Sheridan, cavalerie des Etats Unis.

Hors ligne

 

#15 Le 03/10/2008, à 18:06

Re: Squid : Trop de logs pour une page web

pour logrotate : http://www.delafond.org/traducmanfr/man … ate.8.html
pour les rapports, regarde pour virer certains des rapports générés dans le module webmin.


"Un optimiste, c'est un homme qui plante deux glands et qui s'achète un hamac" - Jean de Lattre de Tassigny
Pensez à mettre [RÉSOLU] dans le sujet de vos posts une fois qu'ils le sont...
quelques docs

Hors ligne

 

#16 Le 04/10/2008, à 20:34

Re: Squid : Trop de logs pour une page web

ok merci je vais plancher la dessus et fais suivre!


" Un bon indien est un indien mort "
                   Général Sheridan, cavalerie des Etats Unis.

Hors ligne

 

#17 Le 06/10/2008, à 09:12

Re: Squid : Trop de logs pour une page web

je n'ai dans webmin que les tâches cron des rapports du jour/semaine/mois, je n'ai donc rien à virer.

ceci ne m'explique pas pourquoi je n'ai rien dans mon repertoire Daily ou Weekly!

si quelqu'un a une idée tongue


" Un bon indien est un indien mort "
                   Général Sheridan, cavalerie des Etats Unis.

Hors ligne

 

Pied de page du Forum

Propulsé par FluxBB
Style adapté par Ogcreation.fr.