Postfix lent

PatriceJ · Le 04/01/2011, à 17:18

Bonjour à tous

J'ai un serveur Debian sur lequel j'ai installé Postfix/Dovecot/Amavis. Pas de problème en général pour envoyer des e-mails.
Cependant quand nous envoyons des e-mails en nombre aux membres de notre forum celui-ci est très très lent.
Nous pouvons envoyer 15.000 emails ou plus et alors le débit est d'environ 400 e-mails par heure, ce qui demande donc près de 2 jours pour tout envoyer.

Pouvez-vous me guider et me dire vers quels paramètres je devrais regarder pour débrider Postfix.

Merci

Voici le résultat de la commande postconf -n

alias_database = hash:/aDirectory/aliases
alias_maps = hash:/aDirectory/aliases
append_dot_mydomain = no
biff = no
config_directory = /aDirectory/postfix
content_filter = smtp-amavis:[127.0.0.1]:xxxxx
debug_peer_level = 1
default_destination_concurrency_limit = 200
disable_vrfy_command = yes
html_directory = /aDirectory/postfix/html
inet_interfaces = all
mailbox_command = procmail -a "$EXTENSION"
mailbox_size_limit = 0
message_size_limit = 52428800
mydestination = $myhostname, localhost
mydomain = MyLocalServerName
myhostname = mail.htdpro.com
mynetworks = 1xx.xxx.xxx.xxx/8 [::ffff:1xxx.xxx.xxx.xxx]/104 [::1]/1xx, 1xx.xx.xxx.0/24
myorigin = $myhostname
qmgr_message_active_limit = 40000
readme_directory = /aDirectory/postfix
receive_override_options = no_address_mappings
recipient_delimiter = +
relayhost =
smtpd_banner = $myhostname ESMTP Bonjour
smtpd_helo_required = yes
smtpd_helo_restrictions = reject_invalid_helo_hostname, permit_mynetworks, permit_sasl_authenticated, reject_unauth_destination, reject_rbl_client bl.spamcop.net, reject_rbl_client zen.spamhaus.org, reject_rbl_client opm.blitzed.org, reject_rbl_client cbl.abuseat.org, reject_rbl_client dialup.blacklist.jippg.org
smtpd_recipient_restrictions = permit_mynetworks, permit_sasl_authenticated, reject_unauth_destination, reject_rbl_client zen.spamhaus.org, reject_rbl_client bl.spamcop.net, reject_rbl_client zombie.dnsbl.sorbs.net, reject_rbl_client opm.blitzed.org, reject_rbl_client dialup.blacklist.jippg.org, reject_rbl_client cbl.abuseat.org, check_client_access hash:/etc

Dernière modification par PatriceJ (Le 07/01/2011, à 10:22)

Calimo · Le 04/01/2011, à 19:50

Salut,
Typiquement ce qui est lent c'est le passage par Amavis. Quelles vérifications sont effectuées ? Est-ce qu'il y a un passage anti-virus voire des requêtes vers des sites externes pour chaque message ? Qu'indique la commande top lors de ce genre d'opérations ?

Une solution pourrait être d'avoir une configuration alternative de postfix, écoutant sur un autre port (ouvert seulement sur localhost), et qui n'effectuerait pas de passage par amavis…

Uggy · Le 04/01/2011, à 21:54

- Déja sans tunner Postfix (genre mettre les queues en RAM, mettre un DNS local etc..) tu devrais pouvoir envoyer tes 15 000 mails en quelques 10ènes de minutes.

Apres tout dépend aussi de ta machine, de son proc, de la vitesses a laquelle répond le serveur DNS que tu interroges, de la capacité de ta ligne, de savoir si tu es en 100Mb/s Full duplex, en 1000, en half etc...etc..
- Regarde vraiment tous ces points

- Il faut au moins quelques logs
- Voir rendre les logs + verveux (option -v)
- il faudrait voir si tu n'a pas modifié ton master.cf (genre maxproc etc)
- message_size_limit = 52428800 est ce que ca veut dire que les mails que tu envoi font 50 Mo ?
- A priori ton serveur a l'air que de n'envoyer ? Pas de recevoir ?
Dans ce cas, pourquoi Amavis, pourquoi des RBL ?

http://postfix.traduc.org/index.php/DEBUG_README.html
http://postfix.traduc.org/index.php/TUNING_README.html

En résumé, il y a un problème qui n'est pas lié a la configuration Postfix (dans le sens ou ton débit est tellement bas, que ce n'est a priori pas une histoire de tunning de parametres.)

vérifie:
- en 1er que ce n'est pas un problème "réseau". Débit de la ligne, configuration de la carte réseau (force bien en 100 Full mini) , configuration DNS, rapidité du serveur DNS (principal) etc... Ne sousestime pas cette 1ere étape.
- en 2eme, bypass Amavis pour tester...
Ensuite tu pourras t'attaquer au lien DEBUG_README.html etc..

PatriceJ · Le 05/01/2011, à 19:58

Merci à vous-deux pour vos réponses.

Le serveur est rapides on fait plein de choses bien plus consommatrices de bande passantes ou CPU. C'est un quadricore avec beaucoup de mémoire. Nagios ne m'alerte jamais pour un problème de charge.

On envoie et on reçoit des e-mails, le SMTP sert aux commerciaux. Les RBL bloquent les spammeurs.

message_size_limit = 52428800 est ce que ca veut dire que les mails que tu envoi font 50 Mo ? Non cela veut dire qu'on veut pouvoir envoyer à l'occasion un e-mail de 50M, dans le cas présent les e-mails sont légers ils font 14k.

Je vais voir la prochaine fois ce qui se passe en désactivant le scan anti-virus, mon nez me dit que c'est la piste... il faudra que je trouve la configuration pour le désactivé en envoi d'e-mail.

Merci encore c'est très gentil d'avoir pris du temps.:)

PatriceJ · Le 05/01/2011, à 20:34

J'ai trouvé cela dans fichier de config amavis

#Pour ne pas scanner les email sortant
@lookup_sql_dsn = (
['DBI:mysql:database=mailserver;host=127.xxx.xxx.xxx;port=xxxx',
'LaBaseDeDonneé',
'LeMotDePasseQueJaiMis']);
$sql_select_policy = 'SELECT domain FROM domain WHERE CONCAT("@",domain) IN (%k)';

Donc cela veut dire que normalement il ne doit pas scanner les emails envoyé depuis le domaine.
Mais comme j'ai plusieurs noms de domaine, on ne lui indique peut-être pas le bon...??

PatriceJ · Le 05/01/2011, à 20:55

Je viens de rajouter à Spamassassin
trusted_networks 1xx.xxx.xxx/24

Uggy · Le 06/01/2011, à 01:20

PatriceJ a écrit :

[...] et on reçoit des e-mails

Ok. Ca semblait étrange que seuls les mails pour des adresses en @mail.htdpro.com pouvaient être reçus. Mais si tes adresse emails sont comme çà.. ?

PatriceJ · Le 06/01/2011, à 13:26

Non, on a plusieurs noms de domaine. En fait aucunes n'est comme cela !

Uggy · Le 06/01/2011, à 15:39

PatriceJ a écrit :

Non, on a plusieurs noms de domaine. En fait aucunes n'est comme cela !

Tu peux me montrer où dans ta conf (postconf -n au dessus) on peut voir que d'autres domaines sont acceptés ?

PatriceJ · Le 06/01/2011, à 16:03

On ne le voit pas en demandant à postconf -n mais c'est pourtant dans le fichier de configuration
c'est ici :

html_directory = aDirectory/postfix/html
virtual_mailbox_domains = mysql:/aDirectory/postfix/virtual-mailbox-domains.cf
virtual_mailbox_maps = mysql:/aDirectory/postfix/virtual-mailbox-maps.cf
virtual_alias_maps = mysql:/aDirectory/postfix/virtual-alias-maps.cf,mysql:/aDirectory/postfix/email2email.cf
virtual_transport = dovecot
dovecot_destination_recipient_limit = 1

#Passe le travaille d'autentification Ã Dovecot
smtpd_sasl_type=dovecot
smtpd_sasl_path=aDirectory/auth
smtpd_sasl_auth_enable=yes

Dernière modification par PatriceJ (Le 06/01/2011, à 16:04)

Uggy · Le 06/01/2011, à 18:01

PatriceJ a écrit :

On ne le voit pas en demandant à postconf -n mais c'est pourtant dans le fichier de configuration

Ca se voit dans le "postconf -n" mais tu ne l'as pas posté en intégralité.

Poste ton postconf -n complet.

Dernière modification par Uggy (Le 06/01/2011, à 18:02)

PatriceJ · Le 06/01/2011, à 18:07

Le postconf - n est au début du post, voici le fichier de configuration tel qu'il est (avec les chemins modifiés).
Encore merci pour ton temps:)

debug_peer_level = 1

#####################################
#Cosmetique
smtpd_banner = $myhostname ESMTP Bonjour
#smtpd_banner = $myhostname ESMTP $mail_name (Debian/GNU)
disable_vrfy_command = yes

########################################
############################################################

#Ne pas mettre un nom de domaine qui est dans la base (alias)
myhostname = mail.htdpro.com
myorigin = $myhostname

biff = no

# appending .domain is the MUA's job.
append_dot_mydomain = no
#Patrice
mydomain = myLocalServerName
alias_maps = hash:/aDirectory/aliases
alias_database = hash:/aDirectory/aliases
mydestination = $myhostname, localhost
relayhost =
mynetworks = 1xx.xxx.xxx.xxx/8 [::ffff:1xxx.xxx.xxx.xxx]/104 [::1]/1xx, 1xx.xxx.xxx.0/24

mailbox_command = procmail -a "$EXTENSION"
mailbox_size_limit = 0
recipient_delimiter = +
inet_interfaces = all

readme_directory = aDirectory/postfix

smtpd_helo_required = yes

html_directory = aDirectory/postfix/html
virtual_mailbox_domains = mysql:/aDirectory/postfix/virtual-mailbox-domains.cf
virtual_mailbox_maps = mysql:/aDirectory/postfix/virtual-mailbox-maps.cf
virtual_alias_maps = mysql:/aDirectory/postfix/virtual-alias-maps.cf,mysql:/aDirectory/postfix/email2email.cf
virtual_transport = dovecot
dovecot_destination_recipient_limit = 1

#Passe le travaille d'autentification à Dovecot
smtpd_sasl_type=dovecot
smtpd_sasl_path=private/auth
smtpd_sasl_auth_enable=yes

smtpd_recipient_restrictions=
permit_mynetworks,
permit_sasl_authenticated,
reject_unauth_destination,
reject_rbl_client zen.spamhaus.org,
reject_rbl_client bl.spamcop.net,
reject_rbl_client zombie.dnsbl.sorbs.net,
reject_rbl_client opm.blitzed.org,
reject_rbl_client dialup.blacklist.jippg.org,
reject_rbl_client cbl.abuseat.org,
check_client_access hash:/aDirectory/postfix/blacklist-clients,
check_client_access hash:/aDirectory/postfix/whitelist-clients

smtpd_helo_restrictions =
reject_invalid_helo_hostname,
permit_mynetworks,
permit_sasl_authenticated,
reject_unauth_destination,
reject_rbl_client bl.spamcop.net,
reject_rbl_client zen.spamhaus.org,
reject_rbl_client opm.blitzed.org,
reject_rbl_client cbl.abuseat.org,
reject_rbl_client dialup.blacklist.jippg.org

smtpd_sender_restrictions =
permit_mynetworks,
permit_sasl_authenticated,
reject_unauth_destination,
reject_rbl_client zen.spamhaus.org,
reject_rbl_client bl.spamcop.net,
reject_rbl_client dialup.blacklist.jippg.org,
reject_rbl_client opm.blitzed.org,
reject_rbl_client cbl.abuseat.org

smtpd_tls_cert_file=/aDirectory/certs/postfix.pem
smtpd_tls_key_file=/aDirectory/private/postfix.pem
smtpd_use_tls=yes

#Pour Amavis
content_filter=smtp-amavis:[1xx.xxx.xxx.xxx]:10024
receive_override_options=no_address_mappings
message_size_limit = 52428800
qmgr_message_active_limit = 40000

Uggy · Le 07/01/2011, à 00:50

PatriceJ a écrit :

Le postconf - n est au début du post

Oui...mais il est incomplet...
Si tu relances la commande, tu verras que tu auras d'autres lignes a la fin... les lignes non postées au début du thread...d'ou ma conclusion fausse sur les mails entrants.

PatriceJ · Le 07/01/2011, à 10:19

Le voila plus complet... et merci encore.

alias_database = hash:/aDirectory/aliases
alias_maps = hash:/aDirectory/aliases
append_dot_mydomain = no
biff = no
config_directory = /aDirectory/postfix
content_filter = smtp-amavis:[127.0.0.1]:xxxxx
debug_peer_level = 1
disable_vrfy_command = yes
html_directory = /aDirectory/postfix/html
inet_interfaces = all
mailbox_command = procmail -a "$EXTENSION"
mailbox_size_limit = 0
message_size_limit = 52428800
mydestination = $myhostname, localhost
mydomain = MyLocalServerName
myhostname = mail.htdpro.com
mynetworks = 1xx.xxx.xxx.xxx/8 [::ffff:1xxx.xxx.xxx.xxx]/104 [::1]/1xx, 1xx.xxx.xxx.0/24
myorigin = $myhostname
qmgr_message_active_limit = 40000
readme_directory = /aDirectory/postfix
receive_override_options = no_address_mappings
recipient_delimiter = +
relayhost =
smtpd_banner = $myhostname ESMTP Bonjour
smtpd_helo_required = yes
smtpd_helo_restrictions = reject_invalid_helo_hostname,
permit_mynetworks,
permit_sasl_authenticated,
reject_unauth_destination,
reject_rbl_client bl.spamcop.net,
reject_rbl_client zen.spamhaus.org,
reject_rbl_client opm.blitzed.org,
reject_rbl_client cbl.abuseat.org,
reject_rbl_client dialup.blacklist.jippg.org

smtpd_recipient_restrictions = permit_mynetworks,
permit_sasl_authenticated,
reject_unauth_destination,
reject_rbl_client zen.spamhaus.org,
reject_rbl_client bl.spamcop.net,
reject_rbl_client zombie.dnsbl.sorbs.net,
reject_rbl_client opm.blitzed.org,
reject_rbl_client dialup.blacklist.jippg.org,
reject_rbl_client cbl.abuseat.org,
check_client_access hash:/aDirectory/blacklist-clients,
check_client_access hash:/aDirectory/whitelist-clients
smtpd_sasl_auth_enable = yes
smtpd_sasl_path = aDirectory/auth
smtpd_sasl_type = dovecot
smtpd_sender_restrictions = permit_mynetworks,
permit_sasl_authenticated,
reject_unauth_destination,
reject_rbl_client zen.spamhaus.org,
reject_rbl_client bl.spamcop.net,
reject_rbl_client dialup.blacklist.jippg.org,
reject_rbl_client opm.blitzed.org,
reject_rbl_client cbl.abuseat.org
smtpd_tls_cert_file = /aDirectory/xxxxxx.pem
smtpd_tls_key_file = /aDirectory/xxxxxx.pem
smtpd_use_tls = yes
virtual_alias_maps = mysql:/aDirectory/virtual-alias-maps.cf,mysql:/aDirectory/email2email.cf
virtual_mailbox_domains = mysql:/aDirectory/mailbox-domains.cf
virtual_mailbox_maps = mysql:/aDirectory/virtual-mailbox-maps.cf
virtual_transport = dovecot

Uggy · Le 07/01/2011, à 11:09

et donc tu as fais les tests demandés ?
Vérifier les temps d'acces DNS... etc.. et surtout ne pas mettre Amavis quelques minutes pour voir si il y a une différence ?

PatriceJ · Le 07/01/2011, à 11:18

Je ferai le test sans amavis le mois prochain, lors de l'envoi d'e-mails (on en envoie pas tous les jours en quantité, on est pas spammeurs )

PatriceJ · Le 07/01/2011, à 11:30

Je viens de faire un test sur les dns
195.154.223.1
62.39.164.12
il est excellent

Uggy · Le 07/01/2011, à 12:24

PatriceJ a écrit :

Je viens de faire un test sur les dns
195.154.223.1
62.39.164.12
il est excellent

ok..
Ces 2 DNS acceptent les requêtes récursives depuis n'importe qu'elle IP... Ces 2 serveurs sont donc susceptibles de se retrouver très, trop chargés... mais bon.

Lors de ton prochain tests, active en plus une verbosité supérieure dans les logs (voir le lien fourni)

PatriceJ · Le 07/01/2011, à 12:29

Lors de ton prochain tests, active en plus une verbosité supérieure dans les logs

Absolument

PatriceJ · Le 27/01/2011, à 21:52

Et bien j'ai commenté la ligne
content_filter = smtp-amavis:[127.0.0.1]:xxxxx
et les envois sont devenu pratiquement instantanés....

Emrys Myrddin · Le 27/08/2014, à 14:51

Bonjour,
J'ai l'exact même problème que toi, mis a part que ce n'est pas moi qui est mis en place ce serveur et que je ne suis absolument pas habituer à la configuration de serveur SMTP :-)

Je vois que tu as commenter la ligne content_filter, chose que j'ai également fait, seulement cela ne semble pas être prit en compte... A moins que cela ne soit pas pris en compte pour les mails déjà présent dans la queue ?
Parce que j'ai actuellement une queue de 30 000 mails, et ils sont tous vérifié par amavis visiblement d'après mes observation avec un top. Pour prendre enregistrer les modification je n'ai fait qu'un 'service postfix restart', cela n'est peut être pas suffisant ?

PatriceJ · Le 27/08/2014, à 14:56

Il faut peut être faire la commande
postfix flush

Dernière modification par PatriceJ (Le 27/08/2014, à 14:57)

Emrys Myrddin · Le 27/08/2014, à 14:59

Merci pour ta réponse très rapide !
Je vai essayer tout de suite.

Emrys Myrddin · Le 27/08/2014, à 15:02

Hum cela ne semble pas changer grand chose... Le processus amavis-new est toujours en tête de mes processus.

PatriceJ · Le 27/08/2014, à 15:04

Ne faut-il pas relancer amavis/spamassassin ?

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 04/01/2011, à 17:18

Postfix lent

#2 Le 04/01/2011, à 19:50

Re : Postfix lent

#3 Le 04/01/2011, à 21:54

Re : Postfix lent

#4 Le 05/01/2011, à 19:58

Re : Postfix lent

#5 Le 05/01/2011, à 20:34

Re : Postfix lent

#6 Le 05/01/2011, à 20:55

Re : Postfix lent

#7 Le 06/01/2011, à 01:20

Re : Postfix lent

#8 Le 06/01/2011, à 13:26

Re : Postfix lent

#9 Le 06/01/2011, à 15:39

Re : Postfix lent

#10 Le 06/01/2011, à 16:03

Re : Postfix lent

#11 Le 06/01/2011, à 18:01

Re : Postfix lent

#12 Le 06/01/2011, à 18:07

Re : Postfix lent

#13 Le 07/01/2011, à 00:50

Re : Postfix lent

#14 Le 07/01/2011, à 10:19

Re : Postfix lent

#15 Le 07/01/2011, à 11:09

Re : Postfix lent

#16 Le 07/01/2011, à 11:18

Re : Postfix lent

#17 Le 07/01/2011, à 11:30

Re : Postfix lent

#18 Le 07/01/2011, à 12:24

Re : Postfix lent

#19 Le 07/01/2011, à 12:29

Re : Postfix lent

#20 Le 27/01/2011, à 21:52

Re : Postfix lent

#21 Le 27/08/2014, à 14:51

Re : Postfix lent

#22 Le 27/08/2014, à 14:56

Re : Postfix lent

#23 Le 27/08/2014, à 14:59

Re : Postfix lent

#24 Le 27/08/2014, à 15:02

Re : Postfix lent

#25 Le 27/08/2014, à 15:04

Re : Postfix lent

Pied de page des forums