Ubuntu-fr

Crone123

Problème de SWAP/RAM sur serveur

Bonjour,
J'ai un soucis depuis plusieurs semaine, qui ne m'étais jamais arrivé auparavant.
J'ai un serveur en local qui semble avoir un problème important de RAM, le serveur a 4Go de RAM.

Une fois fraichement démarré, il n'y a pas de problèmes, je peux l'utiliser normalement.
Cependant, au bout d'env 1 semaine qu'il est allumé, je constate qu'il n'alloue pas correctement la RAM.

Dans sysctl.conf: vm.swappinness = 0
Car je ne veux pas qu'il se mettre a swapper pour rien, théoriquement il est censé tourner autour de 2 - 3Go pas plus, avec le paramètre par défaut ça fait swapper en permanence.
Habituellement tout va très bien, du moins jusqu’à il y a quelques semaines. Ici j'ai l'impression que la machine a énormément ralentit, voire quelle rame. (alors qu'il n'y a rien de spécial de lancé, et que la charge du processeur ne dépasse pas 10 - 15%)

Et au bout d'env 1 semaine, j'ai l'impression que l'utilisation de la RAM se fige a un point, genre 2.2Go de RAM sur 4 utilisés, et qu'il est impossible de monter plus haut (en consommer +), tout ce qui dépasse part directement dans le swap. J'ai déjà changé de versions du kernel dans le doute, mais non, j'ai 2 serveurs, et plusieurs ordis qui ont la même version, et seul ce serveur à le problème. (et tout le matériel que j'ai est assez récent, donc ce n'est pas un problème d'âge)

En désactivant le swap, il semble que la machine ralentisse encore, mais que je puisse (et encore, ça dépends des fois) dépasser la limite figée. (cependant, des fois il arrive que des programmes censés démarrer hyper rapidement démarrent a 2 a l'heure ou ne se lancent pas du tout dans cet état)
D'autres part, avant la machine supportait des transferts à débits constants de 110 - 120mo/s en FTP, et 60mo/s en SSHFS. Maintenant, même après redémarrage, la machine a une vitesse saccadée en FTP (80 - 100mo/s avec des chutes a 500ko/s) et 15 - 20mo/s en SSHFS grand maximum (des fois beaucoup moins), et ce, quelque soit la carte réseau (toutes en 1Gbps), et même avec le CPU qui ne fait rien. (I5 quad core a 3.2Ghz)

Sachant que le problème de "blocage" ne surviens qu'après env 1 semaine d'utilisation (malgré que la machine soit considérablement plus lente qu'avant en règle générale) et que je n'ai modifié aucun paramètre récemment dans le serveur, et sachant que mes ordis/serveurs partagent la même configuration que ce soit au niveau des programmes ou du sysctl.conf.
Il y a quelques mois le serveur avait une Nvidia GT 440 (PC reconvertit en serveur), que j'ai enlevé pour économiser du courant car le CPU Intel a déjà un GPU et que pour un serveur ce n'est pas très utile d'avoir un gros GPU, je ne me souviens pas d'avoir eu des problèmes avec ça, mais dans le doute: Le GPU Intégré n'a pas de risque de pomper un surplus de RAM qui pourrait causer le problème?
Y a t-il une forte probabilité que ce soit un problème matériel? Si oui, la probabilité pencherait telle + vers la RAM, la carte mère, ou le BIOS (sachant que le BIOS est a jour, et n'a pas eu de soucis depuis 2ans)
Me conseillez vous de changer la RAM? (sachant que ça représente un coût, j'aimerais en être à peu près sûr avant...)

Merci d'avance pour vos conseils

EDIT: En fait, ce n'est pas 1 semaine, c'est entre 3 et 5jours pour constater le blocage.

Dernière modification par Crone123 (Le 04/05/2014, à 22:09)

bruno

Re : Problème de SWAP/RAM sur serveur

Bonjour,

Quelle version d'ubuntu et quelle architecture utilises-tu ?
Retour au moins de :

uname -a

Quels sont les services actifs sur ton serveur ? As-tu regardé avec top ou un autre outil quels services consomment le plus de RAM ?

Avec le paramètre vm.swappinness = 0, la machine ne devrait « swapper » que lorsque toute la mémoire est utilisée. Soit l'intégralité des 4Go moins la quantité de RAM allouée à la carte graphique.

Crone123

Re : Problème de SWAP/RAM sur serveur

Ubuntu 12.04 LTS 64bits.

Linux SMGLive-Server 3.13.0-24-generic #46~precise1-Ubuntu SMP Wed Apr 9 18:45:09 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux

Ce qui consomme le plus de RAM, ce sont généralement les sessions graphiques VNC des utilisateurs, enfin bien sûr les services type BIND/MySQL ça consomme aussi pas mal.

Pour le paramètre je sais, ceci dit là j'ai réussi a remplir intégralement la RAM, donc je pense pas que le soucis soit matériel (sachant que je n'ai pas redémarré, j'ai juste vidé le SWAP, pompé de la RAM, et ouvert le SWAP)
Je vais voir, je me demande si effectivement c'est pas le GPU Intel qui fait ça, parce que je sais pas combien de RAM il pompe....Si c'est 1.5Go (ce qui ne m'étonnerais pas), alors c'est tout à fait possible ! (mon Nvidia avait 1.5Go de RAM)

bruno

Re : Problème de SWAP/RAM sur serveur

Effectivement s'il y a plusieurs session VNC ouvertes cela peut être très gourmand en RAM. dans ce cas il faut envisager de monter à 8Go de RAM ou plus suivant les besoins.

Pour le GPU intégré, il y a normalement un réglage dans le BIOS permettant de lui attribuer une certaine quantité de mémoire.

Crone123

Re : Problème de SWAP/RAM sur serveur

Oui, ce qui pompe en particulier sur les sessions VNC c'est d'avoir Firefox avec beaucoup d'onglets ouverts (oui, ça paraît con, mais c'est bien pratique), avant j'avais un autre serveur qui avait 8Go de RAM, et le problème ne se posait pas (d'autant qu'il y avait 1.5Go de RAM graphique dédié), maintenant effectivement, comme il y a 2 - 3 sessions VNC, c'est possible que ça pompe en RAM graphique, et il me semble que j'avais laissé 1.5Go (et là je ne sais plus, il faut que je vérifie) dans les paramètres du BIOS, parce que j'avais juste fait un test avec sous Windows7 une fois, avant qu'il soit serveur.

Que me conseillez vous?

Rajouter de la RAM: Oui/non?
Réduire la quantité de RAM utilisée par le GPU Intel: Oui/non?
Remettre un GPU Nvidia (qui traîne dans le placard) type GT 440 avec 1.5Go de RAM dédiée: Oui/non?
(Sachant qu'il y a des sessions VNC, est-ce que le fait de mettre le GPU Nvidia et virer le GPU Intel du coup accélererais la machine, TurboVNC utilise t-il le GPU?)
Merci d'avance

bruno

Re : Problème de SWAP/RAM sur serveur

Rajouter de la RAM : oui pour avoir au moins 8Go au total (pour 1 session graphique avec Firefox et plusieurs onglets, on doit déjà être à 1 Go de RAM).

Pour le reste il faut tester car je n'ai aucune idée de l'utilisation de la mémoire de la carte graphique par VNC et les différentes sessions de bureau. J'aurais tendance à penser que cette mémoire est surtout sollicitée pour de hautes résolutions et par les applications 3D. Donc je testerais en réduisant à 512 Mo pour libérer 1Go pour le système.

Dernière modification par bruno (Le 05/05/2014, à 16:38)

Crone123

Re : Problème de SWAP/RAM sur serveur

Je pourrais aussi tester en remettant mon GPU Nvidia, histoire de voir si j'ai toujours le problème. Si oui, alors ce n'est pas le GPU, si non c'est que c'était ça.
Et je pense aussi que 8Go c'est pas loin d'être indispensable.

Sinon, une session VNC ça ne consomme pas des masses, disons, 80mo pour Unity il me semble, + le reste, on doit tourner a env 180 - 250mo pour une session vide, sauf erreur.
Et honnête, je suis assez surpris, l'environnement de bureau ne consomme pas vraiment beaucoup sous Linux.
Sur un autre serveur (plus petit) qui a aussi 4Go de ram: j'arrive a faire tourner la session VNC, + toutes les applications sur serveur (et il y en a), sur moins de 700mo de RAM.

Bon, je vais déjà tester ce soir de voir ce qu'il y a dans mon BIOS niveau réglages, et pourquoi pas remettre mon GPU, au pire qu'il soit dans le placard ou dans le serveur, peu importe. Je verrais bien au bout de quelques jours si j'ai de nouveau le bug ou pas.

Brunod

Re : Problème de SWAP/RAM sur serveur

Ça ressemble à une fuite de ram. Il faudrait monitorer la quantité de ram  une fois tous les services lancés et vooir si cela dérive avec le temps. Dans ce cas, remettre de la ram ne fera que reporter le problème.

---

Windows est un système d'exploitation de l'homme par l'ordinateur. Linux, c'est le contraire...
39 pc linux convertis

Crone123

Re : Problème de SWAP/RAM sur serveur

A moins que la fuite de ram soit dans le driver graphique, mais j'ai l'impression que c'est plutôt normal en fait, si j'ai bien défini 1.5Go de RAM  pour le GPU, j'ai exactement 1.5Go de RAM qui manque par moment. Ils ne sont pas considérés comme utilisés, mais ne peuvent pas être utilisés ça part dans le SWAP.
Enfin, là j'ai fait un test de la mort, et j'ai chargé complètement le serveur en RAM (a genre 3.4Go de RAM utilisé) pour voir si il tiens, et en fait il a plutôt l'air de tenir, il a du réduire la RAM graphique, donc je pense que ça doit venir de là.
Je vous ferais un résumé de mes tests et conclusions si ça vous intéresse.

Crone123

Re : Problème de SWAP/RAM sur serveur

Bonjour,
Alors, j'ai pu tester quelques jours avec le GPU Nvidia dans le serveur. (pilotes installés et tout et tout)
Le serveur me parait plus rapide au niveau de la gestion des fenêtres graphiques sur VNC, ce qui semble logique.
J'ai vérifié, au niveau du BIOS, le fait de mettre le GPU Nvidia dans le serveur ça désactive intégralement le GPU Intel.
ça a d'ailleurs fait disparaître les courbes de température du CPU que j'avais sur psensor

Cependant: Là même en étant en dessous de 2Go de RAM il fini par swapper, on peut certes toujours utiliser normalement de la RAM, mais ça SWAP.
Alors, j'avais installé zram (comme sur mes autres ordis) ce qui fait que ça part en premier dans zram, c'est pratique, ça m'évite d'avoir un énorme ralentissement, mais ça ne résoud pas le problème. J'ai suivis plusieurs ordis, avec ou sans carte graphique dédiée, avec ou sans zram, et avec vm.swappiness = 0, dans tous les cas, ça ne swap pas avant que la RAM soit complètement pleine.

Quelqu'un a une idée?
Voici mon sysctl.conf au passage:

#
# /etc/sysctl.conf - Configuration file for setting system variables
# See /etc/sysctl.d/ for additional system variables
# See sysctl.conf (5) for information.
#

#kernel.domainname = example.com

# Uncomment the following to stop low-level messages on console
#kernel.printk = 3 4 1 3

##############################################################3
# Functions previously found in netbase
#

# Uncomment the next two lines to enable Spoof protection (reverse-path filter)
# Turn on Source Address Verification in all interfaces to
# prevent some spoofing attacks
net.ipv4.conf.default.rp_filter=1
net.ipv4.conf.all.rp_filter=1

# Uncomment the next line to enable TCP/IP SYN cookies
# See http://lwn.net/Articles/277146/
# Note: This may impact IPv6 TCP sessions too
net.ipv4.tcp_syncookies=1

# Uncomment the next line to enable packet forwarding for IPv4
net.ipv4.ip_forward=1

# Uncomment the next line to enable packet forwarding for IPv6
#  Enabling this option disables Stateless Address Autoconfiguration
#  based on Router Advertisements for this host
#net.ipv6.conf.all.forwarding=1


###################################################################
# Additional settings - these settings can improve the network
# security of the host and prevent against some network attacks
# including spoofing attacks and man in the middle attacks through
# redirection. Some network environments, however, require that these
# settings are disabled so review and enable them as needed.
#
# Do not accept ICMP redirects (prevent MITM attacks)
#net.ipv4.conf.all.accept_redirects = 0
#net.ipv6.conf.all.accept_redirects = 0
# _or_
# Accept ICMP redirects only for gateways listed in our default
# gateway list (enabled by default)
# net.ipv4.conf.all.secure_redirects = 1
#
# Do not send ICMP redirects (we are not a router)
#net.ipv4.conf.all.send_redirects = 0
#
# Do not accept IP source route packets (we are not a router)
#net.ipv4.conf.all.accept_source_route = 0
#net.ipv6.conf.all.accept_source_route = 0
#
# Log Martian Packets
#net.ipv4.conf.all.log_martians = 1
#

net.ipv6.conf.all.disable_ipv6=1   
net.ipv6.conf.default.disable_ipv6=1   
net.ipv6.conf.lo.disable_ipv6=1
vm.swappiness=0

Merci d'avance

EDIT: Quelques captures pour que vous visualisiez le problème:
Sachant que j'ai toujours un oeil sur la ram, je ne l'ai jamais remplie en gros je tourne autour de ça, donc ça ne devrait pas swapper, et pourtant il n'y a pas d'erreurs niveau système, BIOS ou autres, ou dans les applis, ça n'a pas l'air d'être un défaut matériel de la RAM.


(la quantité de SWAP inclus le zram)

Vous remarquez que ça part dans le zram, ce qui est normal vu les priorités.
j'ai activé zram quand j'ai commencé à avoir le problème car sinon tout part sur /dev/sda2 et ça deviens méga lent.

Avant de remettre la carte graphique c'était un peu plus violent: J'avais des fois vraiment beaucoup de SWAP.
Cependant ça pouvait s'expliquer par la mémoire partagée, ici théoriquement ce n'est plus le cas puisque ma carte Nvidia a 1.5Go dédié.

Sinon, dans le doute: Existe t-il un moyen simple (un commande en tant que root par exemple) pour réinitialiser la configuration du kernel, au niveau des paramètres par exemple, les remettre par défaut (Attention je ne veux pas de crash) histoire de voir si avec le temps y a pas un paramètre quelconque qui aurait pu être modifié pour faire ça.
Mais bon, ça m'étonnerais très franchement, surtout que:

Dernière modification par Crone123 (Le 10/05/2014, à 20:16)

Crone123

Re : Problème de SWAP/RAM sur serveur

Bonjour,
J'ai encore le problème actuellement, même en ayant fait des tests avec 8Go de RAM neuve, j'ai toujours le problème.

Pour limiter les effets, j'ai un script qui vide le swap toutes les 30min pour ne pas lui laisser le temps de se remplir....

Maintenant, j'ai vu autre chose qui me choque:

Regardez moi la consommation de RAM virtuelle, je n'ai jamais vu ça !
Vous ne pensez pas que ça peut avoir un rapport avec mon problème de RAM? Firefox est assez souvent ouvert avec quelques onglets pour cet utilisateur du serveur.
En général il ne fait pas grand chose, il sert télécharger quelques fichiers de temps a autres, et surtout garder quelques pages ouvertes. Le reste du temps il ne fait rien, donc il devrait pas monter comme ça.
Je sais que j'ai souvent des problèmes avec le flashplugin, qui prends tout le CPU a 100% si par hasard Firefox est lancé depuis 1 - 2jours et que la/les pages ouvertes contenaient un petit player ou une connerie dans un coin, donc au pire je le kille et on en parle plus.
Par contre, cette consommation de RAM virtuelle qui ne fait que monter ça m'inquiète.
D'ailleurs, ça correspond a quoi exactement cette valeur? Parce que htop la met bien en rouge, et il a raison, par rapport a toutes les autres elle est énorme.

Ici ça ne fait que 10 - 15min que Firefox est ouvert avec en gros 7 - 8onglets, soit pas grand chose.
Et juste le temps d'écrire le message, ça monte, ça monte...




Je sais pas ce que vous en pensez, mais j'ai bien l'impression que ça viens de là.

Pensez vous qu'un reset de Firefox pourra corriger le problème? Sachant que je ne me souviens pas avoir eu un problème du genre auparavant.... et sachant que mon vm.swappiness est a 0, normalement ça tape pas dans le SWAP si il reste de la RAM, et ici il en reste, en théorie....mais en pratique j'ai l'impression que le "VIRT" (faut vraiment m'expliquer ce que c'est) est tellement énorme que ça fout tout en l'air....

Merci

bruno

Re : Problème de SWAP/RAM sur serveur

En principe il na faut pas trop se préoccuper de la colonne « VIRT » (M_SIZE), comme son nom l'indique il s'agit d'une donnée virtuelle : c'est la mémoire qui serait occupée sur le système si le programme était unique. Autrement dit c'est la somme de tous les programmes/bibliothèques du système nécessaires pour faire tourner Firefox (de la libc jusqu'au bibliothèques GTK).
La valeur qui compte réellement c'est la colonne RES.

Ceci dit tes valeurs sont effectivement anormalement élevées : ~1 Go d'occupation mémoire pour firefox et le VIRT est 30 Go est très curieux car on devrait âtre à 2 ou 3GO maximum (à comparer aux valeurs obtenues sur d'autres machines).

Comme l'avait dit Brunod il s'agit très probablement d'une fuite mémoire et si tu n'as le problème que lorsque Firefox est lancé, c'est lui le coupable.
Tu dis que cela ne se produisait pas avant : y a-t-il eu des mises à jour ou des extensions installées depuis ? ou des bidouillages dans le about:config de Firefox ?

Dernière modification par bruno (Le 11/06/2014, à 14:36)

Pseudo supprimé

Re : Problème de SWAP/RAM sur serveur

regarde du côté de vm.overcommit

Crone123

Re : Problème de SWAP/RAM sur serveur

Salut,
vm.overcommit_memory est apparement a 0
et
vm.overcommit_ratio est a 50

ça correspond a quoi?
Je devrais les mettre a quoi?
Merci

inbox

Re : Problème de SWAP/RAM sur serveur

Salut,

Y'a-t-il une raison particulière pour que tu aies installé le noyau 3.13.0-24-generic (celui de Trusty Tahr lors de sa sortie) sur une version 12.04 ?

Cette version de noyau utilisée n'est plus à jour et devrait être 3.13.0-29-generic.

A+

---

Un problème résolu ? Indiquez le en modifiant le titre du sujet.

Crone123

Re : Problème de SWAP/RAM sur serveur

Ouais, je pourrais la mettre a jour.
Mais j'ai installé cette version en pensant que mon problème de ram venait peut être de la précédente que j'utilisais, comme la 3.13.0-24 était stable sur les autres ordis et que c'était la dernière je l'ai installée.

Dernière modification par Crone123 (Le 11/06/2014, à 15:49)

Pseudo supprimé

Re : Problème de SWAP/RAM sur serveur

lorsque tu as beaucoup beaucoup de mémoire RAM tu mets

vm.swappiness = 0
vm.overcommit_memory = 1

beaucoup,

vm.swappiness = 0
vm.overcommit_memory = 2
vm.overcommit_ratio = 95

mémoire normale; utilisation normale, c'est un peu ton cas;  tu ne touches pas vm.swappiness, et à l'overcommmit
tu as juste à régler un problème avec tes plugs & extensions sous firefox. Regarde celui qui est défaiillant en le désactivant.

sinon, tu peux t'amuser avec

watch -n1 cat /proc/meminfo

et voir  CommitLimit,  Committed_AS

799	    MemTotal: Total usable ram (i.e. physical ram minus a few reserved
800	              bits and the kernel binary code)
801	     MemFree: The sum of LowFree+HighFree
802	     Buffers: Relatively temporary storage for raw disk blocks
803	              shouldn't get tremendously large (20MB or so)
804	      Cached: in-memory cache for files read from the disk (the
805	              pagecache).  Doesn't include SwapCached
806	  SwapCached: Memory that once was swapped out, is swapped back in but
807	              still also is in the swapfile (if memory is needed it
808	              doesn't need to be swapped out AGAIN because it is already
809	              in the swapfile. This saves I/O)
810	      Active: Memory that has been used more recently and usually not
811	              reclaimed unless absolutely necessary.
812	    Inactive: Memory which has been less recently used.  It is more
813	              eligible to be reclaimed for other purposes
814	   HighTotal:
815	    HighFree: Highmem is all memory above ~860MB of physical memory
816	              Highmem areas are for use by userspace programs, or
817	              for the pagecache.  The kernel must use tricks to access
818	              this memory, making it slower to access than lowmem.
819	    LowTotal:
820	     LowFree: Lowmem is memory which can be used for everything that
821	              highmem can be used for, but it is also available for the
822	              kernel's use for its own data structures.  Among many
823	              other things, it is where everything from the Slab is
824	              allocated.  Bad things happen when you're out of lowmem.
825	   SwapTotal: total amount of swap space available
826	    SwapFree: Memory which has been evicted from RAM, and is temporarily
827	              on the disk
828	       Dirty: Memory which is waiting to get written back to the disk
829	   Writeback: Memory which is actively being written back to the disk
830	   AnonPages: Non-file backed pages mapped into userspace page tables
831	AnonHugePages: Non-file backed huge pages mapped into userspace page tables
832	      Mapped: files which have been mmaped, such as libraries
833	        Slab: in-kernel data structures cache
834	SReclaimable: Part of Slab, that might be reclaimed, such as caches
835	  SUnreclaim: Part of Slab, that cannot be reclaimed on memory pressure
836	  PageTables: amount of memory dedicated to the lowest level of page
837	              tables.
838	NFS_Unstable: NFS pages sent to the server, but not yet committed to stable
839		      storage
840	      Bounce: Memory used for block device "bounce buffers"
841	WritebackTmp: Memory used by FUSE for temporary writeback buffers
842	 CommitLimit: Based on the overcommit ratio ('vm.overcommit_ratio'),
843	              this is the total amount of  memory currently available to
844	              be allocated on the system. This limit is only adhered to
845	              if strict overcommit accounting is enabled (mode 2 in
846	              'vm.overcommit_memory').
847	              The CommitLimit is calculated with the following formula:
848	              CommitLimit = ('vm.overcommit_ratio' * Physical RAM) + Swap
849	              For example, on a system with 1G of physical RAM and 7G
850	              of swap with a `vm.overcommit_ratio` of 30 it would
851	              yield a CommitLimit of 7.3G.
852	              For more details, see the memory overcommit documentation
853	              in vm/overcommit-accounting.
854	Committed_AS: The amount of memory presently allocated on the system.
855	              The committed memory is a sum of all of the memory which
856	              has been allocated by processes, even if it has not been
857	              "used" by them as of yet. A process which malloc()'s 1G
858	              of memory, but only touches 300M of it will show up as
859		      using 1G. This 1G is memory which has been "committed" to
860	              by the VM and can be used at any time by the allocating
861	              application. With strict overcommit enabled on the system
862	              (mode 2 in 'vm.overcommit_memory'),allocations which would
863	              exceed the CommitLimit (detailed above) will not be permitted.
864	              This is useful if one needs to guarantee that processes will
865	              not fail due to lack of memory once that memory has been
866	              successfully allocated.
867	VmallocTotal: total size of vmalloc memory area
868	 VmallocUsed: amount of vmalloc area which is used
869	VmallocChunk: largest contiguous block of vmalloc area which is free

Crone123

Re : Problème de SWAP/RAM sur serveur

Donc, tu coup, j'ai pas compris.
ça correspond a quoi en terme de réglage l'overcommit_memory?
Merci

Pseudo supprimé

Re : Problème de SWAP/RAM sur serveur

c'est lorsque la machine se permet de détruire un pid, qui ne rentre plus dans le cadre mémoire.
Si la requête est normale, elle alloue de la mémoire pour que cela fonctionne bien.