Ubuntu-fr

Kabak_85

[Résolu] Proxy cache ? Apt-cacher ? Apt-Mirror ?

Bonjour,

Je dispose d'une ligne internet domestique plutôt lente ( 2Mbps ) et j'essaye de m'initier à Linux depuis un moment. Je m'aperçois que je passe pas mal de temps en téléchargement aussi bien pour les mises à jours de mes deux machines en dual boot que lorsque j'expérimente sur les VM.

Je pensais donc m'installer une machine qui pourrait servir de proxy transparent au moins pour mettre en cache les paquets et fichiers qui peuvent être télécharger à plusieurs reprises.
Mais n'ayant pas une grande expérience, je ne sais pas sur quoi partir et surtout quelles sont les limites techniques

Si j'ai bien compris, APT-Mirror n'est pas pour moi car trop de données à télécharger.
APT-cacher ne semble pas non plus être la solution car il faut configurer une instance par distribution.

Squid serait capable de faire de la mise en cache HTTP ce qui pourrait être une solution mais j'ai vu traîner des dépôts en https (ceux de WINE par exemple) ce qui rend impossible la mise en cache.

J'ai lu que l'on pouvais mettre en cache aussi le trafic HTTPS mais à condition de créer un autorité de certification "locale" reconnue par toutes les machines du réseau et que le serveur proxy agisse comme un tiers de confiance.
Cette solution pourrait être intéressante car cela permettrait aussi de mettre en cache d'autres trafics (mise à jours Windows Update, vidéo YouTube, Images de site web fréquemment visité ...) par exemple) et d'alléger encore plus la charge de la ligne de la maison.

J'ai lu qu'il était aussi possible d'avoir un cache DNS pour accélérer les requêtes.

Et il y a sans doute des solutions que je ne connais pas et que je pourrais expérimenter avec un vieux pc avant d'investir réellement.

Bref, si quelqu'un pouvais m'orienter cela serait sympa.

Dernière modification par Kabak_85 (Le 19/12/2020, à 22:19)

Vobul

Re : [Résolu] Proxy cache ? Apt-cacher ? Apt-Mirror ?

Salut,

Je pense que tu as correctement fait tes recherches et présenté les différentes solutions. Perso j'opterai pour Squid.

Et à la limite, tant pis si tu fais un cache miss pour les paquets en https, vu que tous les autres seront cachés, ça ne me semble pas rédhibitoire. Après oui tu peux cacher le https mais faut être motivé quoi

Pour le cache DNS ça va vraiment être très minime le gain de temps.

---

Vobul
Utilisez le retour utilisable de commandes !!!
J'aime la langue française, mais je parle franglais, deal with it.
RTFM

Kabak_85

Re : [Résolu] Proxy cache ? Apt-cacher ? Apt-Mirror ?

Le cache DNS, le gain de temps est peut-être minime mais lorsque la ligne est chargée, le ping tourne facilement à 130ms.

Multiplié par le nombre de domaine que peut demander certaines pages web on peut vite monter à quelques secondes et c'est pour cela que je me posais la question à ce propos.

Et puis, si je fait l'effort d'installer un serveur, autant en profiter pour en tirer le maximum. C'est aussi pour cela que je posais la question du HTTPS.

Après, s'il y a des bonnes idées pour faire d'autres gain de débit, je suis preneur.

bruno

Re : [Résolu] Proxy cache ? Apt-cacher ? Apt-Mirror ?

Bonjour,

La latence (ping) n'a pas grand chose à voir avec la résolution de noms. Par ailleurs sous Ubuntu tu utilises déjà un cache DNS local : systemd-resolved  en plus du cache du résolveur que tu as configuré, celui de ton FAI ou un autre.

Apt-cacher peut gérer plusieurs distributions mais je doute que cela apporte un gain quelconque.

Kabak_85

Re : [Résolu] Proxy cache ? Apt-cacher ? Apt-Mirror ?

La latence (ping) n'a pas grand chose à voir avec la résolution de noms.

Ha bon ? Les demandes de résolution ne sont pas impacté par le ping de la ligne ? Première nouvelle.

Par ailleurs sous Ubuntu tu utilises déjà un cache DNS local : systemd-resolved  en plus du cache du résolveur que tu as configuré, celui de ton FAI ou un autre.

Oui, mais un cache DNS  local pourrait mettre en commun une partie du trafic DNS et diminuer la latence sur cette partie. C'est toujours ça de gagné en terme de confort.

A moins que tu ne suggères de monter un vrai DNS local qui se rafraîchirait régulièrement sur les adresses fréquemment utilisées. Cela doit être techniquement possible mais est-ce que cela existe déjà dans les options de squid ou dans un vrai logiciel de DNS local ?

Apt-cacher peut gérer plusieurs distributions mais je doute que cela apporte un gain quelconque.

J'en doute aussi, il a l'air moins souple que la solution "proxy-cache" mais comme je n'ai pas forcément trouvé tout ce qui pouvait exister sur le sujet, je viens demander des avis.

bruno

Re : [Résolu] Proxy cache ? Apt-cacher ? Apt-Mirror ?

Ha bon ? Les demandes de résolution ne sont pas impacté par le ping de la ligne ?

Non, ce qui compte avant tout ce sont les temps de réponses des serveurs DNS. Seul le retour d'une commande dig peut indiquer ce temps.
Et une requête ICMP n'a rien à voir avec une requête en UDP (ou en TCP).

Oui, mais un cache DNS  local pourrait mettre en commun une partie du trafic DNS et diminuer la latence sur cette partie

Tu veux parler d'un résolveur local. Dans cas il faut installer bind ou unbound. C'est intéressant parce que cela te rend indépendant du résolveur de ton FAI ou d'autre résolveur qui peut mentir ou te pister. Mais le gain sur les temps de résolution seront tout à fait insensibles.

Kabak_85

Re : [Résolu] Proxy cache ? Apt-cacher ? Apt-Mirror ?

Je viens d'essayer la commande DIG sur une vingtaine de serveur différents pour éviter la mise en cache. Le délai varie entre 30 et 300ms selon que la ligne internet est chargée ou pas.

J'ai supprimé les quelques valeurs extrêmes du genre 557ms que j'ai pu avoir parce que quelques cas isolés n'ont pas de sens.

Pour bind/unboud, je vais jeter un oeil.

Kabak_85

Re : [Résolu] Proxy cache ? Apt-cacher ? Apt-Mirror ?

Je viens de ressortir une vieille machine :
P4, 512Mio de mémoire vive, disque dur IDE de 40Go et carte Gigabit intégrée.
Ajouté un vieil adaptateur USB 1.1 vers ethernet  10/100 qui se mettra côté box (pas besoin de plus).

Coté installation, je viens d'installer xUbuntu 18.04 car je l'avais sous la main.

Et la, je me pose la question des paquets à installer :
- Squid => évident
- isc-dhcp-server => Garder les ip dynamique et pouvoir étendre vers un TFTP/PXE une fois en place
- unbound => résolution local des noms

D'autres outils serait-il utile pour faire tourner ça de manière confortable ?
J'ai jeté un oeil à Squid.conf et j'ai eu peur. Il y a-t-il une interface graphique disponible ? (Je sais, linux et les interface graphique, c'est pas l'histoire d'amour).

Kabak_85

Re : [Résolu] Proxy cache ? Apt-cacher ? Apt-Mirror ?

Je progresse doucement mais surement.

Le DHCP est configuré en IP V4 et renvoi la bonne passerelle.
J'en ai un peu bavé mais UNBOUND arrive à renvoyer l'adresse IP a partir des demandes de NSlookup.

J'ai par contre deux questions.

1) Comment UNBOUND gère-t-il le cache lorsqu'une adresse en mémoire arrive à expiration ? Il y a-t-il un moyen pour qu'il renouvelle automatiquement une partie des adresses sans attendre d'avoir une requête ?

2) Comment faire pour qu'il résolve aussi le nom des machines locale ?

bruno

Re : [Résolu] Proxy cache ? Apt-cacher ? Apt-Mirror ?

1) Ce n'est pas le résolveur cache qui détermine l'expiration mais le serveur faisant autorité pour le domaine interrogé via le TTL (Time To Live) des enregistrements DNS.
Si j'interroge example.com pour la première fois :

$ dig example.com
[…]
;; ANSWER SECTION:
example.com.            86400   IN      A       93.184.216.34

;; Query time: 400 msec

je vois dans la deuxième colonne le TTL défini sur le serveur faisant autorité pour example.com : 86400 s, soit 24 heures. Le résolveur cache va donc conserve cette réponse pendant 24 heures.
Si je relance plus tard une commande dig :

$ dig example.com
[…]

;; ANSWER SECTION:
example.com.            6938    IN      A       93.184.216.34

;; Query time: 0 msec

c'est le résolveur cache qui me répond et me renvoie dans la seconde colonne le TTL restant. On voit bine ici l’efficacité du cache local sur ma machine (systemd-resolved) : la reque prend 400 ms lors de la première interrogation et est instantanée lors de la seconde.
Le résolveur ne garde en cache que les informations pour lesquelles il a déjà effectué une requête.

2) je ne sais pas faire un serveur DNS faisant autorité pour le réseau local avec Unbound, mais c'est possible, par exemple :https://dnswatch.com/dns-docs/UNBOUND/ Attention à ne pas utiliser n'importe quoi comme noms pour le réseau local.

Kabak_85

Re : [Résolu] Proxy cache ? Apt-cacher ? Apt-Mirror ?

1) Merci pour l'explication mais pour la notion de TTL et de mise en cache, je l'avais bien comprise.

Je parlais plutôt de ce qu'il se passait une fois ce TTL expiré.

Mais j'ai vu qu'il y avait une fonction "prefetch" qui renouvelle automatiquement la donnée en cache lorsqu'elle arrive presque à expiration.

.B prefetch: \fI<yes or no>
If yes, message cache elements are prefetched before they expire to keep the cache up to date.  Default is no.  Turning it on gives about 10 percent more traffic and load on the machine, but popular items do not expire from the cache.

Source : https://github.com/fastly/unbound/blob/ … .conf.5.in

Donc si je comprend bien, lorsque la requête mise en cache n'est plus valable, il refait une demande sans attendre qu'un client la demande.

2) Pour le lien, je vais le lire.
Pour le nom de réseau, n'ayant aucun rattachement externe, j'utilise "lan" par habitude. Ai-je tort dans ce cadre précis ? (je ne parle pas d'un réseau d'entreprise avec des sous-domaines)

Kabak_85

Re : [Résolu] Proxy cache ? Apt-cacher ? Apt-Mirror ?

Je passe en résolu. Pour les questions technique, j'ouvrirais d'autres sujets.