APT-P2P : télécharger ses paquets officiels par réseau P2P

timmyzecat · Le 12/11/2008, à 20:37

Lorsque on souhaite obtenir un paquet (ex:openoffice), on utilise la commande apt-get install (ou synaptic en graphique).
Une requête est ensuite transmise au serveur désigné dans les dépôts de sa sources.list et en retour la réception du paquet commence sur le PC client.

Pour que tout cela fonctionne, UBUNTU utilise des serveurs puissants avec une importante bande passante très couteuse pour répondre aux nombreuses requêtes.
Certains proposent des serveurs miroirs ubuntu ( free, crihan, universités...) pour soutenir le serveur principal et offrir des temps d'accès plus court aux utilisateurs.
Cependant, on ne peut choisir qu un seul serveur pour les dépots officiel dans sa sources.list.
Et lors de mise à jour de distribution, d'update de sécurité..., le serveur principal (meme les serveurs mirroirs) arrive vite à saturation et nombreux sont ceux qui obtiennent le message « serveur indisponible » ou une vitesse de téléchargement réduite.

L'avantage d'un réseau P2P est qu 'il offre un système de serveurs décentralisalisés et de partage de ressources (bande passante...)..
Quand on souhaite télécharger un fichier, il consulte le réseau P2P pour connaître les personnes possédant le fichier.
S'il en trouve suffisamment, le fichier est téléchargé en utilisant le réseau P2P auprès des personnes partageant ce fichier.
Dans le cas contraire, le fichier sera téléchargé sur le serveur principal.

Apt-P2P est un service qui fonctionne en arrière plan , va répondre aux requêtes à la place d'apt-get pour les telechargements , et ensuite partagera les fichiers téléchargés avec les autres utilisateurs.
Apt-P2P crée un DHT, une table des signatures SHA1 des fichiers partagés et des personnes les possédants.
S'il trouve suffisamment de personnes partageant le fichier signé reclamé, apt-P2P utilise le réseau peer to peer, sinon il passera par le serveur du dépôt.

Installation de apt-P2P

Apt-p2p est disponible pour ubuntu 8.10 intrepid

apt-p2p

sauvegarde de sa sourcelist:

sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup

Le démon apt-p2p fonctionne comme un proxy
on ajoute "localhost:9977/" à l'adresse de ses dépots ubuntu officiels

ex :

deb http://fr.archive.ubuntu.com/ubuntu/ intrepid main restricted
deb http://security.ubuntu.com/ubuntu intrepid-security main restricted
deb http://fr.archive.ubuntu.com/ubuntu/ intrepid-updates main restricted

devient

deb http://localhost:9977/fr.archive.ubuntu.com/ubuntu/ intrepid main restricted
deb http://localhost:9977/security.ubuntu.com/ubuntu intrepid-security main restricted
deb http://localhost:9977/fr.archive.ubuntu.com/ubuntu/ intrepid-updates main restricted

pour firewall/routeur, ouvrir et rediriger le port 9977 en udp/tcp.

Enfin mettre a jour sa liste:

sudo apt-get update

Pour consulter les stat du réseau, lancez le navigateur et tapez localhost:9977
Configurer apt-p2p ( vitesse upload, port ...) : sudo nano /etc/apt-p2p/apt-p2p.conf

avec 5% du parc informatique mondial sous linux, la solution d'un serveur principal et de serveurs mirroirs semblerait suffisant.
Mais qu'en sera-t-il quand il attendra 20, 30% pour le monde du libre??
La solution la plus pérenne pourrait être la création d'un réseau de serveurs décentralisés et apt-p2p correspond à cette attente.

Pour tous autres informations:

homepage de apt-p2p
un système de distribution par P2P pour la diffusion et les mises à jour logiciels (Cameron Dale)
suivi du développement d'apt-p2p par ubuntu
article sur apt-P2P
le DHT et le réseau décentralisé kadmélia
SHA1
le P2P

Dernière modification par timmyzecat (Le 16/11/2008, à 19:52)

philippechaumont · Le 14/11/2008, à 00:39

il faut passer à 8.10 ou on peut aussi installer tout ça sous 8.04 ?

poupoul2 · Le 14/11/2008, à 00:45

Par les dépots, intrepid uniquement : http://packages.ubuntu.com/search?suite … ds=Apt-p2p

timmyzecat · Le 16/11/2008, à 19:15

pour l'instant disponible pour ubuntu intrepid, débian lenny et dérivés .

il existe un tutoriel pour le faire fonctionner sous hardy "en bricolant".
il montre comment faire la mise a jour de hardy vers intrepid en utilisant apt-p2p.
http://www.howtoforge.com/ubuntu-using-apt-p2p-for-faster-upgrades-from-hardy-to-intrepid
reste que c"est une version beta, risque de probleme de dépendances ...
mieux vaut attendre la sortie dans le dépot backport ou ppa.

J' ai trouvé le rapport de Cameron Dale dans lequel il decrit le develloppement et le fonctionnement de apt-P2P
La page 4 est particulierement interessant pour ceux qui se pose une question sur la sécurité de ce système
http://www.camrdale.org/Resume/apt-p2p.pdf
1/quand on fait "sudo apt-get update", le démon apt-p2p récupère sur le serveur officiel les listes des signatures cryptés (sha1, md5, sha256, pgp..) des paquets fournit dans les dépots.
ex:firefox

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Format: 1.0
Source: firefox-3.0
Binary: firefox-3.0, firefox-3.0-dom-inspector, firefox-3.0-venkman, firefox-3.0-gnome-support, firefox-3.0-dev, firefox, firefox-dom-inspector, firefox-gnome-support, firefox-dev, firefox-libthai, firefox-trunk, firefox-trunk-dom-inspector, firefox-trunk-venkman, firefox-trunk-gnome-support, firefox-trunk-dev, firefox-granparadiso, firefox-granparadiso-dom-inspector, firefox-granparadiso-gnome-support, firefox-granparadiso-dev
Architecture: any
Version: 3.0.3+build1+nobinonly-0ubuntu0.8.04.1
Maintainer: Alexander Sack <asac@ubuntu.com>
Standards-Version: 3.7.3
Build-Depends: cdbs, debhelper (>= 5), sharutils, m4, autotools-dev, autoconf2.13, quilt, patchutils (>= 0.2.25), bzip2, zlib1g-dev, zip, libx11-dev, libxt-dev, libgtk2.0-dev (>= 2.10), liborbit2-dev, libidl-dev (>= 0.8.0), libxft-dev, libfreetype6-dev, libpng12-dev, libjpeg62-dev, libxrender-dev, libxinerama-dev, libcairo2-dev, libpixman-1-dev, libgnome2-dev, libgconf2-dev, libgnomevfs2-dev, libgnomeui-dev, binutils (>= 2.17-1) [mips mipsel], libhunspell-dev, libdbus-glib-1-dev (>= 0.60), xulrunner-1.9-dev (>= 1.9.0.1), libnss3-dev, mozilla-devscripts (>= 0.06~), lsb-release
Checksums-Sha1: 
 6e35fb4555fdac7db3b9c771f1e041d2db346b50 11573662 firefox-3.0_3.0.3+build1+nobinonly.orig.tar.gz
 0a4bb2caad83f87ff2f00544b1412a06b35295ff 105898 firefox-3.0_3.0.3+build1+nobinonly-0ubuntu0.8.04.1.diff.gz
Checksums-Sha256: 
 b63e8379a624838291d7fd727eb22d2e31337cc6d046f0f086cc22692abda65c 11573662 firefox-3.0_3.0.3+build1+nobinonly.orig.tar.gz
 2fe79871ae28e6efc0756f2cd7b0ace5f82aa1b130de517918af007f65a81e24 105898 firefox-3.0_3.0.3+build1+nobinonly-0ubuntu0.8.04.1.diff.gz
Files: 
 bcf09e18019b2f2cbb8517932c891485 11573662 firefox-3.0_3.0.3+build1+nobinonly.orig.tar.gz
 8e9d91766d1673d85b4e2e60f09ffbb6 105898 firefox-3.0_3.0.3+build1+nobinonly-0ubuntu0.8.04.1.diff.gz

-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.9 (GNU/Linux)

iQIcBAEBAgAGBQJI219rAAoJEKBE/gcUDGZkd5gP/i+MYJDPP96c9qXf2WoeoX4G
ojkmYGUUdMNDOEwzG1drwkczS7OErxMTAYbksaKneUYInmaW6TnJMNPqiJIswN83
rDmYJDcwZFnSOZnFfTTqyoEQmVul4a4EP2e1YMR783vugGCqUXL8GWSbDxHj/8Kj
CwEyMYdcim517ZPL2Ju4e9LKwg5WK7YLufZsp9BwWQ06/NYfgCq6Fk70nknkNfwd
ZRSah6HRh8vvi5gdo9DaYaxQIFUBoGF493jhEC0ZkVhf2GqtvHhYX2gAGCqu+C/Z
krGAzb/tyaectm4/qKKuEGIV57h9QgJAxCY8tC99ngqT02V3Y7BrZYz114qh7EBg
jpfsdFp5OrRcFKzbYssGiITaFfPocYhrzutlc5b/ixE4piRp62SOEq2HsBEytWr3
Ro0KmEaQSrNFbpy7CSYqHescX33pPJxSIEvP3sQvIhwXwnjnuesOCoLV5KmT9Hi5
04StBTKR9pXmby2/xnVJjRRU4YLxffGOuO+W1aCoMo3oqq88kb6DQm9rg1VtXiWY
a8LY2eJ2/5gP1RL2fBzIpP4jzGHpwHKax4MUMdgWHXsReYzWIpxijOpcstG2Ae5H
Npc2GLQRjKsTFzciXDaL7QNUrPElH65K2msuQvbba8jB6PlC6aqJWOngxKU1lH81
nWpwoh3vIVo+GkqAkitR
=VvMl
-----END PGP SIGNATURE-----

ceci +la liste des paquets installés contenu dans son /cache/apt-p2p/ va constituer la base de son DHT.
a cela s'ajoutera la liste de utilisateurs (peer) actifs trouvés.

2/si on lance apt-get upgrade ou install, apt-p2p va consulter dans son DHT les signatures cryptés des fichiers à installer.
puis interroger les peers actifs et leur demander s'il possedent des fichiers correspondant aux signatures recherchés ou s'il connaissent d"autres peers possédant les fichiers.
si c'est la cas, le téléchargement commence auprès des peers trouvés.

le DHT de chaque peer represente une partie de l'annuaire des fichiers disponibles sur le réseau et chaque peer un noeud de ce serveur décentralisé.

la securité de ce réseau P2P est basé sur le fait que ubuntu utilise un systeme de signatures cryptés (hash) pour tous ses paquets officiels, et pour chaque phase du téléchargement, chaque paquet est controlé.
le risque de corruption des paquets est pour dire quasi nul .

à par pour les dépots officiels , l utilisation du démon apt-p2p doit etre restreint car les autres dépots ( ppa, sans clé authentification...) n'offrent pas une sécurité equivalente, leurs paquets étant rarement signés.
le danger reste toutefois mimine, il faudrait que le serveur hébergeant le dépot tiers soit compromis.

meme si c'est possible via /etc/apt-p2p/apt-p2p.conf et l'ajout d un moteur de recherche type tracker, le démon apt-p2p n'a pas pour vocation de devenir un client p2p généraliste tel que emule ou bitorrent.
cela polluerait son DHT et cela augmenterait le risque de transmission de virus par ce réseau.

son but est de faciliter le partage de petits fichiers (-512ko) qui represente 70% des fichiers téléchargées, chose impossible avec les clients p2p classiques.
partager des fichiers dont la vie est très courte(-30jours) tel que les update et upgrade de version des paquets.
faciliter la distribution de paquets rares et peu téléchargés, 70% du traffic réseau est crée par 20% des paquets fournis par les dépots ubuntu.
permettre de devenir un "serveur miroir" sans pour autant posséder tous les paquets contenus dans les dépots officiels et participer au développement des logiciels libres.

Dernière modification par timmyzecat (Le 17/11/2008, à 15:05)

utodeb · Le 19/11/2008, à 18:34

Salut,

Est-ce que c'est pas plus long si il faut vérifier la signature des paquets ? (peut être que ça c'est déjà le cas avec les miroirs classique, j'avoue que j'en sais rien)

Et la vitesse de téléchargement des paquets ?
Je suis conscient que cela dépend du nombre de gens qui l'utilise mais actuellement y a t-il assez de gens qui s'en servent pour avoir des vitesses correctes ?

Merci

++

timmyzecat · Le 19/11/2008, à 23:05

lors de l installation les paquets sont verifié et en cas de probleme (signature non reconnu) un message d'erreur apparait.
si le nombre de personne est insuffisant ( au moins 3 personnes), le paquet sera téléchargé sur le serveur principal.

apt-p2p est disponible sur debian Lenny depuis mai 2008, pour intrepid 30 octobre 2008 donc une communauté jeune.
dès que j aurais les stat , je les posterais.

utodeb · Le 20/11/2008, à 00:26

D'acc.
J'ai un peu tester mais il me semble que c'est un peu plus lent.
Je vais voir à l'usage

++

axellionel · Le 22/11/2008, à 11:53

salut a tous ,
excusez moi de la question mais j aimerai savoir si l on pouvais telecharger les mise a jours sur une cle usb et les installer en suite et si oui comment si prendre merci

utodeb · Le 23/11/2008, à 17:51

salut,
axellionel, oui je crois que cela est possible. tu peu faire quelques recherches sur la doc ou le forum. Et si tu trouve pas, ouvre un nouveau post.

++

timmyzecat · Le 24/11/2008, à 16:10

http://doc.ubuntu-fr.org/aptmove
http://doc.ubuntu-fr.org/tutoriel/comment_installer_un_depot_local?s[]=paquet&s[]=local
mais bon , c'est un peu hors sujet
pense a ouvrir ton propre topic pour plus d'information

dekans · Le 15/02/2009, à 19:51

ya pas moyen de se passer de la réécriture des url des dépots ?

EDIT: bon j'étais trop pressé j'ai remplacé les adresse
sous vim :

:%s#http://fr.archive#http://localhost:9977/archive#g

J'ai viré le 'fr.' car comme c'est du p2p il veut peut-être mieux qu'on se retrouve tous avec les mêmes sources pour avoir plus de seeds.
Enfin je sais pas comment ça marche dans le détail, peut-être que ça ne change rien

Dernière modification par dekans (Le 15/02/2009, à 20:40)

contremaitre · Le 16/03/2009, à 15:05

merci pour ce post.
J'ai cree une page : http://doc.ubuntu-fr.org/apt-p2p
Vous pouvez bien sur la modifier.

lexdu · Le 23/04/2009, à 23:54

Super intéressant pour la communauté.
Si j'ai bien compris, au fur et à mesure que l'on utilise apt-p2p pour installer nos logiciels, on a de plus en plus d'espace disque utilisé, ce qui permet de partager aussi de plus en plus, ce qui est bon pour la disponibilité à tous.
OK
À la maison, j'ai quelques ordinateurs. Pour me simplifier la tâche et surtout accélérer les choses, j'ai mis en place un miroir local des dépôts que j'utilise le plus (dont les dépôts officiels) grâce à apt-mirror.
Ceci pourrait être intéressant pour la communauté.

Et voilà ma question : avez-vous un truc pour permettre l'un des trucs suivants :
- mettre en place un miroir complet grâce à apt-p2p
- mettre en place et gérer un miroir par apt-mirror (ou autre) et forcer apt-p2p à prendre en compte ce miroir pour le partage au plus grand nombre ?

omne · Le 26/04/2009, à 09:45

En cette période de diabolisation des protocoles de p2p, je trouve que nous devrions faire une publicité massive pour ce type de programmes. Voilà une utilisation très intelligente de la bande passante !
Messieurs des LUGs et autres à vous !

contremaitre · Le 15/05/2009, à 13:04

lexdu a écrit :

Si j'ai bien compris, au fur et à mesure que l'on utilise apt-p2p pour installer nos logiciels, on a de plus en plus d'espace disque utilisé, ce qui permet de partager aussi de plus en plus, ce qui est bon pour la disponibilité à tous.

je suis pas sur de ce que tu veux dire, mais tu ne partage que les paquets que tu possede. Il ne garde pas des paquets juste pour les partager.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 12/11/2008, à 20:37

APT-P2P : télécharger ses paquets officiels par réseau P2P

#2 Le 14/11/2008, à 00:39

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#3 Le 14/11/2008, à 00:45

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#4 Le 16/11/2008, à 19:15

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#5 Le 19/11/2008, à 18:34

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#6 Le 19/11/2008, à 23:05

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#7 Le 20/11/2008, à 00:26

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#8 Le 22/11/2008, à 11:53

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#9 Le 23/11/2008, à 17:51

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#10 Le 24/11/2008, à 16:10

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#11 Le 15/02/2009, à 19:51

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#12 Le 16/03/2009, à 15:05

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#13 Le 23/04/2009, à 23:54

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#14 Le 26/04/2009, à 09:45

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

#15 Le 15/05/2009, à 13:04

Re : APT-P2P : télécharger ses paquets officiels par réseau P2P

Pied de page des forums