Dans un futur proche, je pense que ce genre de projet est voué à l'echec, à moins de ne parser qu'une partie du Web (et encore..): encore faut-il définir ce qui mérite d'être indexé, et ce qui ne le mérite pas.

C'est là qu'est la partie intéressante de la chose. Il faut analyser le moins possible de pages, mais analyser les pages les plus importantes a minima. Donc, plus on analyse ces pages, et plus on a de chances de répondre de manière satisfaisante à l'utilisateur => Il trouve une page liée à sa recherche et contenant des infos intéressantes. C'est là que Google a marqué des points avec son pageRank.

Par contre, même sans censure, cela fait qu'on n'est pas toujours capable de proposer un site correspondant à une recherche... Mais apparemment, ça ne gêne pas grand monde

PS: j'ai commencé un script pour vérifier ce que je lis à droite et à gauche (des thèses et des théories, et des algos testés et approuvés, ainsi que des stats). C'est très marrant

De plus, les urls possibles risquent d'être dupliquées à travers le réseau... ou pas, je vais y réfléchir...

@ArkSet: comme le dit Haleth, et à mon avis, Google utilise un cluster (plusieurs répartis à travers le monde, mais tu n'en interroges qu'un seul à la fois). Et ça c'est tout de même vachement plus costaud qu'un réseau PaP, y a rien à dire.

@Haleth: Google lui-même ne parse qu'une partie du web, le tout est de tenter de parser la "plus intéressante" en premier pour faire de bons retours à l'utilisateur. Et pourquoi tu penses que c'est voué à l'échec sinon ?
Enfin, pour le réseau PaP la duplication n'est pas du tout infinie, ça serait stupide, elle est répartie le moins possible, au contraire...

Dans un futur proche, je pense que ce genre de projet est voué à l'echec, à moins de ne parser qu'une partie du Web (et encore..): encore faut-il définir ce qui mérite d'être indexé, et ce qui ne le mérite pas.

Hawé, ArkSeth, t'as déjà post, merci.

@Mindiell : je pense que l'index est lui-même distribué, mais que le truc doit être pensé correctement pour que la récupération ne soit pas trop lente. Après tout, on n'y pense pas forcément non plus, mais Google, c'est loin d'être un seul serveur aussi : leur propre index est distribué sur plein de machines situées un peu partout dans le monde. C'est une boîte noire, mais sur le fonctionnement général, ça ne doit pas être foncièrement différent.

Maintenant, lorsque je vais sur une page web de recherche et que je rentre des mots clefs de recherche (par ex. ubuntu 12.10, au hasard hein).
Je suppose que la liste des pages liées à ces mots-clefs est, elle aussi, stockée quelque part. Mais cela ne représente-t-il pas une trop grosse masse d'informations ?

Google me signale qu'il trouve "Environ 8 320 000 résultats". Cela fait tout de même plus de 8 millions d'urls potentielles à stocker en lien avec ces, disons deux, mots-clefs que sont "ubuntu" et "12.10". En considérant qu'une url fait environ 80 caractères de long en moyenne (je compte un peu large et j'ai cherché très très rapidement hein). Ca fait, au bas mot, 640 millions d'octets, donc environ 610 Mo juste pour fournir les urls. Alors, on est bien d'accord qu'on ne va pas fournir 610 Mo à chaque fois et qu'on fournira peut-être une centaine d'urls d'un coup par exemple, avec un machin quelconque pour demander la suite de la liste.

Ma question est donc : comment stocker cette information des index ? Stocker des fichiers (et donc un gros volume) sur un réseau PàP (hi hi hi marrant de franciser le P2P) c'est une bonne solution : la personne trouve rapidement un serveur qui va lui fournir un truc qu'elle va récupérer lentement. Mais là, on attend à retrouver l'info rapidement, non ?

Ayant donc pour "ambition" (c'est un bien grand mot pour de la théorie spéculative pour le moment) de créer un moteur de recherche alternatif (disons plutôt réfléchir à une possible possibilité), je me pose la question

Critiques, commentaires, etc... sont attendus avec impatience !

EDIT :
Je viens d'essayer YaCy sur leur "portail de démo", c'est abominable de lenteur : je ne peux pas taper une requête sans être stoppé par un immonde machin ajax qui cherche à deviner ce que je veux taper. Au final, je dois appuyer sur une touche et attendre 1-4 secondes qu'il veuille bien me rendre la main pour un deuxième caractère. Enfin, la recherche est assez lente. C'est peut-être l'effet poratil de démo ou l'effet P2P, mais ça donne pas envie d'aller plus loin, c'est dommage...

Keiser a écrit :

Ne parle pas au passé tu vas nous foutre le bousin !
Plus sérieusement, j'espère que c'est encore vivant seeks, ça me ferait vraiment mal que ce soit abandonné...

Je viens demander sur leur IRC. Visiblement c'est un peu mort en ce moment car les devs principaux sont occupe mais y'a encore de l'espoir et le projet n'est pas abandonne pour autant.

Ah ça c'est cool !
J'espère qu'ils iront au bout de leurs idées, il y a beaucoup d'ambitions là dedans, et du besoin de mon côté

VU : Il semble qu'il s'ppuie tout de même sur d'autres moteurs. Les gens parlent d'un moteur hybride...

Ne parle pas au passé tu vas nous foutre le bousin !
Plus sérieusement, j'espère que c'est encore vivant seeks, ça me ferait vraiment mal que ce soit abandonné...

Je viens demander sur leur IRC. Visiblement c'est un peu mort en ce moment car les devs principaux sont occupe mais y'a encore de l'espoir et le projet n'est pas abandonne pour autant.