Alternative libre au moteur de recherche Google ?

torpedolos · Le 22/10/2012, à 01:13

oui, c'est la qu'on se rend compte que la réponse à une question apparemment simple peut être compliquée.
entre les moteurs, les metamoteurs et les trucs un peu entre les deux qui vont chercher des infos à la fois dans des moteurs libres pour les images, par exemple, pas libre pour les mots, et sur Wikipedia, etc... ça devient confus.
je ne peux prétendre avoir fais une recherche exhaustive, mais un moteur libre, avec des robots libres, sur des serveurs libres, je ne crois pas que cela existe.
ou alors il faut redéfinir ce que nous cherchons.
Dans la mesure ou des metamoteurs comme startpage ou duckduckgo permettent d'avoir les résultats de google, ou autre, mais sans etre pisté, ça peut etre valable, même si pas libre, non ?

Dernière modification par torpedolos (Le 22/10/2012, à 03:52)

Gorna · Le 22/10/2012, à 12:27

C'est mieux que rien mais le but d'une alternative aux gros moteurs de recherche, c'est précisément de s'en passer.
La question soulevée par le poste n'est pas d'être pisté par les moteurs de recherche, même si évidement c'est un problème.
Un méta moteur est dépendant de ce que veut bien lui montrer les moteurs de recherche. Par conséquent ce n'est pas une réponse suffisante (même si c'est un peu mieux puisqu'on multiplie les sources.

Si j'ai réactivé le post, c'est que depuis 2 ans (le débat semble s'être relancé ces dernier jours) il est question de taxer les moteurs de recherche puisqu'ils publient des bouts d'articles de presse. Cette taxe est souvent appelée "taxe google" sur internet. Ici, la question n'est pas de savoir s'il faut ou non taxer les moteurs de recherche.
Le problème est que Google, avec sa position dominante, ce permet de menacer la France avec une suppression de l'indexation de la presse française.
Et là ça me gène. On voit clairement qu'on ne peut laisser à une seule entreprise (ou 2) le soin de référencer le contenu d'internet. Car, (et qu'on le veuille ou non, c'est son droit...) il affiche ce qu'il veut et à qui il veut.

Blekko me semble intéressant car il est participatif: les utilisateurs peuvent intervenir sur la façon dont vont ressortir les données pour le public.Mais la base de données (et les décision ?) restent centralisées.
YaCy, le logiciel libre me semble également intéressant car il est décentralisé. Il devient alors difficile de le censuré. Pour celui-ci le problème est qu'il est nécessaire de l'installer.

Mindiell · Le 30/10/2012, à 13:38

J'ai une petite question : si un tel projet vraiment libre existait. Comment pourrait-il vivre ? Économiquement je veux dire, parce que même Google en son temps avait failli faire faillite...
Pensez-vous qu'un réseau de machines d'utilisateurs lambdas pourrait faire vivre un tel projet ? Je parle aussi en terme de publicité (qui dit libre, dit sans récupération de données personnelles)

Elzen · Le 30/10/2012, à 15:07

Bah, en théorie, un moteur de recherche pair-à-pair pas trop mal foutu peut tourner aussi efficacement que n'importe quel réseau pair-à-pair… BitTorrent n'a pas trop de soucis à ce niveau, par exemple, 'me semble. Tout ce qu'il faut, c'est un nombre suffisant d'utilisateurs pour faire tourner le truc…

gnales · Le 30/10/2012, à 15:14

Je maintient que duck duck go a sa propre base de donné (qui peut être complété par d'autre moteur mais alors ce n'est pas un méta moteur puisque ça base de donné est COMPLÉTÉ par d'autres)
source GN/Linux essentiel n°28

seb24 · Le 30/10/2012, à 15:31

Y'avait ca : http://www.seeks-project.info/site/
Mais y'a plus trop de mises a jours.

Keiser · Le 30/10/2012, à 15:55

Ne parle pas au passé tu vas nous foutre le bousin !
Plus sérieusement, j'espère que c'est encore vivant seeks, ça me ferait vraiment mal que ce soit abandonné...

seb24 · Le 30/10/2012, à 16:01

Keiser a écrit :

Ne parle pas au passé tu vas nous foutre le bousin !
Plus sérieusement, j'espère que c'est encore vivant seeks, ça me ferait vraiment mal que ce soit abandonné...

Je viens demander sur leur IRC. Visiblement c'est un peu mort en ce moment car les devs principaux sont occupe mais y'a encore de l'espoir et le projet n'est pas abandonne pour autant.

Mindiell · Le 30/10/2012, à 16:02

Il a déjà été dit et redit que Seeks ne correpondait pas à la demande pour le moment
Je vais jeter un oeil au Canard...

VU : Il semble qu'il s'ppuie tout de même sur d'autres moteurs. Les gens parlent d'un moteur hybride...

Dernière modification par Mindiell (Le 30/10/2012, à 16:15)

Keiser · Le 30/10/2012, à 20:40

seb24 a écrit :

Keiser a écrit :
Ne parle pas au passé tu vas nous foutre le bousin !
Plus sérieusement, j'espère que c'est encore vivant seeks, ça me ferait vraiment mal que ce soit abandonné...
Je viens demander sur leur IRC. Visiblement c'est un peu mort en ce moment car les devs principaux sont occupe mais y'a encore de l'espoir et le projet n'est pas abandonne pour autant.

Ah ça c'est cool !
J'espère qu'ils iront au bout de leurs idées, il y a beaucoup d'ambitions là dedans, et du besoin de mon côté

Mindiell · Le 31/10/2012, à 12:01

Autre question car le sujet me semble très intéressant :
Imaginons un réseau pair-à-pair doté de suffisamment de machines qui parcourent le web et indexent les pages correctement. Le réseau sert essentiellement à partager leurs ressources niveau recherche, c'est le plus "facile"

Maintenant, lorsque je vais sur une page web de recherche et que je rentre des mots clefs de recherche (par ex. ubuntu 12.10, au hasard hein).
Je suppose que la liste des pages liées à ces mots-clefs est, elle aussi, stockée quelque part. Mais cela ne représente-t-il pas une trop grosse masse d'informations ?

Google me signale qu'il trouve "Environ 8 320 000 résultats". Cela fait tout de même plus de 8 millions d'urls potentielles à stocker en lien avec ces, disons deux, mots-clefs que sont "ubuntu" et "12.10". En considérant qu'une url fait environ 80 caractères de long en moyenne (je compte un peu large et j'ai cherché très très rapidement hein). Ca fait, au bas mot, 640 millions d'octets, donc environ 610 Mo juste pour fournir les urls. Alors, on est bien d'accord qu'on ne va pas fournir 610 Mo à chaque fois et qu'on fournira peut-être une centaine d'urls d'un coup par exemple, avec un machin quelconque pour demander la suite de la liste.

Ma question est donc : comment stocker cette information des index ? Stocker des fichiers (et donc un gros volume) sur un réseau PàP (hi hi hi marrant de franciser le P2P) c'est une bonne solution : la personne trouve rapidement un serveur qui va lui fournir un truc qu'elle va récupérer lentement. Mais là, on attend à retrouver l'info rapidement, non ?

Ayant donc pour "ambition" (c'est un bien grand mot pour de la théorie spéculative pour le moment) de créer un moteur de recherche alternatif (disons plutôt réfléchir à une possible possibilité), je me pose la question

Critiques, commentaires, etc... sont attendus avec impatience !

EDIT :
Je viens d'essayer YaCy sur leur "portail de démo", c'est abominable de lenteur : je ne peux pas taper une requête sans être stoppé par un immonde machin ajax qui cherche à deviner ce que je veux taper. Au final, je dois appuyer sur une touche et attendre 1-4 secondes qu'il veuille bien me rendre la main pour un deuxième caractère. Enfin, la recherche est assez lente. C'est peut-être l'effet poratil de démo ou l'effet P2P, mais ça donne pas envie d'aller plus loin, c'est dommage...

Dernière modification par Mindiell (Le 31/10/2012, à 15:44)

Mindiell · Le 01/11/2012, à 08:55

Rassurez-moi : vous avez pas le temps de répondre ou c'est trop complexe et je ferai mieux d'ouvrir un autre post ?

Haleth · Le 01/11/2012, à 10:29

Bof

Elzen · Le 01/11/2012, à 16:30

@Haleth : on a déjà eu ton avis, merci.

@Mindiell : je pense que l'index est lui-même distribué, mais que le truc doit être pensé correctement pour que la récupération ne soit pas trop lente. Après tout, on n'y pense pas forcément non plus, mais Google, c'est loin d'être un seul serveur aussi : leur propre index est distribué sur plein de machines situées un peu partout dans le monde. C'est une boîte noire, mais sur le fonctionnement général, ça ne doit pas être foncièrement différent.

Haleth · Le 01/11/2012, à 17:45

C'est un projet interessant
Je me demande s'il a un avenir proche, techniquement parlant.
La différence entre du PAP et un cluster, c'est le controle des nodes et la qualité des transferts inter-nodes.
J'me demande quelle est la taille des données de Google par exemple, mais sur un réseau PAP, il faut rajouter, en plus, de la duplication quasi-infini, pour être sur qu'à chaque instant, l'info soit accessible.

Dans un futur proche, je pense que ce genre de projet est voué à l'echec, à moins de ne parser qu'une partie du Web (et encore..): encore faut-il définir ce qui mérite d'être indexé, et ce qui ne le mérite pas.

Hawé, ArkSeth, t'as déjà post, merci.

Dernière modification par Haleth (Le 01/11/2012, à 17:45)

Mindiell · Le 01/11/2012, à 21:17

Non, mais attendez, je sais que l'index est distribué, forcément. Mais, pour moi, distribuer l'index c'est dire que la "solution" à telle requête se trouve sur un noeud précis (ou plusieurs pour être tranquille, mais en entier à chaque fois). Donc, il faut, à un moment donné, lier à une requête une liste complète d'urls. C'est ça qui me pose le plus question en fait parce que quand je réclame la solution à une requête, le serveur qui me répond doit trouver le bon noeud et celui-ci doit me retourner un début de liste et être capable de me fournir la liste entière.

De plus, les urls possibles risquent d'être dupliquées à travers le réseau... ou pas, je vais y réfléchir...

@ArkSet: comme le dit Haleth, et à mon avis, Google utilise un cluster (plusieurs répartis à travers le monde, mais tu n'en interroges qu'un seul à la fois). Et ça c'est tout de même vachement plus costaud qu'un réseau PaP, y a rien à dire.

@Haleth: Google lui-même ne parse qu'une partie du web, le tout est de tenter de parser la "plus intéressante" en premier pour faire de bons retours à l'utilisateur. Et pourquoi tu penses que c'est voué à l'échec sinon ?
Enfin, pour le réseau PaP la duplication n'est pas du tout infinie, ça serait stupide, elle est répartie le moins possible, au contraire...

Mindiell · Le 05/11/2012, à 15:15

Haleth a écrit :

Dans un futur proche, je pense que ce genre de projet est voué à l'echec, à moins de ne parser qu'une partie du Web (et encore..): encore faut-il définir ce qui mérite d'être indexé, et ce qui ne le mérite pas.

C'est là qu'est la partie intéressante de la chose. Il faut analyser le moins possible de pages, mais analyser les pages les plus importantes a minima. Donc, plus on analyse ces pages, et plus on a de chances de répondre de manière satisfaisante à l'utilisateur => Il trouve une page liée à sa recherche et contenant des infos intéressantes. C'est là que Google a marqué des points avec son pageRank.

Par contre, même sans censure, cela fait qu'on n'est pas toujours capable de proposer un site correspondant à une recherche... Mais apparemment, ça ne gêne pas grand monde

PS: j'ai commencé un script pour vérifier ce que je lis à droite et à gauche (des thèses et des théories, et des algos testés et approuvés, ainsi que des stats). C'est très marrant

Dernière modification par Mindiell (Le 05/11/2012, à 15:16)

brocstore · Le 04/06/2016, à 23:22

Google a un avantage énorme, on travaille gratuitement pour eux et dans une certaine mesure le W3C
adapte le web à google.
Aujourd'hui on construit un site pour que ses pages soient bien référencées (par google en premier lieu), on donne son site-map à google, on met les balises qui vont bien etc.
et des armées de SEO bossent en priorité pour google.
Google fait croire à l'internaute qu'il lui communique les pages les plus en relation avec son profil, celles qui sont le plus pertinentes et fait croire au webmaster que la position de ses pages dans les recherches sera liée au respect de ses propres règles.
Ce n'est bien sur pas compatible mais ça rapporte des milliards sans dépenser beaucoup.
Bref, difficile de sortir un bon moteur de recherche dans la mesure ou le web est optimisé pour google.

Coeur Noir · Le 05/06/2016, à 00:34

Pas libre mais alternative quand même : www.qwant.com ?
https://www.qwant.com/privacy

grandtoubab · Le 05/06/2016, à 08:51

Salut
apparemment Tor Browser préfère DuckDuckGo
https://blog.torproject.org/category/tags/tbb
http://www.01net.com/actualites/tor-bro … 79048.html

pour utiliser duckduckgo par defaut dans Chromium
https://duckduckgo.com/install_chrome

Parametrer DuckDuckGo
https://duckduckgo.com/settings

Dernière modification par grandtoubab (Le 05/06/2016, à 09:02)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#101 Le 22/10/2012, à 01:13

Re : Alternative libre au moteur de recherche Google ?

#102 Le 22/10/2012, à 12:27

Re : Alternative libre au moteur de recherche Google ?

#103 Le 30/10/2012, à 13:38

Re : Alternative libre au moteur de recherche Google ?

#104 Le 30/10/2012, à 15:07

Re : Alternative libre au moteur de recherche Google ?

#105 Le 30/10/2012, à 15:14

Re : Alternative libre au moteur de recherche Google ?

#106 Le 30/10/2012, à 15:31

Re : Alternative libre au moteur de recherche Google ?

#107 Le 30/10/2012, à 15:55

Re : Alternative libre au moteur de recherche Google ?

#108 Le 30/10/2012, à 16:01

Re : Alternative libre au moteur de recherche Google ?

#109 Le 30/10/2012, à 16:02

Re : Alternative libre au moteur de recherche Google ?

#110 Le 30/10/2012, à 20:40

Re : Alternative libre au moteur de recherche Google ?

#111 Le 31/10/2012, à 12:01

Re : Alternative libre au moteur de recherche Google ?

#112 Le 01/11/2012, à 08:55

Re : Alternative libre au moteur de recherche Google ?

#113 Le 01/11/2012, à 10:29

Re : Alternative libre au moteur de recherche Google ?

#114 Le 01/11/2012, à 16:30

Re : Alternative libre au moteur de recherche Google ?

#115 Le 01/11/2012, à 17:45

Re : Alternative libre au moteur de recherche Google ?

#116 Le 01/11/2012, à 21:17

Re : Alternative libre au moteur de recherche Google ?

#117 Le 05/11/2012, à 15:15

Re : Alternative libre au moteur de recherche Google ?

#118 Le 04/06/2016, à 23:22

Re : Alternative libre au moteur de recherche Google ?

#119 Le 05/06/2016, à 00:34

Re : Alternative libre au moteur de recherche Google ?

#120 Le 05/06/2016, à 08:51

Re : Alternative libre au moteur de recherche Google ?

Pied de page des forums