Contenu | Rechercher | Menus

Annonce

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

À propos de l'équipe du forum.

#1 Le 14/03/2010, à 01:25

Wacken

Seeks, moteur de recherche libre

Salut,

Seeks est à la fois :
- un proxy de recherche web et un méta-moteur,
- un réseau P2P dont le but est de regrouper les utilisateurs ayant des centres d'intérêt communs

C'est encore en développement, et l'aspect P2P n'est pas encore très développé, mais le méta-moteur fonctionne assez bien. Il classe les résultats provenant de Google, Yahoo, Bing, Cuil et Exalead, et donne des résultats plus que satisfaisants grâce à des algorithmes d'analyse de contenu des pages web. Il permet également le regroupement des résultats par sujet.

Seeks est publié sous licence AGPL, écrit en C/C++ (il est basé sur Privoxy) et installable sur son propre serveur. On peut donc contrôler soi-même la gestion des logs, et à terme il permettra aux utilisateurs de partager leur expérience sur les résultats de recherche, et ainsi éviter les fausses pages, le « Google bombing », etc.

Un noeud de test a été mis en place sur le site officiel en guise de premier test. J'ai fait un petit tutoriel d'installation, des infos plus complètes sont disponibles sur le site officiel.

EDIT du 17/03/2010 : le tutorial a été mis à jour pour prendre en compte les commentaires et précisions de pilooch

Dernière modification par Wacken (Le 17/03/2010, à 13:15)

Hors ligne

#2 Le 14/03/2010, à 01:34

JB-home

Re : Seeks, moteur de recherche libre

je trouve ça bien, mais de là à installé un serveur sur mon pc pour un moteur de recherche... et en plus j'utilise déjà privoxy , ni a t-il pas risque de conflit ?

mais je garde dans favoris voir comment ça évolue smile


edit :

c'est un peu le même principe que TOR enfaite ?

Dernière modification par z0rg> (Le 14/03/2010, à 01:36)

Hors ligne

#3 Le 14/03/2010, à 01:36

seb24

Re : Seeks, moteur de recherche libre

C'est vraiment un excellent projet et très prometteur. J'espère qu'il va rester dynamique et qu'on aura bientôt un moteur indépendant avec performances correctes. Peut être enfin une solution pour concurrencer google et bing avec un moteur de recherche libre.

Car la problématique d'un hypothétique moteur de recherche libre c'était clairement l'infrastructure. En effet impossible pour un projet libre d'avoir les moyens technique de Google ou Microsoft. Donc avec cette architecture on supprime cette problématique.


Mini PC NUC avec Ubuntu: ebay

Hors ligne

#4 Le 14/03/2010, à 01:37

Wacken

Re : Seeks, moteur de recherche libre

z0rg> a écrit :

je trouve ça bien, mais de là à installé un serveur sur mon pc pour un moteur de recherche... et en plus j'utilise déjà privoxy , ni a t-il pas risque de conflit ?

Si, il y aura un conflit, mais il suffit de changer le port dans le fichier config (passer du 8118 au 8119, par exemple).

Par ailleurs, tu peux toujours utiliser le noeud de test : http://www.seeks-project.info/search_exp.php/websearch-hp

Hors ligne

#5 Le 14/03/2010, à 01:39

Wacken

Re : Seeks, moteur de recherche libre

seb24 a écrit :

Car la problématique d'un hypothétique moteur de recherche libre c'était clairement l'infrastructure. En effet impossible pour un projet libre d'avoir les moyens technique de Google ou Microsoft. Donc avec cette architecture on supprime cette problématique.

C'est clair ! Y'a aussi YaCy, qui fonctionne à 100 % en P2P, mais les résultats de recherche sont pas terribles.

Hors ligne

#6 Le 14/03/2010, à 04:21

bloublou

Re : Seeks, moteur de recherche libre

Wacken a écrit :
seb24 a écrit :

Car la problématique d'un hypothétique moteur de recherche libre c'était clairement l'infrastructure. En effet impossible pour un projet libre d'avoir les moyens technique de Google ou Microsoft. Donc avec cette architecture on supprime cette problématique.

C'est clair ! Y'a aussi YaCy, qui fonctionne à 100 % en P2P, mais les résultats de recherche sont pas terribles.

Ben suffirait de faire une VRAIE infrastructure centrale qui host un site, et a qui on envoie des données avec nos clients Yacy.
Ça serait cool.

Hors ligne

#7 Le 14/03/2010, à 15:54

patgrisly

Re : Seeks, moteur de recherche libre

Je m'abonne,l'idée d'un moteur de recherche libre me plais assez.
Je me contenterai des nœuds publiques publique pour le moment.

J'ai quand même fait sous koala ,par curiosité , une compil en suivant le tuto de wacken  et
au configure il me manquait "libcurl" que j'ai réglé en installant "libcurl4-gnutls-dev" et ses dépendances et aussi "libpcre3-dev"

Hors ligne

#8 Le 14/03/2010, à 21:31

Wacken

Re : Seeks, moteur de recherche libre

patgrisly a écrit :

J'ai quand même fait sous koala ,par curiosité , une compil en suivant le tuto de wacken  et
au configure il me manquait "libcurl" que j'ai réglé en installant "libcurl4-gnutls-dev" et ses dépendances et aussi "libpcre3-dev"

J'ai mis à jour le tuto, merci wink

Hors ligne

#9 Le 15/03/2010, à 03:08

Neros

Re : Seeks, moteur de recherche libre

J'utilise souvent ces derniers temps seeks et il donne de bons résultats je trouve ! Je commence même à le préférer à ixquick qui parfois me donne des résultats pas terribles...

Je vais peut-être essayer de le mettre sur mon serveur, si j'ai le temps une fois smile

Hors ligne

#10 Le 15/03/2010, à 08:53

patgrisly

Re : Seeks, moteur de recherche libre

J'ai mis à jour le tuto, merci

Merci à toi

Hors ligne

#11 Le 15/03/2010, à 10:43

bloublou

Re : Seeks, moteur de recherche libre

Neros a écrit :

J'utilise souvent ces derniers temps seeks et il donne de bons résultats je trouve !

En même temps ça utilise google et bing…

Hors ligne

#12 Le 15/03/2010, à 10:52

Wacken

Re : Seeks, moteur de recherche libre

louiz' a écrit :
Neros a écrit :

J'utilise souvent ces derniers temps seeks et il donne de bons résultats je trouve !

En même temps ça utilise google et bing…

Ixquick aussi, et c'est pas toujours top. Mais bon, à terme le but de Seeks est justement de pouvoir se passer de ça.

Hors ligne

#13 Le 15/03/2010, à 12:31

tibo_

Re : Seeks, moteur de recherche libre

Wacken a écrit :
louiz' a écrit :
Neros a écrit :

J'utilise souvent ces derniers temps seeks et il donne de bons résultats je trouve !

En même temps ça utilise google et bing…

Ixquick aussi, et c'est pas toujours top. Mais bon, à terme le but de Seeks est justement de pouvoir se passer de ça.

À propos de ça, si seeks se passe, à terme, de yahoo, google & cie, comment va t'il avoir vent des derniers sites créés ?
Les moteurs de recherche actuel ont leurs bot qui vont farfouiller les sites pour répertorier le contenu et trouver des liens qu'ils vont fouiller à nouveau pour trouver d'autres liens etc... jusqu'à certaine profondeur et limité à certains types fichiers il me semble.
Est ce que seeks marche aussi avec des bots ? Chaque noeud sera aussi un bot ou je me goure ?


Travailler MOINS pour gagner MOINS pour vivre MIEUX. | CQFD
http://rezo.net/ | Jetez votre télé c'est important pour votre santé !

Hors ligne

#14 Le 15/03/2010, à 13:07

Wacken

Re : Seeks, moteur de recherche libre

tibo_ a écrit :

À propos de ça, si seeks se passe, à terme, de yahoo, google & cie, comment va t'il avoir vent des derniers sites créés ?
Les moteurs de recherche actuel ont leurs bot qui vont farfouiller les sites pour répertorier le contenu et trouver des liens qu'ils vont fouiller à nouveau pour trouver d'autres liens etc... jusqu'à certaine profondeur et limité à certains types fichiers il me semble.
Est ce que seeks marche aussi avec des bots ? Chaque noeud sera aussi un bot ou je me goure ?

La réponse en anglais :

The second step is key to the Seeks project, and introduces what we believe are its most beneficial features. Seeks will propose a self-publishing mechanism accessible to anybody with a browser and an Internet connection. Instead of relying on a search engine for linking keywords to web contents (through crawling and indexing), Seeks will let the users register any URL using their own set of keywords (in other words, their own queries). Users querying the peer-to-peer network (DHT) will thus be recommended web content without using any existing search engine.

[...]

The third and final step proposes a decentralized web information index to gradually re-capture public information currently stored in private corporate facilities. We propose to implement small software extensions to common WEB servers, such as Apache. These extensions would allow web servers to locally index their webpages and share the indexes with other web servers and users, in a decentralized manner, on the Seeks network.

En gros, ils vont introduire la possibilité que tout un chacun puisse ajouter une URL sur le réseau, puis implémenter une extension aux serveurs web qui leur permettra d'indexer leurs propres pages, puis de les partager sur le réseau.

Encore du boulot en perspective, mais prometteur.

Dernière modification par Wacken (Le 15/03/2010, à 13:08)

Hors ligne

#15 Le 15/03/2010, à 23:23

bloublou

Re : Seeks, moteur de recherche libre

Wacken a écrit :

En gros, ils vont introduire la possibilité que tout un chacun puisse ajouter une URL sur le réseau, puis implémenter une extension aux serveurs web qui leur permettra d'indexer leurs propres pages, puis de les partager sur le réseau.

Encore du boulot en perspective, mais prometteur.

Ouais, en gros ce que fait déjà Yauba. (EDIT : je parle en fait, évidemment, de yacy : yacy.net)
Mais tant qu'ils y sont, ils peuvent réinventer la roue, ça sera encore mieux niveau perte de temps.

Dernière modification par ไƠบเઢ' (Le 16/03/2010, à 01:33)

Hors ligne

#16 Le 15/03/2010, à 23:40

Neros

Re : Seeks, moteur de recherche libre

louiz' a écrit :
Wacken a écrit :

En gros, ils vont introduire la possibilité que tout un chacun puisse ajouter une URL sur le réseau, puis implémenter une extension aux serveurs web qui leur permettra d'indexer leurs propres pages, puis de les partager sur le réseau.

Encore du boulot en perspective, mais prometteur.

Ouais, en gros ce que fait déjà Yauba.
Mais tant qu'ils y sont, ils peuvent réinventer la roue, ça sera encore mieux niveau perte de temps.

Ca s'appelle la concurrence louiz' roll

Et je trouve les résultats de seeks plus pertinents qu'ixquick ou de yauba  (je les ai utilisé pendant un moment tous les deux).

Hors ligne

#17 Le 16/03/2010, à 00:48

Henry de Monfreid

Re : Seeks, moteur de recherche libre

Abonnement.
smile


« Je te hais plus qu'aucun des dieux qui vivent sur l'Olympe
Car tu ne rêves que discordes, guerres et combats. »
Trouble obsessionnelcompulsif
Le TdCT est revenu (ils reviennent tous)

Hors ligne

#18 Le 16/03/2010, à 01:01

Wacken

Re : Seeks, moteur de recherche libre

louiz' a écrit :
Wacken a écrit :

En gros, ils vont introduire la possibilité que tout un chacun puisse ajouter une URL sur le réseau, puis implémenter une extension aux serveurs web qui leur permettra d'indexer leurs propres pages, puis de les partager sur le réseau.

Encore du boulot en perspective, mais prometteur.

Ouais, en gros ce que fait déjà Yauba.
Mais tant qu'ils y sont, ils peuvent réinventer la roue, ça sera encore mieux niveau perte de temps.

Ben non, t'as pas compris.
- Seeks est libre. Yauba non.
- Seeks est installable sur ton propre serveur. Yauba non.
- Seeks proposera aux utilisateurs d'un même serveur de classer les liens par préférence, pour améliorer les recherches dans un domaine similaire.* Yauba se targue de penser comme l'être humain pour classer les liens, mais le classement reste automatisé, et ne prendra donc jamais la qualité de l'info proposée dans une page.
- Seeks proposera des modules pour que les serveurs web puissent s'auto-indexer, et envoyer les résultats à différents serveur Seeks. Yauba indexe lui-même.
- Les différents serveurs Seeks pourront communiquer pour partager leur index. Yauba est unique, donc pas d'index partagé ou spécialisé dans un domaine.

J'appelle pas ça réinventer la roue.

* On pourrait imaginer, par exemple, que les département d'informatique de différentes universités se montent un serveur Seeks : si les utilisateurs (tous informaticiens) classent les liens en fonction de leur pertinence, la recherche d'information dans le domaine sera facilitée.

Hors ligne

#19 Le 16/03/2010, à 01:35

bloublou

Re : Seeks, moteur de recherche libre

Putain, le con. Je parle évidemment de yacy, pas de Yauba (rien à voir).
Et yacy est Libre, Yacy est installable sur son propre serveur, Yacy permet de partager les résultats, d'indexer un serveur tout seul ou d'indexer le web complet, etc.
Yacy fait tout ce que tu dis, Wacken.

Neros a écrit :

Ca s'appelle la concurrence louiz' roll

Ah oui, on a bien besoin de concurrence niveau moteur de recherche Libre…
Ah, wait, non, on a juste besoin de cohésion pour créer un truc qui tient la route.

Dernière modification par ไƠบเઢ' (Le 16/03/2010, à 01:36)

Hors ligne

#20 Le 16/03/2010, à 08:44

pilooch

Re : Seeks, moteur de recherche libre

Hello,

Yacy et Seeks diffèrent très largement.

Principalement, Yacy se base sur le modèle crawler/indexer des moteurs traditionnels. Non seulement une architecture décentralisée s'applique avec difficulté à ce modèle (cf http://cat.inist.fr/?aModele=afficheN&cpsidt=15691036). Mais en plus, à ma connaissance, Yacy ne calcule pas un pagerank distribué (à vérifier, mais cela signifie qu'il est illusoire d'espérer de très bons résultats).

Seeks applique une approche différente, en jouant dans l'angle mort des grands moteurs de recherche (privés). Seeks propose de faire ce que les moteurs traditionnels ne feront jamais, à savoir laisser les utilisateurs partager leurs requêtes, les modifier, etc... (c'est en cours de développement). Leur modèle économique basé sur la publicité les oblige à garder et cacher les requêtes des utilisateurs. En partageant les requêtes n'importe qui peut dès lors envoyer des liens à ceux que ça intéresse. On se passe alors du modèle crawler/indexer, progressivement, en travaillant au dessus des résultats des moteurs existants. En fait, on cherche collaborativement, après tout nous avons accès au plus grand des réseaux non ?

Seeks pourra partager les index entre noeuds en utilisant meme des crawlers, tout comme Yacy, mais ce sera un plugin du système et en aucun cas son modèle principal. Beaucoup d'autres choses sont possibles, Seeks est ouvert.

Mais avant tout aujourd'hui Seeks cherche à redonner la main à l'utilisateur dans la recherche d'information sur le Web, avec des releases logiciel, des améliorations continues, un contrôle des utilisateurs, un code ouvert, et la possibilité d'une personnalisation de l'environnement de recherche et des résultats.

Google, Bing & co ont poussé le modèle crawler/indexer à son paroxysme d'efficacité. Il serait contre-productif de ne pas s'en servir. Mais leur modèle économique bloque l'innovation (interdiction de réordonner les résultats par exemple). Dans sa première phase Seeks cherche à montrer que l'on peut obtenir des résultats peut etre un peu meilleurs, que l'on peut apporter de petites innovations clefs, en gros que le modèle dominant, même dans les détails, n'est pas tout-puissant.

Librement...

Hors ligne

#21 Le 16/03/2010, à 09:28

dudumomo

Re : Seeks, moteur de recherche libre

Cela semble interessant !
Je garde sous le coude.
Je ferai peut être un noeud sur mon serveur quand j'en apprendrai d'avantage dessus.


Idipops, le réseau social des prestataires de services !
Tutorial and news on how to host your own server: http://freedif.org
Aidez la recherche avec BOINC et rejoignez la Mini-Team Libristes: http://www.boinc-af.org | http://libristes.boinc-af.net

Hors ligne

#22 Le 16/03/2010, à 11:47

bloublou

Re : Seeks, moteur de recherche libre

pilooch a écrit :

Seeks applique une approche différente, en jouant dans l'angle mort des grands moteurs de recherche (privés). Seeks propose de faire ce que les moteurs traditionnels ne feront jamais, à savoir laisser les utilisateurs partager leurs requêtes, les modifier, etc... (c'est en cours de développement).

Ce que faisait wikia, alors ? yikes

Hors ligne

#23 Le 16/03/2010, à 11:54

JB-home

Re : Seeks, moteur de recherche libre

ce que fait/va faire Seeks .

Hors ligne

#24 Le 16/03/2010, à 12:07

pilooch

Re : Seeks, moteur de recherche libre

oui à peu près, Seeks a été redémarré quand l'arrêt de Wikia search a été annoncé. Avant cela nous avions les specs et nous étions prêts à aider Wikia. A noter que Seeks et Wikia diffèrent aussi quand même. Seeks joue la similarité des requêtes au sens large pour regrouper les utilisateurs.

Mais le plus gros du travail est encore devant nous !

C'est pourquoi si vous montez des serveurs et que vous pouvez les rendre publiques, cela permet l'établissement d'une base de noeuds de démarrage lorsque le p2p (la communication inter-noeuds) va être mise en place.

La liste des noeuds disponibles est ici : http://www.seeks-project.info/wiki/index.php/List_of_Web_Seeks_nodes

Hors ligne

#25 Le 16/03/2010, à 21:25

bloublou

Re : Seeks, moteur de recherche libre

J'aimerais bien faire ça. J'ai un serveur web public qui tourne.
Sauf que j'ai rien pigé. Je lance seeks, ça me fait un proxy… Je l'utilise dans firefox, et après ?

Hors ligne