Contenu | Rechercher | Menus

Annonce

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

À propos de l'équipe du forum.

#76 Le 26/05/2008, à 21:16

WhiteFox

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Voilà l'adresse : http://mdrproject.xooit.fr/
Comme vous pourrez le voir il n'y a pour le moment qu'un message de présentation du projet et les grandes catégories.
Je vais tenter de résumer les points développés ici afin de "porter" ce topic sur le forum MDR.


Microsoft : microsize your mind !

Hors ligne

#77 Le 26/05/2008, à 22:20

Shrat

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

@ crunchyy Google indexe des caches de page en entier, des images, des pdf, des vidéos, pleins de trucs très lourds dont on se fiche totalement. On veut donner un moyen d'accéder à l'information, on ne souhatie pas la posséder.

@ alexduf Oui je plussoie, j'ai déjà parlé de la manière dont je souhaiterais que la requète se propage à travers le réseau (c'est le principe même des "index amis"). Cela forme une série de serveurs concentriques autour du clients. Les plus proches sont sémantiquement proches, les plus lointains intéressent peu.

Pour la recherche globale, ce sera plus compliqué. En effet, on en était venu à la conclusion que pour rechercher dans une base aussi vaste et éparpillée, il faudra utiliser des index d'index pour orienter la recherche (il faut trouver ce qu'on cherche yikes). En gros avant de poser une requète, il faudra envoyer une première requète qui demande "est-ce que je suis susceptible de trouver des trucs en rapport avec ma recherche chez toi". On agnerait en rapidité (je crois). Scruter le réseau au pif en recherche globale, ce serait bien trop long sur des milliers de Go.

Hors ligne

#78 Le 27/05/2008, à 09:37

DrDam

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

On agnerait en rapidité (je crois). Scruter le réseau au pif en recherche globale

je pense aussi


Tout ce qui a été crée par l'Homme devrait être patrimoine de l'humanité
Vous etes perdu ?, là ce sera trop loin

Hors ligne

#79 Le 27/05/2008, à 10:09

alexduf

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

DrDam a écrit :

On agnerait en rapidité (je crois). Scruter le réseau au pif en recherche globale

je pense aussi

il te manque quelques bouts de phrases ^_^

tu es d'accord pour dire qu'en scrutant le réseau au pif on gagnerait en temps?

Hors ligne

#80 Le 27/05/2008, à 10:11

DrDam

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

sur une recherche globale ... oui


Tout ce qui a été crée par l'Homme devrait être patrimoine de l'humanité
Vous etes perdu ?, là ce sera trop loin

Hors ligne

#81 Le 27/05/2008, à 10:46

Shrat

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Moi je crois pas.

On vit dans une démocratie d'opinion après tout lol

Hors ligne

#82 Le 27/05/2008, à 14:03

DrDam

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

lol


Tout ce qui a été crée par l'Homme devrait être patrimoine de l'humanité
Vous etes perdu ?, là ce sera trop loin

Hors ligne

#83 Le 30/05/2008, à 10:08

alexduf

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Salut à tous, je viens aux nouvelles concernant la mailing list ou un chan.

Whitefox je pense que ton forum est un chouilla trop publique si j'ai bien compris les désirs de chacun... wink

Hors ligne

#84 Le 30/05/2008, à 10:34

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

alexduf a écrit :

Salut à tous, je viens aux nouvelles concernant la mailing list ou un chan.

Désolé, j'ai pas eu le temps de m'en occuper ces 3 derniers jours, mais mon serveur de liste est presque au point (encore quelques détails à régler). Je sais pas si j'aurai le temps ce soir non plus, mais ce sera prêt avant dimanche soir sans faute. wink

Pour ce qui est du chan IRC, je pense qu'il n'est pas utile de l'avoir 24h/24, mais juste pour organiser des réunions. Si ce fonctionnement convient à tous, je le mettrai en place sur mon ordi, on préparera les réunions via la liste et je lancerai le service aux dates et horaires convenus.

Hors ligne

#85 Le 30/05/2008, à 11:51

Shrat

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Bah Jabber pour discuter ensemble. Non?

Encore merci Skippy.

Hors ligne

#86 Le 30/05/2008, à 11:55

Ski-lleR

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Bonjour

J'ai lu tous le sujet, et l'idée me semble prometteuse.

Voila comment je vois la chose :
Soit A un client (un lambda comme vous et moi)
Soit B un autre client (lui il fait parti des omega, allez savoir pourquoi big_smile)

A travail de lui même en fond, en tapant dans des adresses ip au hasard, lui fournissant ainsi une possibilité d'indexation mondial (quand je dit indexation c'est à dire les informations textuel). Il possède une base de donnée a taille variable (suivant une valeur défini), dans laquelle il stock la pertinence des sites analysés. Il stock aussi les ip potentiellement accessible via http, mais non analysée (base pleine par exemple).

A possède une liste de personne faisant tourner le logiciel.

Lorsque A fait une recherche, il tape dans sa base. Si rien n'est trouvé, il interroge un nombre de client donnée connu. Il fournit donc ses mots clés et les ip hébergant un potentiel serveur http.

B recoit ces informations, il analyse dans sa base. S'il trouve il renvoit la réponse, autrement une recherche est effectué grâce au système de noeud (client qui demande au client qui demande etc...). En parallèle, B trie les ip potentiel envoyé par A, et les enregistre dans sa base d'ip, qu'il se  servira en priorité lors de ses indexations mondial (et il pourra toujours renvoyer ces infos à un autre client s'il ne s'en est pas encore servi).

Bien sur le résultat est organisé en local, une fois plein de réponse obtenu, la liste des sites sera classé suivant des critères personnalisable. En plus de celà, des options utile et sécuritaire, par exemple récupéré des résultats d'autre client, mais ré-analysé sur le tas tous les sites données (permettant ainsi un blacklist et une pertinence plus efficace)

Pour un même site donné, une sorte de "tracking" sera effectué. Je m'explique. Pour pas que tous le monde stock 1 millions de fois l'indexation d'un même site, les clients s'échangeront une sorte de valeur (suivant un algo élaboré cela va de soit), indiquant que le site est stocké en base de donnée. Cela evitera grand nombre de problème, comme des faux clients qui pourrait stockés une liste de site modifiés.

Un système de hash pourra être mis en place pour chaque site, permettant de blacklisté les ip qui modifie les informations fournis par rapport au contenu réel du site. Genre vous chercher "chien", il vous envoi une liste de lien vers des bateau. Des systèmes similaires existes pour d'autre applications, et ont fait leur preuve!

Il y aura une fonction qui re-analysera sa propre base, la mettant à jour suivant plusieurs critère (toujours en ligne, modification apporté depuis la dernière fois? etc....).

Y'a encore beaucoup de chose, mais difficile de tout énumérer.

Que pensez-vous de ma méthode ? Défaut/Qualité ? Viable ?

Sinon personnellement je pense que pour le programmer il faudrait utilisé un langage à la fois souple et portable. Python/java vite fait, je programme en c++, et je vois la différence d'exécution ainsi que la mémoire/processeur utilisé. A la limite en C, je le préfère pour gérer le protocole tcp/udp, mais comme c'est du assez bas niveau le développpement sera un peu plus long. Pour la base de donnée je les ai toutes testés, et à l'unanimité sans aucun hésitation j'ai gardé postgresql.

Mais je dit ça juste pour la suite, car avant de choisir le langage, commencer par établir un cahier des charges complets, dans lequels vous choisirez justement le langage utilisé à la fin!

Dernière modification par Ski-lleR (Le 30/05/2008, à 12:10)


Debian *lenny* hybride

SIP/Ekiga  'Test Welcome' (Debian *lenny* hybride)
SIP:skiller@ekiga.net

Hors ligne

#87 Le 30/05/2008, à 13:13

alexduf

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Ce que tu expliques rejoint assez le raisonnement de tous les participants à deux ou trois exceptions près. Par contre on s'est tous plus ou moins entendu pour poursuivre le débat sur mailing-list ou / et sur un chanel tongue

Hors ligne

#88 Le 30/05/2008, à 13:14

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Ski-lleR a écrit :

Que pensez-vous de ma méthode ? Défaut/Qualité ? Viable ?

On en pense qu'on discutera plus en détails de tout ça dès que la liste de diffusion sera prête (je sais, c'est moi l'élément limitant…). smile

Shrat a écrit :

Bah Jabber pour discuter ensemble. Non?

Pourquoi pas, effectivement… IRC a-t-il des avantages par rapport à Jabber ?

Hors ligne

#89 Le 30/05/2008, à 13:26

Shrat

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Skippy a écrit :
Shrat a écrit :

Bah Jabber pour discuter ensemble. Non?

Pourquoi pas, effectivement… IRC a-t-il des avantages par rapport à Jabber ?

Ca fait geek... Jabber est plus simple d'utilisation.

Hors ligne

#90 Le 30/05/2008, à 13:51

alexduf

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Shrat a écrit :

Ca fait geek... Jabber est plus simple d'utilisation.

Une demi-douzaine de type sous linux qui veulent programmer un moteur de recherche distribué ça fait plus geek que des gens qui vont sur un chanel IRC ? lol

Hors ligne

#91 Le 30/05/2008, à 22:46

WhiteFox

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Je crois pas, par contre ce qui fait classe c'est de mettre "une demi-douzaine" au lieux de "6"...ça donne une peu plus de pêche...:lol:
Sinon bon bein apparemment le forum c'est pas une idée fabuleuse, je le garde quand même au cas où, on ne sait jamais mais il semblerait que la liste et Jabber soient plus adaptés.


Microsoft : microsize your mind !

Hors ligne

#92 Le 30/05/2008, à 23:19

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

WhiteFox a écrit :

Sinon bon bein apparemment le forum c'est pas une idée fabuleuse, je le garde quand même au cas où, on ne sait jamais mais il semblerait que la liste et Jabber soient plus adaptés.

Effectivement, je viens d'aller y faire un tour et ça n'a pas beaucoup bougé depuis sa mise en place... tongue

Sinon comme je l'ai déjà dit, personnellement un forum ça me branche pas trop. Par contre je pense qu'on aura besoin d'un wiki, si ça te branche de t'en occuper. wink

Personnellement j'ai pas eu le temps de m'atteler à tout ça cette semaine, là je viens de me remettre à la liste et je me heurte à un problème de droits à la con, mais je vais y arriver. yikes

Hors ligne

#93 Le 31/05/2008, à 09:59

geenux

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

J'aimerai bien participer à votre projet aussi, mais j'avoue qu'il me fait peur.... (ahh au secours). Je programme essentiellement en C++, un peu de python, mais le problème c'est que je n'ai jamais fait une application réseau, donc commencer par un moteur de recherche distribué, c'est peut-être foncer droit dans le mur.
Enfin je peut toujours essayer. Si vous avez besoin de moi pour dévelloper quelquechose en php, je peut le faire aussi.

Hors ligne

#94 Le 31/05/2008, à 10:05

alexduf

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

geenux a écrit :

J'aimerai bien participer à votre projet aussi, mais j'avoue qu'il me fait peur.... (ahh au secours). Je programme essentiellement en C++, un peu de python, mais le problème c'est que je n'ai jamais fait une application réseau, donc commencer par un moteur de recherche distribué, c'est peut-être foncer droit dans le mur.
Enfin je peut toujours essayer. Si vous avez besoin de moi pour dévelloper quelquechose en php, je peut le faire aussi.

pas besoin de toucher à la couche réseau... tu peux attaquer par autre chose, genre la partie base de données ... wink

Hors ligne

#95 Le 31/05/2008, à 10:11

geenux

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Jamais fait de base de donnée dans un autre langage que php, mais ça doit pas être dur de s'adapter.
Je verrai alors ce que je peut faire pour faire avancer ce projet.

Hors ligne

#96 Le 31/05/2008, à 15:41

WhiteFox

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

En attendant j'ai ouvert un nouveau salon jabber : mdrproject@chat.jabberfr.org
Il faut être invité pour pouvoir y entrer (précaution d'usage, histoire que n'importe qui ne vienne pas pour chatter mais seulement les Devs, donc envoyez moi vos identifiant (pas vos mots de passe, non, patapé, je suis pas un méchant) par MP et je vous invite.


Microsoft : microsize your mind !

Hors ligne

#97 Le 31/05/2008, à 15:52

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Juste pour signaler : la liste marche... cool

Vu comme j'ai galéré, j'écris un tuto pour Archlinux, je désinstalle tout, je réinstalle tout en testant mon tuto et je vous donne l'adresse. smile

Hors ligne

#98 Le 31/05/2008, à 22:39

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Yop. Liste opérationnelle, adresse « mdr [at] deepthought.zapto.org ». cool

Pour s'inscrire, envoyez un mail à « mdr-subscribe [at] deepthought.zapto.org » ou passez par l'interface web.

Pour l'instant les inscriptions sont libres, dans une semaine je rajouterai une modération.

Pour ce qui est de ce topic, je propose la politique de la terre brûlée, à savoir tout supprimer… Je fais une sauvegarde de la conversation, j'attends quelques jours que les principaux protagonistes soient inscrits et j'envoie la conversation à la liste, histoire qu'en plus des archives on l'aie tous dans nos clients mails respectifs.

Et une fois les orientations et une feuille de route décidées, on met sur ce forum une annonce sibylline du genre « cherche programmeur réseau bénévole et motivé pour projet GPL de la mort qui tue ».

Qu'est-ce que vous en pensez ? big_smile

Dernière modification par Skippy le Grand Gourou (Le 31/05/2008, à 22:40)

Hors ligne

#99 Le 31/05/2008, à 23:00

WhiteFox

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Je sais pas..."la mort qui tue"...ça reste un peu banal quand même lol
D'autre part (et là c'est pas des blagues) on m'a récemment fait remarqué que les femmes n'étaient pas assez représentées chez les programmeurs/geeks, aussi vous proposes-je (ça ce lit, ça ne se prononce pas...impossible) de prouver qu'on est pas des bêtes, et qu'on à reçut le message :
" cherche programmeur/programmeuse réseau bénévole et motivé pour projet GPL en partenariat exclusif avec madame la Mort, tueuse de renom "

PS : je ne sais pas trop si on s'y retrouve dans un post qui mélange blague et pas blague...bah disons que c'est un jeu : cherchez l'erreur big_smile amusez-vous bien.


Microsoft : microsize your mind !

Hors ligne

#100 Le 31/05/2008, à 23:26

Shrat

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Avec toute la nuance qui me caractèrise, je ne dirais qu'une seule chose :

Skippy, tu es un Dieu.

Hors ligne