Contenu | Rechercher | Menus

Annonce

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

À propos de l'équipe du forum.

#51 Le 25/05/2008, à 15:19

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Shrat a écrit :

Le but final, c'est d'avoir un réseau à peu près social. Un réseau de relations entre des hommes (rien de sexuel ici) par le biais d'internet. On cherche sur ce réseau. Ce réseau se trouve sur internet et les possibilités de rencontre sont très larges.

Tu souhaite un truc encore plus large. Il s'agit de chercher dans l'humanité toute entière (du moins, celle qui est connectée à la toile).

Comme je l'ai dit, les deux ne sont pas incompatibles. Au niveau logiciel c'est très similaire, et on peut sans problème implémenter les deux types de recherche dans un même outil.

« Philosophiquement » parlant, je trouve que l'idée du réseau social consiste au contraire en une fermeture. Si tu cherches parmi les gens qui ont les mêmes marque-pages que toi (c'est un peu ça l'idée, corrige-moi si je me trompe), je vois pas comment tu peux t'ouvrir aux avis extérieurs. De ce point de vue ça me semble en contradiction avec l'esprit d'ouverture du libre... wink

Shrat a écrit :

Aïe, on touche ici à une des multiples ambiguités du terme "libre". Par libre, j'entends ici monter un réseau avec mes petits bras et utiliser des outils sans rien demander à personne. Internet quoi.

Je vois pas la différence avec tout ce qui a été proposé ici. Je me trompe peut-être, mais j'ai l'impression que tu as lu en diagonale.

Shrat a écrit :

Le non-libre, c'est lorsque tu es dépendant d'un maillon dans un dispositif technique. Effectivement, d'un point de vue strictement technique, si tu veux faire du Google, tu passeras surement par une centralisation à un moment ou à un autre, aussi infime soit-elle.

Non. Je n'ai nulle part parlé de centralisation. C'était effectivement mon idée de départ, avant de tomber sur ce sujet, mais je suis beaucoup plus séduit par l'approche de type bittorrent (sans compter le fait que ça m'évitera d'acheter 300000 serveurs... lol).

Shrat a écrit :

C'est donc là qu'on se rend compte que le minitel est plus puissant par bien des aspects : il permet de t'offrir des résultats plus pertinents. Ce n'est pas mon but, je me pose la question des moyens techniques (forcément libre au sens que j'ai cité) en premier lieu. L'enjeu, c'est de pouvoir échanger librement d'un point à l'autre du globe sans trop se casser la tête (d'où l'utilité d'un moteur de recherche.)

Je ne suis absolument pas d'accord, je pense sincèrement que le système proposé peut potentiellement surpasser un système statique, et je ne vois toujours pas où tu vois un manque quelconque de liberté. D'ailleurs, ça me fait un peu penser aux réseaux de neurones, sur lesquels j'ai très peu de connaissances (j'en saurai un peu plus d'ici un mois et demi), mais desquels on pourrait peut-être s'inspirer.

Shrat a écrit :

En dernier lieu, il s'agit surtout de redonner à Internet un visage humain. En gros tu ne te trouvera plus dans un immense continent ou tu croises des millions de personnes dont tu te fout éperdument. Tu seras plutôt dans une grande ville dont tu as à peu près choisi tous les habitants, où tu connais de vue à peu près tous le monde. Je ne sais pas si l'image est très parlante m'enfin ça me semble sympa d'un point de vue intellectuel.

Du bienvenue chez les ch'tis informatique ? lol:P

Plus sérieusement, j'ai l'impression que tu penses plus à un Myspace-like (enfin je connais pas trop, mais l'idée que je m'en fais...) décentralisé, non ?

Shrat a écrit :

Un moteur de recherche Internet, au sens de Bayart, ça n'existe pas. Faisons-le !

Je dois être long à la détente, mais j'ai toujours pas compris où tu voulais en venir : c'est exactement ce que je veux faire ! roll

Shrat a écrit :

J'ajoute que de toute façon je me désolidarise de MDR, je vais faire mon truc et je reviendrais vous voir après pour qu'on considère ce que les deux projets pourraient s'apporter mutuellement. Je vais pas venir ici avec mes gros sabots et imposer ma vision.

Attends peut-être un peu les avis des autres, d'autres ont peut-être ta vision des choses, ce sera peut-être plutôt à moi de partir...

Hors ligne

#52 Le 25/05/2008, à 16:05

Shrat

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Je vais me citer, c'est encore ce qu'il y a de plus simple. En plus , j'en ai toujours rêvé tongue

Chaque utilisateur indexe un certain nombre de pages, celles qu'il consulte souvent. Ensuite, il alloue une certaine part de sa bande passante, la rapidité de ses recherches étant relative à cette quantité (c'est une forme de ratio de partage). A l'intérieur de cette bande passante, on divise le tout en deux. Une partie de la bande sert à tous le monde, c'est une recherche globale (autant dire que c'est lent et que tous le monde se bouscule à l'entrée). L'autre partie est allouée à une recherche qu'on pourrait dire communautaire. Lorsque quelqu'un tombe sur un site pertinent en cherchant dans l'index de ce mec (par recherche global), ils deviennent "ami". Par la suite, lorsque l'un de ces gars fais une recherche, il va d'abord chercher chez ses amis (recherche communautaire). A terme, l'utilisateur préfèrera privilégier la recherche communautaire.

Je crois que tout est dit. De cette manière, le moteur de recherche communique avec un ensemble d'index (les serveurs). Après on peut rediscuter des modalités qui font d'un utilisateur un ami (je dis ami mais le terme est sûrement impropre, ça me semble clair comme cela). On peut fournir différentes fonctions pour ce faire. De toute façon, l'utilisateur devrait avoir toute la liberté pour peaufiner cela selon ses désirs. Je ne pense pas qu'on trouve des index strictement similaires mais effectivement, ils se ressembleront en partie. De proche en proche, on élargit la base de sites indexés pour chaque utilisateur. De fait, le moteur est très mauvais au début de son utilisation; infiniment meilleur après quelques semaines/mois.

En outre, chaque utilisateur pourra accéder aux listes d'ami d'autrui. Tel que je commence à le voir au niveau prog (mais j'en suis encore très loin, il faut modéliser d'abord), cela signifiera que lors d'une requète, le moteur cherchera d'abord des index, les classera par ordre de préférence (de proximité sociale en quelque sorte) et cherchera dedans. Une recherche pourrait donc tourner de manière illimitée, parcourant le réseau, mais pas au hasard. Ce caractère illimité est ce qui me fait peur pour l'instant. Ca promet de sacré difficultés techniques. On verra... Il y a surement moyen de régler ces problèmes avec le ratio d'échange.

Je te vois venir, il y aura des doublons. Je crois que tu pense ainsi parce que lorsqu'on fait une base de donnée, la peste, ce sont les doublons. Il faudra effectivement raisonner de cette manière mais du coté client, pour chaque client et de manière indépendante. Lors d'une requète, si une page arrive 100 fois, on a un magnifique pagerank, personalisé, sans prise de tête.

Un truc me vient à l'esprit. Avant de poser ces questions (index centralisé/décentralisé, comment on centralise/décentralise?), il y a déjà quelque chose de commun qui sera nécessaire pour tous le monde. Un outil qui permet d'indexer des pages. En gros, il faut un outil qui regarde dans une page et classe les informations qui lui sont relative dans une base sqlite. Ni plus ni moins, on ne va pas parcourir les sites, on ne va pas se poser des questions sur le sens de ce que l'outil classe en fonction du site, blablabla. KISS. On pourra toujours retraiter l'information a posteriori. Je crois en effet que le mode de stockage et de consultation du/des index aura une influence sur le mode de parcours des sites. De grâce, ne nous posons pas ces questions (du moins, pas au niveau de ce qu'on code maintenant). On aura de toute façon besoin d'une commande de ce type.

Allez hop, mes 0,02$ supplémentaires. A ce train là, je ne mangerais bientôt plus que des pâtes yikes

Hors ligne

#53 Le 25/05/2008, à 16:24

WhiteFox

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

C'est marrant comme vos idées sont proches et éloignées à la fois (je parles pour Shrat et Skippy)...
Mais elles ne semblent pas incompatibles :
Shrat semble préoccupé par l'idée communautaire et communication entre les utilisateurs du moteur de recherche, et Skippy semble préoccupé par l'idée de rester performant en décentralisant.
Ce qui s'avère être 2 branches différentes mais du même projet MDR.
J'ai l'impression (dites moi si je me trompe) que vous ne divergez pas d'opinion mais simplement de sujet.
Ce qui s'avèrerait bénéfique si aucun de vous ne partait car ça offrirait un début répartition des tâches.
Un petit rappel du point principale du cahier des charges pour confirmer que vous êtes bien d'accords :
"Quelque soit le terminal, le post ou la machine (appelez ça comme bon vous semble) débranché ou déconecté du reste du réseau, MDR doit continuer à être pleinement fonctionnel !"
Si vos idées respectives respectent ce point, je pense qu'aucun de vous ne doit s'en aller...
N'étant moi même pas très "calé" au niveau technique, je dois vous avouer que le déchiffrage des précédents post m'est difficile, pour moi c'est proche du chinois.
Ce qui est également un point positif : cela signifie que vous êtes rentrés dans le sujet à tel point que je suis largué.
Surtout ne vous occupez pas de moi, je vais être un peu à le traine mais je vous suis (et vous suis reconnaissant de porter un tel intérêt à ce projet).
Je me rends compte de mes lacunes, aussi je vais me contenter de suivre la partie technique (en émettant une idée de temps en temps s'il m'en vient une) et me pencher à fond sur des parties que je maitrise mieux : communication, coordination et graphisme.
D'ailleurs, après la coordination, la communication, et je me replonge tout de suite dans la conception du site de MDR, que j'hébergerais chez moi dès que j'aurais la machine (pour rester dans l'optique développée dans la conférence), je le mettrais en ligne le plus tôt possible.
Encore une fois merci de l'intérêt que vous portez à ce projet.


Microsoft : microsize your mind !

Hors ligne

#54 Le 25/05/2008, à 16:31

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Shrat a écrit :

Je vais me citer, c'est encore ce qu'il y a de plus simple. En plus , j'en ai toujours rêvé tongue

Donc encore une fois, de nos deux visions ressort le même principe technique. Simplement, pour toi chaque utilisateur a un index personnalisé, tandis que pour moi tout le monde a le même index (sans que ce soit centralisé !). Les deux modes sont donc complétmentaires, et à mon avis c'est un plus que de proposer les deux approches (et peut-être d'autres ?), donc l'implémentation sera à mon avis très proche au niveau programmation.

Shrat a écrit :

Je te vois venir, il y aura des doublons. Je crois que tu pense ainsi parce que lorsqu'on fait une base de donnée, la peste, ce sont les doublons. Il faudra effectivement raisonner de cette manière mais du coté client, pour chaque client et de manière indépendante. Lors d'une requète, si une page arrive 100 fois, on a un magnifique pagerank, personalisé, sans prise de tête.

Pas de soucis de ce côté là, je l'ai d'ailleurs déjà dit aussi, dans ma proposition aussi les doublons sont plus que nécessaires, sinon dès qu'un client est éteint tu perds une partie de l'information... Ça ne me pose donc pas de problème, d'autant que dans ton cas ça peut effectivement être comptabilisé comme pagerank, et dans mon cas il y a moyen d'éviter de rechercher deux fois dans le même échantillon.

Par contre maintenant que tu parles de bande passante, je commence à me poser la question de la vitesse de recherche. On sera vite fixé, mais il faudrait que ça soit assez rapide...

Shrat a écrit :

De grâce, ne nous posons pas ces questions (du moins, pas au niveau de ce qu'on code maintenant).

Je pense que de toute façon, se plonger dans le code est encore prématuré. Comme tu l'as dit il faut déjà tout modéliser, avant ça il faut définir un cahier des charges assez précis, duquel on est encore assez loin, ensuite se répartir les tâches, il sera peut-être nécessaire de créer notre propre protocole (croisons les doigts pour que ça ne soit pas le cas... quoique ça serait certainement enrichissant), s'inscrire sur SourceForge, réfléchir à l'ouverture en terme d'équipe (est-ce qu'on reste entre franco-français, est-ce qu'on passe en mode international ? Sachant que pour moi le logiciel devra de toute façon être disponible à la fois en français et en anglais), etc...

Au passage, qu'on se mette tout de suite d'accord au cas où le projet voit le jour : licence GPL ou similaire, sinon au revoir... wink

Hors ligne

#55 Le 25/05/2008, à 16:42

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

WhiteFox a écrit :

C'est marrant comme vos idées sont proches et éloignées à la fois (je parles pour Shrat et Skippy)...
Mais elles ne semblent pas incompatibles :
Shrat semble préoccupé par l'idée communautaire et communication entre les utilisateurs du moteur de recherche, et Skippy semble préoccupé par l'idée de rester performant en décentralisant.
Ce qui s'avère être 2 branches différentes mais du même projet MDR.
J'ai l'impression (dites moi si je me trompe) que vous ne divergez pas d'opinion mais simplement de sujet.

C'est un peu l'impression que j'en ai aussi... wink

WhiteFox a écrit :

Un petit rappel du point principale du cahier des charges pour confirmer que vous êtes bien d'accords :
"Quelque soit le terminal, le post ou la machine (appelez ça comme bon vous semble) débranché ou déconnecté du reste du réseau, MDR doit continuer à être pleinement fonctionnel !"

Oui. À ceci près que le type de recherche que je préconise devra donner des résultats identiques, tandis que celle préconisée par Shrat donnera des résultats différents. Mais pour moi ce n'est qu'une question de préférence au niveau de l'utilisateur, entre recherche globale (celle que je propose) ou par « réseau social » (celle proposée pare Shrat).

WhiteFox a écrit :

N'étant moi même pas très "calé" au niveau technique, je dois vous avouer que le déchiffrage des précédents post m'est difficile, pour moi c'est proche du chinois.
Ce qui est également un point positif : cela signifie que vous êtes rentrés dans le sujet à tel point que je suis largué.

Non, dans tout ce que j'ai dit il n'y a rien de technique, j'ai très très peu de connaissances réseau & cie... C'est pas du vrai jargon et les mots que j'utilise n'ont sans doute pas la signification que je veux leur donner... wink

WhiteFox a écrit :

D'ailleurs, après la coordination, la communication, et je me replonge tout de suite dans la conception du site de MDR, que j'hébergerais chez moi dès que j'aurais la machine (pour rester dans l'optique développée dans la conférence), je le mettrais en ligne le plus tôt possible.

Euh... Excuse-moi mais je pense que c'est encore très prématuré... Il faut commencer par le commencement, à savoir à mon avis :
1. Se mettre d'accord sur la fin et les moyens
2. Poser le cahier des charges
3. Schématiser tout ça et répartir les tâches en sous-projets
4. Commencer à coder

Je pense que la partie graphisme et communication n'ont pas leur place avant l'étape 4... neutral

D'ailleurs, je pense qu'il faudra trouver un nom un peu plus sexy que MDR, genre un acronyme à base de nom de déesse teutonne... wink

(Bon, je galère un peu avec la mise en place de ma liste de diffusion, je vous tiens au courant...)

Dernière modification par Skippy le Grand Gourou (Le 25/05/2008, à 16:42)

Hors ligne

#56 Le 25/05/2008, à 17:04

Shrat

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

GPL'd of course.

Pourquoi je vous embête avec mes histoires qui posent plein de problèmes. Parce que chaque client ne peut pas posséder le même index : les DD vont rapidement exploser. Ou alors, notre moteur restera fait pour une élite privilégiée possédant des capacités de stockage proprement hallucinante cool C'est simplement pour cela que je privliégiais un réseau où chacun possède un index différent, assez restreint d'ailleurs (la taille de l'index n'est finalement relative qu'à la taille de la bande passante). Quand on cherche, on va parcourir les index de ses copains.

Effectivement, en fonctionnant ainsi, le moteur n'est pas fonctionnel lorsqu'on est plus sur le net ou si tous les utilisateurs du moteur décident un beau jour d'aller pêcher.

M'enfin, j'aimerais vraiment savoir comment vous voulez faire pour décentraliser un même truc en le coupant en morceau. Ou, de manière différente, comment posséder le même truc d'un bloc sur tous les postes?

Cela me paraît techniquement impossible mais je déteste les gens qui parlent comme cela. Peut-être que vous pouvez donc me prouver le contraire.

Hors ligne

#57 Le 25/05/2008, à 17:52

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Shrat a écrit :

Pourquoi je vous embête avec mes histoires qui posent plein de problèmes.

Non non, ça pose pas de problème et je trouve ça plutôt constructif...

Shrat a écrit :

Parce que chaque client ne peut pas posséder le même index : les DD vont rapidement exploser. Ou alors, notre moteur restera fait pour une élite privilégiée possédant des capacités de stockage proprement hallucinante cool C'est simplement pour cela que je privliégiais un réseau où chacun possède un index différent, assez restreint d'ailleurs (la taille de l'index n'est finalement relative qu'à la taille de la bande passante). Quand on cherche, on va parcourir les index de ses copains. [...]
M'enfin, j'aimerais vraiment savoir comment vous voulez faire pour décentraliser un même truc en le coupant en morceau. Ou, de manière différente, comment posséder le même truc d'un bloc sur tous les postes?

Par exemple en créant des quanta d'indexes d'une taille donnée, disons au pif 10Mo, l'utilisateur décide quelle place il est prêt à accorder aux indexes, en fonction de laquelle lui est accordée une certaine bande passante. Chaque bout d'index contiendrait un checksum afin d'éviter de piocher dans des doublons.

Bon, c'est juste des idées en l'air sur lesquelles j'ai pas trop réfléchi, mais je pense que c'est faisable.

Shrat a écrit :

Effectivement, en fonctionnant ainsi, le moteur n'est pas fonctionnel lorsqu'on est plus sur le net ou si tous les utilisateurs du moteur décident un beau jour d'aller pêcher.

Là ça touche à la responsabilité de l'utilisateur, de laisser tourner son truc en démon. On peut là encore imaginer des avantages (plus de bande passante ?) à ceux qui ont un gros uptime.

Attention quand même à la notion d'attribution de bande passante, il faut que le moteur soit pleinement utilisable même avec peu de bande passante, parce que sinon au bout de 5 minutes le néophyte le supprimera...

Hors ligne

#58 Le 25/05/2008, à 18:12

Shrat

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Bah on ne devrais pas être d'énormes bouffeurs de bande passante. C'est certain qu'il faudra garder un oeil la dessus.

Si je résume, tous le monde possédera des bouts d'index (un peu comme les hash de bittorrent). Lors d'une requète, on cherche de manière violente un peu partout, jusqu'à avoir parcouru l'ensemble de l'index. C'est ce que tu sous-entendait.

Si c'est cela, on perd beaucoup de ce que je proposais. En même temps, ce que je proposais était bien restrictif. Tu résouds beaucoup de problèmes.

Néanmoins, ca va être compliqué, je me demande si c'est possible de lancer des recherches comme cela. Cela revient quand même à télécharger (ou du moins à traiter l'info, on peut jeter tout de suite après) un index très gros. Il faudra trouver des moyens efficaces de choisir ce qu'on scrute : faire des index d'index d'index. Sinon, on va se retrouver à télécharger des To d'index pour chaque recherche.

Ca me paraît difficile...

Une chose apparaît de plus en plus claire, quel que soit le système envisagé, on sera toujours très dépendant d'autrui. Faudra faire le deuil d'une certaine indépendance WhiteFox. La recherche sera toujours l'image du réseau à un instant t. On aura toujours une déperdition possible de l'information.

Hors ligne

#59 Le 25/05/2008, à 18:37

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Shrat a écrit :

Si je résume, tous le monde possédera des bouts d'index (un peu comme les hash de bittorrent). Lors d'une requète, on cherche de manière violente un peu partout, jusqu'à avoir parcouru l'ensemble de l'index. C'est ce que tu sous-entendait.

Oui. Sauf qu'il doit y avoir des moyens de faire ça d'une manière intelligente (j'espère...).

Shrat a écrit :

Si c'est cela, on perd beaucoup de ce que je proposais. En même temps, ce que je proposais était bien restrictif.

C'est pour ça que je pense que les deux approches sont complémentaires, et pas contradictoires. Il y a quand même pas mal de points communs au niveau logiciel, seule la gestion des données diffère. Je pense que c'est un plus que de proposer les deux types de recherche, car comme tu l'as dit les buts ne sont pas les mêmes.

Shrat a écrit :

Néanmoins, ca va être compliqué

Personne n'a dit le contraire, ça aurait d'ailleurs été étonnant ! big_smile

D'ailleurs rien que le fait de décentraliser une base de données, sur le principe... hmm

Shrat a écrit :

Une chose apparaît de plus en plus claire, quel que soit le système envisagé, on sera toujours très dépendant d'autrui. Faudra faire le deuil d'une certaine indépendance WhiteFox. La recherche sera toujours l'image du réseau à un instant t. On aura toujours une déperdition possible de l'information.

De moins en moins importante au fur et à mesure que le logiciel sera répandu. C'est le même principe que pour les torrents, quand tu n'as plus de seeders ou de leechers ben c'est mort...

Hors ligne

#60 Le 25/05/2008, à 19:01

Shrat

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Pour garder la compraison avec le torrent, certaines parties ne seront plus disponibles à certains moments, quel que soit le système. Pas le torrent en entier. On ne pourra jamais tout explorer.

Autre problème (plus génant mais uniquement avec ton système) : pour éviter de tout scruter et de télécharger des To d'index, il va falloir faire dees index d'index d'index (du moins ça me semble être la seule manière de s'en sortir). L'ennui c'est que c'est une hérésie en terme de conception de base de donnée? Il va y avoir des redondances dont on ne pourra pas assurer la cohérence. Exemple, un index pointe vers un index qui pointe vers un index qui n'existe pas... Comment faire l'update des autres index sachant que l'information est complétement mutualisé... Comment indiquer aux autres index que tel index n'est plus existant.

Si tu me répond qu'on a qu'a faire une base de donnée tout ce qu'il y a de plus classique (MCD par exemple, c'est le seul truc de modélisation que je connaisse), je te répéterais que ce n'est pas possible. Tu ne peux pas faire télécharger un index intégral à chaque requète. C'est trop gros (passera pas comme dirais l'autre smile)

Dernière modification par Shrat (Le 25/05/2008, à 19:03)

Hors ligne

#61 Le 25/05/2008, à 19:09

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Quelques idées à la con comme ça : adapter un algorithme de compression des données pour la recherche, ou un algorithme de cryptage, ou encore rendre la recherche plus intelligente par l'apprentissage à un réseau de neurones, ou bien regrouper les indexes par thèmes ou par ordre alphabétique ou par tout autre moyen permettant de réduire le champ de recherche...

C'est des idées à la con, j'y ai pas vraiment réfléchi et je sais pas si c'est faisable, mais c'est quelques trucs qui me viennent spontanément à l'esprit en lisant ta question. smile

Bon, je galère avec cette *%$£¤# de liste de diffusion, ça commence bien... roll

Hors ligne

#62 Le 25/05/2008, à 20:54

WhiteFox

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Skippy a écrit :

ou bien regrouper les indexes par thèmes ou par ordre alphabétique ou par tout autre moyen permettant de réduire le champ de recherche

Ou bien...par "index amis", et c'est là que l'idée de Shrat prendrait toute son ampleur...Et c'est ainsi que deux idées que tout opposait se marièrent et eurent beaucoup d'enfants lol

Pour le site il ne s'agit bien évidemment pas de vanter les mérites d'un logiciel qui n'est même pas encore entamé mais plutôt de présenter le projet à d'éventuels contribueurs et d'avoir un portail et un forum (car c'est bien gentil de la part d'Ubuntu-fr d'héberger nos idées, mais ce serait plus pratique d'avoir un forum dédié je pense).
Bref c'est pour faire avancer le shmilblik, ne vous en faites pas je ne vends pas la peau de l'ours.


Microsoft : microsize your mind !

Hors ligne

#63 Le 25/05/2008, à 21:07

Shrat

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Bon. Dans deux semaines je modélise la BDD, du moins pour tout ce qui concerne l'indexation de page. Je ferais de la MCD (méthode Merise). Je code la fonction et on verra après.

Je sais deux semaines c'est long. M'enfin j'aurais alors fini mes partiels. Et là, je vais m'y mettre à fond!

Hors ligne

#64 Le 25/05/2008, à 21:18

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

WhiteFox a écrit :

Ou bien...par "index amis", et c'est là que l'idée de Shrat prendrait toute son ampleur...Et c'est ainsi que deux idées que tout opposait se marièrent et eurent beaucoup d'enfants lol

Bien tenté... tongue

WhiteFox a écrit :

Pour le site il ne s'agit bien évidemment pas de vanter les mérites d'un logiciel qui n'est même pas encore entamé mais plutôt de présenter le projet à d'éventuels contribueurs et d'avoir un portail et un forum (car c'est bien gentil de la part d'Ubuntu-fr d'héberger nos idées, mais ce serait plus pratique d'avoir un forum dédié je pense).

Ben justement, je pense qu'une liste de diffusion est plus adaptée à un développement de projet qu'un forum. Mais pour l'instant c'est pas gagner, j'arrive pas à m'inscrire ni à envoyer des mails (d'ailleurs mon PC a failli passer par la fenêtre)... ><

Shrat a écrit :

Bon. Dans deux semaines je modélise la BDD, du moins pour tout ce qui concerne l'indexation de page. Je ferais de la MCD (méthode Merise).

Ok, j'essaierai de faire de même de mon côté (mais à la méthode Skippy...), comme ça on pourra comparer les deux approches et en extraire les parties communes.

Shrat a écrit :

Je sais deux semaines c'est long.

Mais non, t'inquiète pas, moi non plus j'ai pas que ça à foutre malheureusement... wink

Hors ligne

#65 Le 25/05/2008, à 22:03

Shrat

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Skippy le Grand Gourou a écrit :
WhiteFox a écrit :

Ou bien...par "index amis", et c'est là que l'idée de Shrat prendrait toute son ampleur...Et c'est ainsi que deux idées que tout opposait se marièrent et eurent beaucoup d'enfants lol

Bien tenté... tongue

Moui ça ne résoud rien. Il y a vraiment une divergence profonde entre l'approche de Skippy et la mienne.

Le truc, c'est que si Skippy arrive à monter son truc, ça supplante très avantageusement ma partie "recherche globale". De fait, ma partie "recherche communautaire" s'en trouverait grandement amélioré.

Donc le 2 en 1 serait top.

Bon, ben on a déjà de bonnes orientations. Il faudrait qu'on trouve un moyen de communiquer de manière plus "fermée" maintenant. Il ne s'agirait pas de se faire piquer l'idée par un éditeur proprio. Improbable mais je me méfie. On ouvrira le code une fois qu'on aura un truc qui tient à peu près la route, GPL'd. Ca evitera aussi que ça devienne trop le bazar. Je suis un partisan des cathédrales, comme le dev d'Ion...

Si quelqu'un pouvait monter un forum ou autre ce serait cool (avec inscription obligatoire), je ne peux pas laisser ma machine allumée 24/24 chez moi...

Sur ce je vais me coucher, j'ai partiel demain. Je suis tout enthousiaste!!!

Hors ligne

#66 Le 25/05/2008, à 22:59

crunchyy

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Bonjour!
J'ai quelque peu suivi votre discussion et je trouve votre projet original (s'affranchir de passer par un serveur central sujet a toutes sorte de censure et autre publicité pour faire une recherche c'est quand même prometteur).

Je souhaiterai juste repondre a Shrat car (si je n'ai pas mal interprété ses propos) il parlais de télécharger des To d'index or je pense qu'il serait plus intéressant d'effectuer la recherche en envoyant la recherche à quelqu'un qui est en possession de l'index et d'effectuer la recherche localement sur sa machine puis de renvoyer les résultats. Je crois que c'est la seul manière possible de fonctionner et la plus économique.

Le problème c'est que celui qui est en possession d'un index se retrouve a faire des recherche pour plein d'autre gens qu'il ne connais pas et à qui il n'a rien demandé. Faut être ouvert d'esprit pour accepter que sa machine "se fasse utilisée" par des inconnues. Bien sur il faudras veillé a ce que l'ordinateur ne soit pas surchargé et que les differente recherche ne plombe pas les performance, donc il faudra aussi parfois dire non et renvoyer la recherche a quelqu'un d'autre avec le même index (je sais pas si vous me suivez).

Ce qui vous manque aussi pour l'instant c'est une estimation de la taille de l'index d'un  moteur de recherche genre au hasard google. Et calculer a raison de 10-50 Mo par personne combien de posts sont nécessaires pour completer le puzzle.


Même la perfection a un défaut. Celui de ne pas exister.

Hors ligne

#67 Le 25/05/2008, à 23:25

Keldath

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Bonsoir,
Je viens juste préciser que Bitorrent ou autre protocole P2P est quand même lié à un serveur qui a pour rôle de mettre en relation tous les clients (qui sont aussi serveurs) du réseau.

Pour Bittorent, de Wikipédia :

Tracker : Un traqueur est un serveur qui sait en permanence quels seeds et quels peers se trouvent dans le swarm (l'essaim). Les clients lui envoient régulièrement des informations. En échange, ils reçoivent des informations sur d'autres clients auxquels ils peuvent se connecter. Le traqueur n'est pas directement impliqué dans le transfert de données et ne possède pas de copie du fichier. Les quelques secondes par heure où un client se connecte au traqueur sont en principe les seules où il puisse se faire identifier (mais par quelques dizaines d'autres clients seulement).

Ce sont les données qui sont décentralisées, un tronc commun doit exister pour faire correspondre tout ce joli monde.

Dernière modification par Keldath (Le 25/05/2008, à 23:25)

Hors ligne

#68 Le 26/05/2008, à 05:30

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Shrat a écrit :

Il faudrait qu'on trouve un moyen de communiquer de manière plus "fermée" maintenant. Il ne s'agirait pas de se faire piquer l'idée par un éditeur proprio. Improbable mais je me méfie. On ouvrira le code une fois qu'on aura un truc qui tient à peu près la route, GPL'd. Ca evitera aussi que ça devienne trop le bazar. Je suis un partisan des cathédrales, comme le dev d'Ion...

C'est un peu pour les mêmes raisons que j'étais plutôt réticent à exposer mes idées ici au départ... wink

Ce sera peut-être une bonne idée de nettoyer ce topic une fois que les autres moyens de discussion seront en place.

Shrat a écrit :

Si quelqu'un pouvait monter un forum ou autre ce serait cool (avec inscription obligatoire), je ne peux pas laisser ma machine allumée 24/24 chez moi...

C'est pas comme si j'avais passé mon après-midi à essayer en vain de monter une liste de diffusion... roll

Je pense encore une fois qu'une liste de diffusion est plus adaptée qu'un forum, et en plus c'est (normalement !) plus simple à mettre en oeuvre je crois. Plus un canal IRC pour d'éventuelles réunions. Pour la liste, j'ai tout viré, je reprend tout au propre ce soir. wink

crunchyy a écrit :

Je souhaiterai juste repondre a Shrat car (si je n'ai pas mal interprété ses propos) il parlais de télécharger des To d'index or je pense qu'il serait plus intéressant d'effectuer la recherche en envoyant la recherche à quelqu'un qui est en possession de l'index et d'effectuer la recherche localement sur sa machine puis de renvoyer les résultats. Je crois que c'est la seul manière possible de fonctionner et la plus économique.

C'est effectivement pas con du tout. Et ça laisse entrevoir des possibilités concernant la notion de partage/mérite, genre qui laisse plus de CPU+espace disque à la priorité sur les accès aux machines plus puissantes, etc. Sans doute chaud à mettre en place, mais on y arrivera. wink

crunchyy a écrit :

Bien sur il faudras veillé a ce que l'ordinateur ne soit pas surchargé et que les differente recherche ne plombe pas les performance, donc il faudra aussi parfois dire non et renvoyer la recherche a quelqu'un d'autre avec le même index (je sais pas si vous me suivez).

Oui. Pour les perfs sous Linux c'est gérable avec cpulimit, qui permet de limiter l'usage cpu d'un processus.

Keldath a écrit :

Je viens juste préciser que Bitorrent ou autre protocole P2P est quand même lié à un serveur qui a pour rôle de mettre en relation tous les clients (qui sont aussi serveurs) du réseau. [...] Ce sont les données qui sont décentralisées, un tronc commun doit exister pour faire correspondre tout ce joli monde.

Je pense qu'il y a moyen de faire jouer ce rôle aux clients, et tout décentraliser.

Bon, cassos ou je rate mon train... hmm

Hors ligne

#69 Le 26/05/2008, à 06:03

Shrat

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Skippy le Grand Gourou a écrit :
Shrat a écrit :

Il faudrait qu'on trouve un moyen de communiquer de manière plus "fermée" maintenant. Il ne s'agirait pas de se faire piquer l'idée par un éditeur proprio. Improbable mais je me méfie. On ouvrira le code une fois qu'on aura un truc qui tient à peu près la route, GPL'd. Ca evitera aussi que ça devienne trop le bazar. Je suis un partisan des cathédrales, comme le dev d'Ion...

C'est un peu pour les mêmes raisons que j'étais plutôt réticent à exposer mes idées ici au départ... wink

Ce sera peut-être une bonne idée de nettoyer ce topic une fois que les autres moyens de discussion seront en place.

Shrat a écrit :

Si quelqu'un pouvait monter un forum ou autre ce serait cool (avec inscription obligatoire), je ne peux pas laisser ma machine allumée 24/24 chez moi...

C'est pas comme si j'avais passé mon après-midi à essayer en vain de monter une liste de diffusion... roll

Je pense encore une fois qu'une liste de diffusion est plus adaptée qu'un forum, et en plus c'est (normalement !) plus simple à mettre en oeuvre je crois. Plus un canal IRC pour d'éventuelles réunions. Pour la liste, j'ai tout viré, je reprend tout au propre ce soir. wink

Merci Skippy.... wink

Pour la question des To d'index, je voulais bien évidemment dire que ce n'est pas possible. Déjà que télécharger une distro ça prend parfois une bonne demi heure... L'idée sous-jacente, c'était de dire que si tout est décentralisé (méthode Skippy), il faut un moyen de savoir quels sont les index dans lesquels on a déjà cherché et il faudra faire une recherche intelligente, comme le disais déjà Skippy : on ne peut pas rechercher dans tous l'index, contrairement à ce que fais Google.

Mais,

Rechercher sur la machine? Bah oui suis bête moi, il n'y a pas plus simple et rapide pour tous le monde... Je m'en serais surement rendu compte face au problème (les mains dans le cambouis), mais quand même. Merci beaucoup, je passais à coté d'un truc vraiment évident. Quel idiot! Je m'en veux.

Si on résume : requète SQL + tout ça dans un zoli array et on transmet le tout. Ca fait pas lourd du tout en terme de bande passante et de CPU... Miam! Je commence à aimer cette histoire.

Bon, je cours en partiel moi!

Hors ligne

#70 Le 26/05/2008, à 16:02

WhiteFox

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Skippy le Grand Gourou a écrit :
crunchyy a écrit :

Je souhaiterai juste repondre a Shrat car (si je n'ai pas mal interprété ses propos) il parlais de télécharger des To d'index or je pense qu'il serait plus intéressant d'effectuer la recherche en envoyant la recherche à quelqu'un qui est en possession de l'index et d'effectuer la recherche localement sur sa machine puis de renvoyer les résultats. Je crois que c'est la seul manière possible de fonctionner et la plus économique.

C'est effectivement pas con du tout. Et ça laisse entrevoir des possibilités concernant la notion de partage/mérite, genre qui laisse plus de CPU+espace disque à la priorité sur les accès aux machines plus puissantes, etc. Sans doute chaud à mettre en place, mais on y arrivera. wink

Léger problème quand même : est-ce que n'importe quelle machine peut-être débranchée sans que ça ne pénalise le reste des utilisateurs ?
Est-ce que ça ne reviendrait pas à dispatcher les 8000 machines de google à travers le monde...mais en leur laissant le contrôle total ?
Et du coup, qu'est-ce qu'on y gagne ?
J'ai l'impression que ça revient à avoir plusieurs réseaux centrés, mais finalement, on ne décentralise pas, on ne fait que porter le problème à une autre échelle...


Microsoft : microsize your mind !

Hors ligne

#71 Le 26/05/2008, à 17:49

crunchyy

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

WhiteFox a écrit :

Est-ce que ça ne reviendrait pas à dispatcher les 8000 machines de google à travers le monde...mais en leur laissant le contrôle total ?

C'était ca l'idée à la base non? Faut bien que quelqu'un est le contrôle de quelque chose quelque part big_smile Plus sérieusement du moment que l'index est chez toi tu peux a tout moments le supprimer. Après faut voir aussi comment le fichier d'index grossit (pour accueillir les nouvelle pages crées), soit c'est l'application qui le gère, et elle se charge de son contenu et dans se cas le seul controle qu'a l'utilisateur et de supprimer l'index (en désinstallant l'application par exemple). Soit l'utilisateur influe directement (en rajoutant des pages ou autre) ou indirectement (l'app récupère les pages visitée par le user...) donc la oui y a un controle un peu plus grand. Mais de toutes facons c'était implicitement et depuis le début la seul solution réalisable techniquement et comme l'a dit Shrat vous vous seriez rendus comptes quand vous seriez rentrés plus profondement (et encore c'est juste la surface) dans le sujet plus tard.

Sinon pour infos (sur le superbe PDF qu'a partagé Abu) Google c'est 5.000.000 de GO soit à raison de 50Mo par poste ça fait 100.000.000 (cents millions) d'utilisateur... ce qui est impossible à réaliser (et encore je crois que la redondance y est incluese mais dans votre cas vous seriez surement amenez à faire beaucoup plus de redondance que google, ce qui portera au millard d'utilisateurs) . Déjà si vous êtes une centaine au début c'est déjà très fort. Donc je crois que vaut mieu, comme l'as dit Shrat d'essayer de faire quelque chose de différent par rapport au moteurs de recherche classique.

Voila bonne continuation.

Dernière modification par crunchyy (Le 26/05/2008, à 17:55)


Même la perfection a un défaut. Celui de ne pas exister.

Hors ligne

#72 Le 26/05/2008, à 18:30

alexduf

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Salut à tous,

Bon ben ça a beaucoup discuté ces derniers jours!
Je pense que passer dans un lieu de discution un peu plus "privé" pourrais être une bonne idée. Bon ok big brother, on y est pas encore, mais ne serais-ce que pour garder un peu de suspens.

Pour ce qui est de là recherche, je vais vous exposer la façon dont je la conçoit (ce qui rejoint ou complète ce que certains d'entre vous ont avancés) :
Chaque noeud possède l'index des pages qu'il a scanné. Chaque noeud est à l'écoute des autres noeuds pour une recherche.
Quand un utilisateur souhaite faire une recherche, il interroge son propre noeud en attribuant un nombre de "bonds" et un identifiant (généré + ou - aléatoirement).
Le noeud diffuse la recherche à 10 (nombre choisis au pif) contacts en prenant soin de décrémenter le nombre de bonds. Chaque noeud interrogé renouvelle l'opération. Lorsqu'un noeud retourne les résultats, il les associe avec l'identifiant que le noeud à l'origine a généré.

avec ce principe, en attribuant un nombre de bonds à 3, on interroge 1000 machines en un claquement de doigts, et ce de manière exponentielle.

je pense que ce principe doit être très proche de ce qu'il se fait sur le réseau de kademelia.

Dernière modification par alexduf (Le 26/05/2008, à 18:33)

Hors ligne

#73 Le 26/05/2008, à 18:51

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

J'ai réfléchi un peu ce matin entre deux cours, j'ai eu quelques idées que je pense intéressantes, mais on en reparlera sur la liste.

Je voulais juste préciser ici qu'au niveau de la communication, le mieux serait à mon avis :
- une liste de diffusion pour les discussions normales (ce sera au point avant la semaine, sinon je reformate tout ! mad)
- un canal irc pour les réunions (j'essaierai de m'occuper de ça aussi, ça m'intéresse de voir comment c'est foutu)
- un wiki (fermé en lecture) pour les décisions validées et le suivi du projet (ça m'intéresse pas trop de m'en occuper, Whitefox tu veux t'en charger ? sinon je peux me forcer...)

NB : Je m'autoassigne les deux premiers parce que ça m'intéresse de tripoter leur fonctionnement, mais si Whitefox ou quelqu'un d'autre préfère s'en charger, pas de soucis, je ferai des tests dans mon coin sans rapport avec le projet... wink

Et quelques réactions en vrac :

Whitefox a écrit :

Est-ce que ça ne reviendrait pas à dispatcher les 8000 machines de google à travers le monde...mais en leur laissant le contrôle total ?

Oui.

Whitefox a écrit :

Et du coup, qu'est-ce qu'on y gagne ?
J'ai l'impression que ça revient à avoir plusieurs réseaux centrés, mais finalement, on ne décentralise pas, on ne fait que porter le problème à une autre échelle...

Mais non, rien n'est centralisé, c'est de l'autogestion... wink

crunchyy > Oui mais google indexe plein de merdes sans noms, de copiés-collés de sites ou de forums, de pages incomplètes... En ajoutant un contrôle de l'utilisateur sur la qualité des contenus, on peut facilement diviser par 100 ou 1000, ce qui est un bon début. wink

alexduf > Ça arrive (le lieu plus privé). Peut-être pas ce soir, mais dans les jours qui viennent. Je propose qu'en attendant on note chacun ses idées de son côté, et on en reparle dès que c'est prêt. Je sais que tout le monde est un peu fébrile, mais on peut bien attendre trois jours... wink

Hors ligne

#74 Le 26/05/2008, à 19:02

WhiteFox

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

Ça roule, j'ai néanmoins commencé la construction d'un forum.
Je sais que ce n'est pas ce que tu préconise Skippy, et tu as certainement plus d'expérience que moi pour en juger, mais ça ne coute rien et puisque c'est commencé, on verra bien à l'usage et au pire en attendant une liste de diffusion (j'aurais du mal à t'aider sur ce point, j'ai déjà du mal à en comprendre le principe).
Vous devriez avoir l'adresse du forum ce soir.
Je vous tiens au courant.


Microsoft : microsize your mind !

Hors ligne

#75 Le 26/05/2008, à 19:08

Skippy le Grand Gourou

Re : Internet V/S Minitel 2.0, une hypothétique solution à google...

WhiteFox a écrit :

Ça roule, j'ai néanmoins commencé la construction d'un forum.
Je sais que ce n'est pas ce que tu préconise Skippy, et tu as certainement plus d'expérience que moi pour en juger

Oh, j'ai pas beaucoup d'expérience dans ce domaine... Simplement par principe un forum nécessite à l'utilisateur d'être actif (se déplacer spécifiquement sur le forum, aller voir les nouveaux sujets, etc.) tandis qu'avec une liste de diffusion c'est l'info qui vient à toi, et tu peux y répondre en temps réel. Je trouve ça plus adapté, surtout dans le cadre d'une petite collaboration (en termes de participants).

Hors ligne