Ubuntu-fr

turkishvikings

NAS, Backup, serveur web et web crawler

Bonjour à tous!

Voila je cherche à me monter un Nas pour en faire à la fois:
    -Un serveur web (site personnel sous django peu de visiteur, juste les potes, il sera privé)
    -Un stockage réseaux de mes données personnels
    -Un web-crawler (pour fouiller le web à la recherches de données qui m'intéresses et éventuellement les partager aux potes via un moteur de recherche perso)

Donc voila, exit les solutions clef en main, il me faut pas mal de ram et de possibilités de programmation sur l'OS du Nas.
Je suis donc en train de me monter un nas maison pas de problèmes du coté hardware (exemple ici si ça vous interesse). Par contre au niveaux du système de backup up heu là je nage un peu.
Il me fraudais un système de sauvegarde bidirectionnelle comme indiqué sur le schémas:

Il y a t-il des logiciel qui pourrais faire le taf?? si oui lesquels?
Peu on lancer les sauvegardes bidirectionnelles seulement à partir de freenas? (sinon je pourrais toujours les lancer de mon ubuntu)
Une autre petite question, (optionnelle): es-ce que pendant qu'on y est on pourrais sauvegarder les différents OS? (ça ne pose pas de problèmes d'ajouter des disques durs à mon nas si il le faut vraiment)

Voila, merci à tous

PS: Tiens question à 2 balles, OS au pluriel ça prend un "S" ??

tiramiseb

Re : NAS, Backup, serveur web et web crawler

Salut,

Je vais évoquer de la synchronisation bidirectionnelle : le but de ce que je décris étant de pouvoir accéder aux données des deux côtés.

Tu pourrais utiliser le logiciel Unison (logiciel de synchronisation bidirectionnelle). Je l'ai déjà mis en place pour des clients qui avaient besoin de synchro entre deux sites, sur lesquels ils voulaient lire et modifier les données.
Le problème est qu'il faut exécuter le logiciel de synchronisation pour que celle-ci se fasse : il ne fonctionne pas "en live".

Autre possibilité, c'est Seafile : c'est un concurrent à Dropbox qui te permet de stocker tes données sur un serveur centralisé et de synchroniser toutes les modifications "en live". Par contre la copie centralisée est placée dans un dépôt (inspiré de Git) et pas exploitable directement : il faut s'y connecter avec un client Seafile pour copier les fichiers localement (comme pour le dépôt Dropbox) ; si tu as besoin d'accéder aux données sur deux ordinateurs, tu auras alors la place utilisée trois fois.

S'il s'agit vraiment de sauvegarde dont tu as besoin...

... alors tu n'as rien de très compliqué à faire. Ça peut aller de très simple [deux instances de rdiff-backup (par exemple), une sur chaque ordinateur, qui va sauvegarder sur l'autre ordinateur] à très compliqué [mise en place d'un serveur Bacula, deux unités de stockage virtuelles, etc]. Mais dans ce cadre je ne vois pas pourquoi tu aurais utilisé le terme "bidirectionnelle" : là les modifications ne vont que dans un seul sens ; ce sont des sauvegardes croisées (une sauvegarde n'est jamais bidirectionnelle vu que c'est une sauvegarde : les données de la sauvegarde sont une image à un instant T des données sauvegardées, et les données ne vont que dans ce sens).

---

Sébastien Maccagnoni - https://www.maccagnoni.eu - https://www.domotego.com

turkishvikings

Re : NAS, Backup, serveur web et web crawler

Salut, et merci pour ta réponse

je viens d'aller voir unison, ça à l'air d'être ce qu'il me faut, j'ai regardé rapidement la doc, si j'ai bien compris, il suffit de l'installer sur l'un des OS et ca suffit pour faire let taf? (donc sur l'OS du nas du coup)
Je tenais aussi vraiment à avoir un système de sauvegarde asynchrone (des fois qu'un virus pointe son nez) et après une nuit de sommeil ça me parait évident qu'on ne peux pas synchroniser 2 disque dur de façon asynchrone (tout est dans la phrase^^⁾) Donc du coup je compte rajouter un 3 ème disque au nas.

Voila pour les réflexions de ce me matin, je n'ai encore pas le matos, je vais tester ça sur VM.

encore merci!

Dernière modification par turkishvikings (Le 18/04/2013, à 09:45)

tiramiseb

Re : NAS, Backup, serveur web et web crawler

il suffit de l'installer sur l'un des OS et ca suffit pour faire let taf?

Deux possibilités :

- soit tu ne l'installes que d'un côté et tu accèdes au disque de l'autre par le réseau (NFS, CIFS, etc)
- soit tu l'installes des deux côtés et il passe par SSH pour s'exécuter lui-même à distance et faire passer les données dans le flux SSH

(donc sur l'OS du nas du coup)

Si tu pars sur la première solution, il vaut mieux qu'Unison soit installé et exécuté sur l'OS du PC ; car ton PC tu vas l'éteindre parfois, alors que le NAS reste allumé : le PC n'aura donc pas de souci d'accès aux données du NAS, alors que si le NAS essaie d'accéder en NFS ou en CIFS à un PC éteint alors... boum (non bon, ça va pas exploser, mais ça va poser des problèmes).

Je tenais aussi vraiment à avoir un système de sauvegarde asynchrone

Je note surtout le "aussi" dans la phrase. Dans ce cas en effet il faut une sauvegarde en parallèle, tu ne peux pas faire les deux avec la même méthode.

---

Sébastien Maccagnoni - https://www.maccagnoni.eu - https://www.domotego.com

turkishvikings

Re : NAS, Backup, serveur web et web crawler

Ok merci pour ces précision, allez dernière petite question pour la route:

Toi tu utiliserais quel protocole? lequel est le plus simple à mettre en œuvre? lequel est le plus sécurisé (ssh je suppose). Oups ça fait + d'une question ça...
SSH des 2 cotés pourquoi pas de toute façon le nas est allumé donc quand mon pc demande la synchro, au pire ça change rien.
Quand je disais de mettre Unison sur le nas, c'est parce-que j'imaginais qu'il pouvait réveiller le PC, bon ba si c'est pas le cas, c'est pas bien grave.

PS: le "aussi" c'est parce que j'avais oublié de le préciser.
Mais un problème à la fois, c'est plus limpide (et puis c'est pas vraiment un problème non plus).

Dernière modification par turkishvikings (Le 18/04/2013, à 11:20)

turkishvikings

Re : NAS, Backup, serveur web et web crawler

plus j'avance dans la doc, et plus je me rend compte que c'est quasiment du git Unison, je comprend mieux ton allusion à github (enfin même si tu parlais de Seafile)

tiramiseb

Re : NAS, Backup, serveur web et web crawler

Aucun rapport entre Git et Unison. Je ne vois pas pourquoi tu en viens à cette association

Mon "allusion" à Git (et non GitHub) n'est pas une simple allusion, c'est une vraie référence : Seafile s'est réellement inspiré de Git pour créer son système de dépôt.

Toi tu utiliserais quel protocole? lequel est le plus simple à mettre en œuvre? lequel est le plus sécurisé (ssh je suppose). Oups ça fait + d'une question ça... tongue

Plus sécurisé, SSH c'est sûr.
Plus simple à mettre en oeuvre, ça dépend.

Si le répertoire concerné de ton NAS est tout le temps monté sur ton PC, alors la synchro directe (avec un répertoire monté par le réseau) est plus simple.
Si ce répertoire n'est pas monté et qu'il serait nécessaire de monter/vérifier/synchroniser/démonter, en passant par SSH ce serait plus simple.

---

Sébastien Maccagnoni - https://www.maccagnoni.eu - https://www.domotego.com

turkishvikings

Re : NAS, Backup, serveur web et web crawler

Ba pour la ressemblance avec git c'est simple:

Ce qui est modifié est affiché avec des "<<<" ou des ">>>" voir les 2 quand un répertoire est modifié des 2 cotés.
Ce que je voulais dire, c'est que finalement c'est presque comme push/pull avec un logiciel de gestionnaire de version (en même temps et des 2 cotés).
(ça se ressemble dans les grandes ligne quoi , sans dire que ça marche pareil, finalement c'est pas étonnant).

Bon ba du coup je vais faire du ssh: un peu plus long, mais plus propre!

En tout un grand merci à toi, tu m'as bien aidé sur ce coup là!
ça fait 2 ans que je suis (vraiment) sur linux et j' hallucine encore de la puissance de la (ou des) communauté(s). Va trouver quelqu'un pour t'aider sur un système propriétaire^^

Linux is freedom, freedom is richness, richness is power!