téléchargement de plusieurs fichiers fasta avec la commande wget

laeti5690 · Le 03/01/2013, à 11:26

Bonjour,

je suis débutante sur Linux et grâce au Terminal j'aimerai télécharger tout les ARNnc des espèces disponibles sur le site http://www.ensembl.org/

J'aimerai utiliser la commande wget, mais je ne trouve pas comment faire, quelles adresses dois-je entrer?

Quand je suis sur cette page: http://www.ensembl.org/info/data/ftp/index.html je vois les ARNnc mais comment tous les récupérer???

MERCI d'avance

laeti5690 · Le 03/01/2013, à 11:55

personne? j'ai vraiment besoin d'aide car je n'arrive même pas à commencer mon script...

ljere · Le 03/01/2013, à 12:12

l'adresse du ftp
ftp://ftp.ensembl.org/pub/release-69/fasta/
ce qui donne avec l'option recursive

wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/

laeti5690 · Le 03/01/2013, à 12:23

Je suis d'accord, avec votre commande je télécharge quelque chose, mais je télécharge toute la page... c'est énorme.

J'aimerai seulement pouvoir télécharger les ARNnc.

Merci

ljere · Le 03/01/2013, à 12:29

je suis désolé mais je ne sais pas ce que c'est les ARNnc
tu peux me dire exactement ce que tu veux

laeti5690 · Le 03/01/2013, à 12:32

En fait quand vous allez sur le site http://www.ensembl.org/info/data/ftp/index.html il y a plusieurs colonne (species, DNA...).
Moi j'aimerai télécharger tout les fichiers fasta se trouvant dans la colonne ncRNA.

Avec la commande wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/ je télécharge toutes les colonnes.

C'est plus clair?

laeti5690 · Le 03/01/2013, à 12:33

Du coup j'ai essayer en Tapant wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/[A-Za-z]/ncrna
Mais çà ne télécharge rien

ljere · Le 03/01/2013, à 12:48

oui c'est plus clair par contre ça va devoir être une ligne par téléchargement

wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/homo_sapiens/ncrna/

wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/mus_musculus/ncrna/

etc

laeti5690 · Le 03/01/2013, à 12:58

Nous devons trouver un moyen d'automatiser la chose...

Si quelqu'un sait comme faire merci d'avance

ljere · Le 03/01/2013, à 13:31

alors tu vas créer ce script

gedit ~/ncrna.sh

#!/bin/bash

wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/ailuropoda_melanoleuca/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/ancestral_alleles/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/anolis_carolinensis/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/bos_taurus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/caenorhabditis_elegans/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/callithrix_jacchus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/canis_familiaris/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/cavia_porcellus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/choloepus_hoffmanni/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/ciona_intestinalis/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/ciona_savignyi/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/danio_rerio/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/dasypus_novemcinctus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/dipodomys_ordii/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/drosophila_melanogaster/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/echinops_telfairi/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/equus_caballus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/erinaceus_europaeus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/felis_catus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/gadus_morhua/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/gallus_gallus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/gasterosteus_aculeatus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/gorilla_gorilla/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/homo_sapiens/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/ictidomys_tridecemlineatus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/latimeria_chalumnae/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/loxodonta_africana/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/macaca_mulatta/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/macropus_eugenii/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/meleagris_gallopavo/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/microcebus_murinus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/monodelphis_domestica/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/mus_musculus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/mustela_putorius_furo/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/myotis_lucifugus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/nomascus_leucogenys/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/ochotona_princeps/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/oreochromis_niloticus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/ornithorhynchus_anatinus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/oryctolagus_cuniculus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/oryzias_latipes/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/otolemur_garnettii/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/pan_troglodytes/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/pelodiscus_sinensis/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/petromyzon_marinus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/pongo_abelii/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/procavia_capensis/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/pteropus_vampyrus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/rattus_norvegicus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/saccharomyces_cerevisiae/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/sarcophilus_harrisii/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/sorex_araneus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/sus_scrofa/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/taeniopygia_guttata/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/takifugu_rubripes/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/tarsius_syrichta/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/tetraodon_nigroviridis/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/tupaia_belangeri/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/tursiops_truncatus/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/vicugna_pacos/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/xenopus_tropicalis/ncrna/
sleep2
wget -r ftp://ftp.ensembl.org/pub/release-69/fasta/xiphophorus_maculatus/ncrna/

on le rend exécutable

chmod +x ~/ncrna.sh

et on le lance avec

./ncrna.sh

pingouinux · Le 03/01/2013, à 13:38

Bonjour,
Voici une autre suggestion.

$ cat script.sh

# Récupération du fichier index.html
wget http://www.ensembl.org/info/data/ftp/index.html

# Programme python : extract.py
cat - <<EOF >extract.py
#! /usr/bin/python
# -*- coding: utf-8 -*-

import re

with open('index.html','r') as fic : txt=fic.read()

rec='ftp://ftp.ensembl.org/pub/release-69/fasta/[^/]+/ncrna/'
for i in re.findall(rec,txt) : print(i)
EOF

chmod 700 extract.py

for i in $(./extract_html.py); do wget -r "$i"; done

chmod 700 script.sh
./script.sh

Modifié : Correction sur le nom du script.

Dernière modification par pingouinux (Le 03/01/2013, à 13:51)

Watael · Le 03/01/2013, à 15:18

salut,

lynx -dump "http://www.ensembl.org/info/data/ftp/index.html" \
   |sed -n '/Références/,/^[/{/ncrna/s/ *[^.]*\. //p}' \
   |wget -i - -O- \
   |sed -n '/<a href.*ncrna.fa.gz/s/.*[^"]*"\([^"]*\)".*/\1/p' \
   |wget -i -

gigiair · Le 03/01/2013, à 15:27

Souvent la difficulté d'un problème est dans sa formulation. Combien de problèmes difficiles sont simplement des problèmes mal ou insuffisamment formulés ?
Le but de la manœuvre est-il d''utiliser wget ou de récupérer certains fichiers ?
Si le but est la deuxième alternative, lftp me parait plus adapté que wget.
On peut récupérer l'ensemble des fichiers en deux ou trois commandes en utilisant lftp.

lftp ftp://ftp.ensembl.org/pub/release-69/fasta/
lftp ftp.ensembl.org:/pub/release-69/fasta> glob get */ncrna/*.gz

On peut automatiser le tout avec un script. man lftp pour plus de détails.

laeti5690 · Le 03/01/2013, à 15:46

je vous remercie pour vos réponses. Je vais regarder tous ça!
En tous cas ça m"a l'air pas mal, je n'y aurait pas pensé.

laeti5690 · Le 03/01/2013, à 15:47

gigiair le but est d'utiliser wget

Watael · Le 03/01/2013, à 16:39

gigiair a écrit :

Le but de la manœuvre est-il d''utiliser wget ou de récupérer certains fichiers ?

laeti5690 a écrit :

le but est d'utiliser wget

Dommage, la solution de gigiair semble plus économique.

René-aristide · Le 04/01/2013, à 18:19

Bonsoir,

J'ai le même problème que laeti5690, je dois télécharger tous les ARNnc sur www.ensembl.org et les faire exécuter dans un script mais le soucis c'est que lorsque je tape wget -r ftp://ftp.ensembl.org/pub/release-69/fa … ens/ncrna/ dans le terminal je n'obtiens pas la séquence d'ARNnc, pourriez vous me venir en aide s'il vous plait j'en ai vraiment besoin.

Cordialement,

René A.

ljere · Le 04/01/2013, à 18:58

il faut que tu nous donne le retour pour voir ou ça coince

gigiair · Le 04/01/2013, à 19:13

René-aristide a écrit :

Bonsoir,
J'ai le même problème que laeti5690, je dois télécharger tous les ARNnc sur www.ensembl.org et les faire exécuter dans un script mais le soucis c'est que lorsque je tape wget -r ftp://ftp.ensembl.org/pub/release-69/fa … ens/ncrna/ dans le terminal je n'obtiens pas la séquence d'ARNnc, pourriez vous me venir en aide s'il vous plait j'en ai vraiment besoin.
Cordialement,
René A.

Et la solution avec lftp ne te va pas ? Il faut obligatoirement utiliser wget, c'est pour un tp d'informatique ? ou alors ce n'est pas sur ta machine et lftp n'est pas installé (ni installable) ?
Il doit bien être possible de faire ça avec wget, il y a un info wget très complet, mais en anglais... J'ai la flemme de le lire.

ljere · Le 04/01/2013, à 19:24

ça sent le TP à plein nez

serged · Le 04/01/2013, à 19:30

ljere a écrit :

ça sent le TP à plein nez

Sûrement. Sinon, une solution encore plus simple :
Comme ce genre de manip ne se fait que rarement, on peut rapatrier l'arborescence du site avec Filezilla (ou autre client FTP graphique).

NotF0und · Le 04/01/2013, à 20:39

ljere a écrit :

ça sent le TP à plein nez

C'est une évidence ! C'est le 3e voire 4e topic avec ce sujet la ...
On va en avoir beaucoup de ces étudiants qui veulent récupérer ces nrmachins ?
De plus, le problème a déjà été résolu !
Mais vous feriez mieux de bosser par vous même...

http://forum.ubuntu-fr.org/viewtopic.php?id=1143631

Dernière modification par NotF0und (Le 04/01/2013, à 20:43)

René-aristide · Le 04/01/2013, à 20:40

Bonsoir,

Merci pour l’intérêt que vous me portez, cependant je n'arrive pas à vous joindre ma capture d'écran.
Quand je rentre l'adresse, le téléchargement se fait mais je reçois des messages assez bizarre ( pour moi car je ne suis pas du tout à l'aise sur Ubuntu ! Cela signifie peut être quelque chose pour vous ).

Je vous écris une partie:

Résolution de ftp.ensemble.org. . . 193.6.03.113
Connexion vers ftp.ensemble.org | 193.62.203.113| : 21 . . . connecté.
Ouverture de session en anonymous. . . Session établie!

....................ETC............

[ <=> ] 229 --, -K/s ds 0s

Il y a chaque fois des sous parties séparées par ceci :

[ <=> ] 229 --, -K/s ds 0s

Toujours avec des chiffres différents.

Vous voyez que je suis complétement dépassé par ce que ma machine me réponds.

HELP ME !!!!

René-aristide · Le 04/01/2013, à 20:53

Oui j'aimerais bien bosser par moi même mais sachez que je n'ai pas passer un jour de mes vacances sans m'être rendu sur Ubuntu afin d'essayer d'y télécharger ces ARN non codant.
J'ai vraiment des difficultés je ne veux pas que vous me balanciez des réponses comme sa je veux simplement qu'on m'éclaircisse les idées et que je puisse enfin comprendre et finir ce script qui me rend malade.

Merci.

ljere · Le 04/01/2013, à 21:08

ben ça fonctionne ouvre ton gestionnaire de fichier et regarde tu as un dossier ftp.ensemble.org tout se trouve à l'intérieur

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 03/01/2013, à 11:26

téléchargement de plusieurs fichiers fasta avec la commande wget

#2 Le 03/01/2013, à 11:55

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#3 Le 03/01/2013, à 12:12

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#4 Le 03/01/2013, à 12:23

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#5 Le 03/01/2013, à 12:29

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#6 Le 03/01/2013, à 12:32

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#7 Le 03/01/2013, à 12:33

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#8 Le 03/01/2013, à 12:48

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#9 Le 03/01/2013, à 12:58

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#10 Le 03/01/2013, à 13:31

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#11 Le 03/01/2013, à 13:38

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#12 Le 03/01/2013, à 15:18

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#13 Le 03/01/2013, à 15:27

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#14 Le 03/01/2013, à 15:46

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#15 Le 03/01/2013, à 15:47

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#16 Le 03/01/2013, à 16:39

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#17 Le 04/01/2013, à 18:19

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#18 Le 04/01/2013, à 18:58

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#19 Le 04/01/2013, à 19:13

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#20 Le 04/01/2013, à 19:24

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#21 Le 04/01/2013, à 19:30

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#22 Le 04/01/2013, à 20:39

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#23 Le 04/01/2013, à 20:40

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#24 Le 04/01/2013, à 20:53

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

#25 Le 04/01/2013, à 21:08

Re : téléchargement de plusieurs fichiers fasta avec la commande wget

Pied de page des forums