Forum Ubuntu-fr.org / [Résolu] Grep sur un fichier html mal formaté

Réponse à : [Résolu] Grep sur un fichier html mal formaté

dummy@example.com (Nik0s) — Sat, 07 Nov 2009 11:42:29 +0000

Je pense avoir trouvé, finalement après une nuit de sommeil c'est plus simple :

grep -o -E '\<(http|https|ftp|news|telnet|finger|file)://[^"]+\>' tempfile >>result

L'option -o permet de ne retourner que la valeur cherchée (et non la ligne !! ), voici ce que cela donne :

http://images.google.com/images?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wi
http://video.google.com/videosearch?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wv
http://maps.google.com/maps?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wl
http://news.google.com/news?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wn
http://www.google.com/products?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wf
http://mail.google.com/mail/?hl=en&tab=wm
http://www.google.com/intl/en/options
http://groups.google.com/groups?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wg
http://books.google.com/books?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wp
http://scholar.google.com/scholar?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=ws
http://www.google.com/finance?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=we
http://blogsearch.google.com/blogsearch?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wb
http://translate.google.com/translate_t?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wT
http://www.youtube.com/results?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=w1
http://www.google.com/calendar/render?hl=en&tab=wc
http://picasaweb.google.com/lh/view?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wq
http://docs.google.com/?hl=en&tab=wo
http://www.google.com/reader/view/?hl=en&tab=wy
http://sites.google.com/?hl=en&tab=w3
http://www.google.com/intl/en/options
https://www.google.com/accounts/Login?hl=en&continue=http://www.google.com/search%3Fq%3Docean
http://www.google.com/webhp?hl=en
http://www.answers.com/ocean&r=67&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=dict&ct=d&ved=0CAQQvQE&usg=AFQjCNGpoX2zJAq4XnRsaRn6jhIPFZk_3Q
http://images.google.com/images?q=ocean&um=1&ie=UTF-8&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=image_result_group&ct=title&resnum=1&ved=0CBIQsAQwAA
http://www.kidsgeo.com/images/ocean-temperature.jpg&imgrefurl=http://www.kidsgeo.com/geography-for-kids/0142-ocean-temperatures.php&h=544&w=400&sz=21&tbnid=5j4HGdptrMmWgM:&tbnh=133&tbnw=98&prev=/images%3Fq%3Docean&usg=__POUPAWS_1b-qEnfSIzIsVopM8Y0=&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=image_result&resnum=1&ct=image&ved=0CAkQ9QEwAA
http://www.kidsgeo.com/geography-for-kids/0142-ocean-temperatures.php
http://www.treehugger.com/ocean-turtle.jpg&imgrefurl=http://www.treehugger.com/files/2008/04/ocean-conservancy-report-2007.php&h=300&w=468&sz=146&tbnid=MwtivffKjeoqlM:&tbnh=82&tbnw=128&prev=/images%3Fq%3Docean&usg=__AQPrpyUBB36hGYW86bxrkZBKioE=&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=image_result&resnum=2&ct=image&ved=0CAsQ9QEwAQ
http://www.treehugger.com/files/2008/04/ocean-conservancy-report-2007.php
http://www.kidsgeo.com/images/ocean-water.jpg&imgrefurl=http://www.kidsgeo.com/geography-for-kids/0143-ocean-movements.php&h=400&w=300&sz=44&tbnid=QiIKthepby8xEM:&tbnh=124&tbnw=93&prev=/images%3Fq%3Docean&usg=__AVsdWeqQKX7sKkVKZ19tcAnqaC0=&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=image_result&resnum=3&ct=image&ved=0CA0Q9QEwAg
http://www.kidsgeo.com/geography-for-kids/0143-ocean-movements.php
http://www.indianoceanodyssey.com/images/home_index_top_226_1.jpg&imgrefurl=http://www.indianoceanodyssey.com/&h=397&w=598&sz=48&tbnid=mBXez-bcu2IaZM:&tbnh=90&tbnw=135&prev=/images%3Fq%3Docean&usg=__ZZO5LqyCOqJUCbUaCGkNsFJkV1Q=&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=image_result&resnum=4&ct=image&ved=0CA8Q9QEwAw
http://www.indianoceanodyssey.com
http://en.wikipedia.org/wiki/Ocean
http://en.wikipedia.org/wiki/Ocean%23Overview&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=oneline_sitelinks&resnum=5&ct=result&cd=1&ved=0CBQQ0gIoAA&usg=AFQjCNGBOmA8gQ-kknoaBK4IVBJj1Z5Acw
http://en.wikipedia.org/wiki/Ocean%23Ocean_and_life&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=oneline_sitelinks&resnum=5&ct=result&cd=2&ved=0CBUQ0gIoAQ&usg=AFQjCNESY_I4lMRUI8UA1x06UX5TNtyCuw
http://en.wikipedia.org/wiki/Ocean%23Physical_properties&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=oneline_sitelinks&resnum=5&ct=result&cd=3&ved=0CBYQ0gIoAg&usg=AFQjCNGz4rUcgtuFuA7CmVgds-8YPc2aYg
http://en.wikipedia.org/wiki/Ocean%23Exploration&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=oneline_sitelinks&resnum=5&ct=result&cd=4&ved=0CBcQ0gIoAw&usg=AFQjCNER3OPW3vdPch92uk7Sw6vAReOoMQ
http://209.85.229.132/search?q=cache:M8s-Fc9FLxMJ:en.wikipedia.org/wiki/Ocean+ocean&cd=5&hl=en&ct=clnk
http://en.wikipedia.org/wiki/Pacific_Ocean
http://209.85.229.132/search?q=cache:rmtBmHn-WfgJ:en.wikipedia.org/wiki/Pacific_Ocean+ocean&cd=6&hl=en&ct=clnk
http://www.ocean.com
http://209.85.229.132/search?q=cache:FVE34pqGitoJ:www.ocean.com/+ocean&cd=7&hl=en&ct=clnk
http://earth.google.com/ocean
http://209.85.229.132/search?q=cache:5zoPkwQVbq4J:earth.google.com/ocean/+ocean&cd=8&hl=en&ct=clnk
http://www.foxnews.com/story/0,2933,571347,00.html
http://www.bahai-education.org/ocean
http://209.85.229.132/search?q=cache:bXYkw__wyB4J:www.bahai-education.org/ocean/+ocean&cd=10&hl=en&ct=clnk
http://news.yahoo.com/s/livescience/giantcrackinafricawillcreateanewocean
http://www.oceanhome.co.uk
http://209.85.229.132/search?q=cache:wDlU_aMVHXsJ:www.oceanhome.co.uk/+ocean&cd=12&hl=en&ct=clnk
http://www.noaa.gov/ocean.html
http://209.85.229.132/search?q=cache:zhmmILNzWwcJ:www.noaa.gov/ocean.html+ocean&cd=13&hl=en&ct=clnk
http://www.enchantedlearning.com/subjects/ocean
http://209.85.229.132/search?q=cache:Aqsx-P94AQcJ:www.enchantedlearning.com/subjects/ocean/+ocean&cd=14&hl=en&ct=clnk
http://video.google.com/videosearch?q=ocean&um=1&ie=UTF-8&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=video_result_group&ct=title&resnum=15&ved=0CDQQqwQwDg
http://www.youtube.com/watch%3Fv%3D6VAkOhXIsI0&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=video_result&resnum=15&ct=thumbnail&ved=0CC4QuAIwDg&usg=AFQjCNHLQisLdtrUzktNWxo6DfBvjiDi6g
http://img.youtube.com/vi/6VAkOhXIsI0/default.jpg?h=60&w=80&sigh=__2xJCE6Rbkh0t_Q5CpzqJjp3hf68
http://www.youtube.com/watch?v=6VAkOhXIsI0
http://www.youtube.com/watch%3Fv%3DyFMM2tcOvPE&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=video_result&resnum=16&ct=thumbnail&ved=0CDEQuAIwDw&usg=AFQjCNG4PmIH4n7tOKNV5jV7nK2RzofRbg
http://img.youtube.com/vi/yFMM2tcOvPE/default.jpg?h=60&w=80&sigh=__6L41Nf6q-zpwpG7neNjp_Lzdb58
http://www.youtube.com/watch?v=yFMM2tcOvPE

Réponse à : [Résolu] Grep sur un fichier html mal formaté

dummy@example.com (Nik0s) — Sat, 07 Nov 2009 11:32:12 +0000

Lorsque tu utilises grep avec un expression réguliére, il te renvoie la ligne contenant le résultat; est-il possible qu'il me donne uniquement ma recherche au lieu de la ligne (en l'occurence http://.... ?

Ou alors ai-je mal compris l'utilisation de grep ? (ce qui semble être le cas)

Réponse à : [Résolu] Grep sur un fichier html mal formaté

dummy@example.com (papillon41) — Sat, 07 Nov 2009 07:57:08 +0000

Réponse à : [Résolu] Grep sur un fichier html mal formaté

dummy@example.com (FRUiT) — Fri, 06 Nov 2009 21:43:28 +0000

FRUiT a écrit :

Une regex qui marche pour une url. (Pas très bien compris si c'est bien ce que tu désires)
 
 
(http|https|ftp|news|telnet|finger|file)://[^ ]+

 
 
(http|https|ftp|news|telnet|finger|file)://[^"]+

A tester aussi :

 
 
\<(http|https|ftp|news|telnet|finger|file)://[^"]+\>

Réponse à : [Résolu] Grep sur un fichier html mal formaté

dummy@example.com (Nik0s) — Fri, 06 Nov 2009 20:44:13 +0000

Désolé c'est la fatigue...

Avec mon fichier malformaté, je souhaiterai faire une recherche dedans (grep ou autre si vous connaissez) pour en extraire toutes les url type http, le problème c'est avec grep je n'ai aucun résultat en utilisant la regexp du premier poste

Autant pour moi, il fallait utiliser l'option -E pour utiliser la fonction adéquate

Réponse à : [Résolu] Grep sur un fichier html mal formaté

dummy@example.com (papillon41) — Fri, 06 Nov 2009 20:23:18 +0000

Bonjour Nik0s,

C'est cela que tu veux ?







Earth's
Oceans - EnchantedLearning.com
Oceans cover about 70% of the Earth's surface and
contain roughly 97% of the Earth's water supply.

www.enchantedlearning.com/subjects/ocean/ - Cached - Similar


Video results for ocean










John
Butler Trio - Ocean

6 min - 27 Dec 2005

www.youtube.com












B'z
ocean

5 min - 22 Sep 2005

Bien sur ton fichier html est incomplet.

Je l'ai repris avec "Bluefish" et j'ai appliqué le "filtre nettoyeur Tidy" .

Réponse à : [Résolu] Grep sur un fichier html mal formaté

dummy@example.com (Nik0s) — Fri, 06 Nov 2009 20:16:57 +0000

Merci pour cette réponse, grep me retourne dans cas-là aucune ligne, le fichier est mal formaté (tout est presque sur une ligne)

Voici un extrait de mon fichier

Earth's Oceans - EnchantedLearning.comOceans cover about 70% of the Earth's surface  and contain roughly 97% of the Earth's water supply.
www.enchantedlearning.com/subjects/ocean/ - Cached - Similar
Video results for ocean
John Butler Trio - Ocean
6 min - 27 Dec 2005
www.youtube.com
B'z ocean
5 min - 22 Sep 2005


Réponse à :  [Résolu] Grep sur un fichier html mal formaté
dummy@example.com (FRUiT) — Fri, 06 Nov 2009 19:55:49 +0000
(https?|ftp|file)
signifie "éventuellement 'https' / ou bien 'ftp' / ou bien 'file''
Essaye plutôt :
(http[s]?|ftp|file|etc...)
soit "ou bien 'http' (eventuellement suivi de 's') / ou bien 'ftp' / ou bien 'file'"


Réponse à :  [Résolu] Grep sur un fichier html mal formaté
dummy@example.com (FRUiT) — Fri, 06 Nov 2009 19:45:46 +0000
Une regex qui marche pour une url. (Pas très bien compris si c'est bien ce que tu désires)
 
 
(http|https|ftp|news|telnet|finger|file)://[^ ]+


[Résolu] Grep sur un fichier html mal formaté
dummy@example.com (Nik0s) — Fri, 06 Nov 2009 18:45:52 +0000
Bonjour/Bonsoir,
Je suis à la recherche d'une petite aide, je souhaiterai faire un grep sur un fichier html issu d'Internet, le problème c'est qu'il n'y a aucune mise en forme tout est formaté sur une ligne...
Vous auriez par hasard une petite astuce pour utiliser le grep de la bonne manière ?
Ai-je raté quelque chose ?
Merci d'avance.
Nico
voici la regexp que j'utilise : 
\b(https?|ftp|file)://[-A-Z0-9+&@#/%?=~_|!:,.;]*[-A-Z0-9+&@#/%=~_|]