#1 Le 27/08/2010, à 11:33
- no_spleen
[Python] Aller chercher des données sur une page internet
Bonjour,
J'utilise python principalement pour du calcul scientifique, mais je souhaite étendre mes activités, et par la même occasion mes compétences en programmation.
Je souhaite écrire un script qui aille rechercher des données sur certains sites internet, par exemple celui-ci
http://www.fortuneo.be/fr/bourse/
Pour ensuite les utiliser dans des calculs.
Est-ce que quelqu'un pourrait m'indiquer :
- Les grandes étapes de l'algorithme
- Les modules utiles
- Les connaissances à acquérir pour écrire ce genre de script
Un grand merci !
Hors ligne
#2 Le 28/08/2010, à 15:14
- AnsuzPeorth
Re : [Python] Aller chercher des données sur une page internet
Bjr,
Tu peux faire ça simplement ou pas ...
Soit tu traite ta page html avec find ou autre (en utilisant des flags), ou htmlparser, mais ca risque d'être un peu plus complexe ...
Fais une recherche sur python parser html via google, tu trouveras matière.
La lib minimum est urllib, pour télécharger le HTML, ensuite c'est juste parcourir le fichier et récup ce que tu veux.
Interface graphique pour bash, python ou autre: glade2script
Support Tchat: http://chat.jabberfr.org/muckl_int/inde … ade2script (Hors ligne)
Hors ligne
#3 Le 28/08/2010, à 15:29
- Kanor
Re : [Python] Aller chercher des données sur une page internet
Tu devrais trouver ton bonheur avec le module BeautifulSoup (python-beautifulsoup)
mais le site que tu nous donne en exemple est vraiment codé à l'arrache donc je ne sais pas si il va réussir à le parser.
http://www.crummy.com/software/BeautifulSoup/
Dernière modification par Kanor (Le 28/08/2010, à 15:32)
Hors ligne
#4 Le 29/08/2010, à 08:42
- no_spleen
Re : [Python] Aller chercher des données sur une page internet
Merci, je vais regarder tout cela.
Je vous tiens au courant. Et si je fais fortune en bourse, je fais un don à ubuntu-fr ;-)
Hors ligne
#5 Le 29/08/2010, à 17:51
- k3c
Re : [Python] Aller chercher des données sur une page internet
Urllib2 permet de récupérer des choses sur un site, tu peux regarder cette doc
http://www.voidspace.org.uk/python/articles/urllib2_francais.shtml
BeautifulSoup est efficace même sur du html pourri.
Pour naviguer sur un site, en simulant ce que fait un navigateur, tu peux regarder mechanize
http://wwwsearch.sourceforge.net/mechanize/
qui te permet d'aller sur un site, s'authentifier avec un formulaire, cliquer sur le 3 ème lien, le lien qui s'appelle abc...
Regarde les exemples
http://wwwsearch.sourceforge.net/mechanize/#examples
Archlinux sur Xiaomi Air 13
Hors ligne
#6 Le 29/08/2010, à 18:31
- Kanor
Re : [Python] Aller chercher des données sur une page internet
Urllib est bien quand tu fais une requéte assez rarement car le probléme de ce module c'est qui ne gére pas les mécanisme de cache au niveau de http
voir ici pour plus d'info
http://diveintopython3.org/http-web-services.html
Hors ligne