Ubuntu-fr

Werber

Curl : se connecter à un compte/rediriger une URL

Je débute en Bash. J'aimerais développer un petit script afin de me connecter à mon compte et de pouvoir accéder à des pages impossibles d'accès sans en vu d'automatiser la récupération de données textuelles émanant de ces pages HTML. Pour le moment, je bloque sur la connexion en elle-même, ou plutôt sur la redirection après connexion. En effet, après que mon script ait rempli et envoyé le formulaire, j'obtiens une page de redirection 302

302 Found
The resource was found at /; you should be redirected automatically. 

Donc la connexion s'est bien passée, right ?

C'est après que ça se corse. Je dois donc faire une redirection et ensuité j'ai testé une recherche sur le site avec des filtres (possible qu'en étant logué). Dans les deux cas je récupère deux pages du site mais en étant non logué (donc une page d'erreur dans le deuxième cas, normal compte tenu des contraintes).

Voici le code (login et mdp modifiés bien sûr) :

curl -X POST "https://account.shodan.io/login" \
--cookie cjar --cookie-jar cjar \
-H "Origin: https://account.shodan.io" -H "Accept-Encoding: gzip, deflate" -H "Accept-Language: fr-FR,fr;q=0.8,en-US;q=0.6,en;q=0.4" \
-H "User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.134 Safari/537.36" -H "Content-Type: application/x-www-form-urlencoded" \
-H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8" -H "Cache-Control: max-age=0" -H "Referer: https://account.shodan.io/login" -H "Connection: keep-alive" \
--data "username=TEST&password=TEST&grant_type=password&continue=https"%"3A"%"2F"%"2Fwww.shodan.io"%"2Fsearch"%"3Fquery"%"3Dprinter"%"2Bcountry"%"253A"%"2522FR"%"2522&login_submit=Log+in" \
>./tmp.html
curl --cookie cjar -L "https://www.shodan.io/" \
>./tmp2.html
curl --cookie cjar -L "https://www.shodan.io/search?query=printer+country%3A%22FR%22"\
> ./tmp3.html

(je sais que Shodan dispose de sa propre API rendant les collectes sur son site faciles, elle est gratuite à moins que l'on utilise des filtres de recherche, ce qui est mon cas. J'aurai pas autant de données avec mes script du coup comme c'est plafonné, je verrais plus tard pour avoir un compte premium)

Chez lui par exemple ça marche, alors que j'ai fait pareil (headers en plus) : https://www.youtube.com/watch?v=tCfB6BP-PN4

J'ai lu la doc de man curl, et la syntaxe pour les cookies est correcte D'où vient le problème alors ?

Merci.

Dernière modification par Werber (Le 18/07/2015, à 00:33)

elburgos

Re : Curl : se connecter à un compte/rediriger une URL

C'est depuis le début qu'il faut autoriser la redirection avec --location il me semble non ? Parce que justement tu n'est pas redirige, je pense, si curl te renvoi ton premier message de redirection (si la redirection est effectuée c'est la page cible qui s'affiche et pas la page de redirection)

---

Envoyé depuis mon Windows Phone

Werber

Re : Curl : se connecter à un compte/rediriger une URL

Merci pour ta réponse.

J'ai donc supprimé les deux lignes curl, ai rajouté -L avant l'URL dans le premier curl et j'obtiens cette page ...

‹­WmoÛ6þìý¬6@ö`Yv^»Æ6–&Á,m²5ºÁ@K´Ä„"’²k4ýï;RïŽÓ íÄ&wÏïŽäÝË/«¿ñ«ãó£Ë¿/NP¬6‚ùEóhâî¡qLphG0NˆÆ(ˆ±TDOœLϽ×N¹¦©fdú!!æÈC/_tƒ@d\£ó‘J– ÀϹšp'dâ˜õTHí @pM8À/i¨ãIH4 žôåTSÌ<`F&£ÁÐÙ€Hšj*xn'Ît,äSÁöÊóÐAJ¯QÈóJqFù-Š%™OœXëT½ñ}¥±¦Á@Ù½¨ðgBh¥%Ný@©z6€™ƒ$a'‡ ÑÎs€ó‘E;çQú_1×öƒÛ,­‰ž$*\ÑyTU;¿]¾;ÛE*¦IÍ…D§'{Þk¤²Ô¤ó‚0’@›Ñ€+:GLƒúùº ÃBž"HÉ ßlÃdÿ®Q2ˆ„ˆ DŠÄWîk™ñÛœep£œéØÏ*EW„‡t~mU·­ŸãÂã5S—Ëem¦SÜyc·%}} .2g³\Nú6<¸. )‘MÄã’¨žû­í70‚¥I{ ÕÞlÏ£œ×Iðn]LÁ›³Œ†NÛ2\²Í$ž2[ü6ðÁ°§Ø}ò†3G…‰H˜sâ"ÌôÄÍCçªÜ˜†!á^N\{jž©ªq(&/!!Í’Ç.¨¢3F6k̃բd¬”£4cÌ“4Šµ[ và3nµSɦ QM>­Éu:hÄIÏ,ª½ùòóϒШ%4öÓ¶öfN=0ÇšY“+.Ùµ~Ëtå¡™æþ=•`Æìˆr¨'Y7½sf×`ù^Öu?Žz–=e”1œ%d×-VZð_b¡Ä`.Ÿ£åp2y¤$<(Z=¦qøÔw$™‰åÁ£ÙŽv½á¾7ÚC£í7;Ûov·¯G»ÃáW5Á¨ÊËmakx{z†Þ9‡-Á¸L_+ù·ÈP(¸«QŒP§òÂÀkªçу&Îèöuݼ°óدîhÔ,Ù×Û‚¯üÍ]FäÊ¿QÅhP¾±)ø6´;i;ï­;°›fúuÌié¶î<ãiº´¯ú¢õe÷“Þgzåþj{£CŽÙ TªóÙ ´{=‘ôJ^OÌ×ý}%ßû\aš•ÁÝ$ÿ¹¿¿ºî ÒLÅ],£Ì¶m½/}»È&£Ÿ8Y¢c¬I·w€'Бšæ„œäý]Wôú%j‹ÑÅŠz»ºÄ‘9âÀs5¼>À¬V<˜Œ`d@1†¡‹Ñ)WDê·zJÒ5,a¿ôºKÊC±ì‡"°ÖõÝÜGnßÍ€¼GôpéÛ)Ö³œv{u6F¸ëæ;qûÈýëÐۍvö÷¶ö¼=CÀ™–¿æVÐo™%Ó“™K¾×aN0Ç "u:?vKÓ{Юª "•Žaq¨¯Õ^‘x]ç©ûÚ1Vt:_ìOËcÉØ/ÿضËÓÿ8߸¼s

elburgos

Re : Curl : se connecter à un compte/rediriger une URL

Ma réponse n'est pas très constructive, mais il va falloir payer pour utiliser leur service, c'est le but ! et non pas essayer de resquiller ...
Découvre la syntaxe Curl sur des pages sans protections et sans grivoiseries de ta part, c'est un formidable outil.

---

Envoyé depuis mon Windows Phone