2016年8月19日金曜日

コマンドラインからwgetでログイン認証が必要なページを丸ごとダウンロードする

どうも、俺です。

今日は、wgetを使ってログイン認証先のURLページを丸ごとダウンロードする方法をメモメモ。

■手順1: wgetで認証を行い、セッション(COOKIE)データをローカルへ保存

wget --keep-session-cookies --save-cookies=cookies.txt --post-data 'userId=MY_USER_ID&password=MY_PASSWORD' http://example.com/login

これにより cookies.txtにセッションデータが保存されます。

■手順2: 保存したセッションデータを利用して、認証先のページをダウンロード

wget --load-cookies cookies.txt -p -H -E -nH -k http://example.com/mypage

これで見たいページが丸ごとDL出来ます!


※参考サイト
wgetでWebページをまるごとローカルに保存する: whiskers



以上でぇぇぇぇぇぇす。