casperjs を少し使ってみる

クジラ飛行机さんの 「JS+Node.jsによるWebクローラー／ネットエージェント開発テクニック」を

見ながら　少し勉強中

クローラーに興味あったけど、phantomjs ってどんな感じなんだろうと思ったのもあるかな？

もう少しサクサク進むかな　と思ったけど　甘かった・・・

以下参考にしたサイト

gh640/captureLoggedInPages.js

CasperJSで動的ページをスクレイピング、あるいは毎月100円ゲットする方法について

CasperJSであしあとポイントをちょろまかす話のつづき

環境は Win10 Pro x64 + nodejs + phantomjs + casperjs

phantomjsからDLして、適当なフォルダに解凍して phantomjs\bin までpathを通す

> npm install -g phantomjs

> npm install -g casperjs

C:\Users\user_name\AppData\Roaming\npm\node_modules\casperjs\bin までpathを通す

phantomjs@2.1.7

casperjs@1.1.4

第３章 02 のサンプルを実行

> casperjs scraping.js

// 作詞掲示場のユーザー名とパスワード
var BBS_USER = "user_name";
var BBS_PASS = "password";

// CasperJSを使えるようにする
var casper = require('casper').create();
casper.start();

// 動作確認用
casper.on('url.changed', function(url){
  this.echo("changed url=" + url);
});

// 動作確認用
casper.on('resource.requested', function(resource){
  // this.echo("requested url=" + resource.url);
});

// 今回は使わない
casper.on('click', function() {
  // クリックで発生したナビゲーションリクエストのURL
  this.echo('on click event: request url=' + this.requestUrl);
  this.then(function(response) {
    // クリック後に行きついたページのURL
    console.log('on click event -> then: current url=' + this.getCurrentUrl());
  });
});

// 動作確認用
casper.on('navigation.requested', function(url) {
  //this.echo('navigation.requested url=' + url);
});

// 作詞掲示板のログインページを開く
casper.open("http://uta.pw/sakusibbs/users.php?action=login");

// ログインする
casper.then(function(){
  // フォームにユーザー名とパスワードを設定して送信
  this.fill("form", {
    username_mmlbbs6: BBS_USER,
    password_mmlbbs6: BBS_PASS
  }, true);
});

// サンプルにはないが追加しないと正常に動作しない
// post　の後のページ遷移タイミング合わせ？
// このあたりについては　何が正しいのか要調査
casper.then(function () {
  //console.log('Logged in');
});

// マイページを開く
casper.then(function(){
  // マイページのURLを取得する関数を定義
  var getLink = function () {
    var q = document.querySelector('#header_menu_linkbar a');
    return q.href;
  };
  // ページ内で評価
  var mypage_url = this.evaluate(getLink);
  this.echo("mypage url=" + mypage_url);
  // マイページを開く
  this.open(mypage_url);
});

// マイページのお気に入りを抽出する
casper.then(function(){
  // お気に入りの作品を取得する関数を定義
  var pickupFav = function () {
    var res = [];
    var q = document.querySelectorAll('#favlist li > a');
    for (var i = 0; i < q.length; i++) {
      var text = q[i].textContent;
      var href = q[i].href;
      res.push(text);
    }
    return res;
  };
  var res = this.evaluate(pickupFav);
  // 結果を出力する
  // utf8で出力されるが nodeモジュールが使えないので、このまま出力
  this.echo("--- favlist ---");
  for (var i = 0; i < res.length; i++) {
    this.echo("- " + res[i]);
  }
});

// 実行
casper.run();