Perl Web::Queryを使ってウェブスクレイピングをする

Perlを使ってウェブスクレイピングをしようと思います。

Web::QueryというインターフェースがjQueryに似た使いやすいモジュールがあるのでそれを使います。

サンプルソースをGitHubに上げたのでよろしければPull Requestお願いします！

##### 環境構成 * Mac OS X * Perl 5.16 <br> ##### サンプルソース スクレイピングしたいサイトのtdタグを抜き出してjson形式でファイルに格納するプログラムです。 複数ライブラリを使っているので、状況に合わせてcpan installしてください。 <pre class="brush: perl"> use strict; use warnings; use v5.16; use utf8; use Encode; use autodie; use Web::Query; use Data::Dumper; use JSON qw (encode_json); use constant { DIR => 'json', FILE_NAME => 'tds.json', }; mkdir DIR unless -d DIR; my $url = 'hogehoge.html'; my @jsons; wq($url) ->find('tbody') ->each(sub { my(undef, $tbody) = @_; $tbody->find('tr')->each(sub { my(undef, $tr) = @_; my $td = $tr->find('td'); my $td1 = encode('utf-8', $td->get(0)->as_text); my $td2 = encode('utf-8', $td->get(1)->as_text); my $td3 = encode('utf-8', $td->get(2)->as_text); my $json_txt = { 'td1' => $td1, 'td2' => $td2, 'td3' => $td3, }; my $json = JSON->new->encode($json_txt); push @jsons, $json; }); }); open(my $fh, '> ' . DIR . '/' . FILE_NAME); foreach (@jsons) { say $fh $_; } close($fh); </pre> 16行目 my $url = 'hogehoge.html';でターゲットのサイトurlを指定してください。 <br> 20行目 find('tbody')でtbody内のDOMを取得しています。 ここらへんはjQueryのfindメソッドと同じなので直感的にできます。素敵です！ 他にもfirstとかparentもあります。perldocで検索！ <br> 23行目 find('tr')でtbody内のtrを取得する 25行目 find('td')でtr内のtdを取得する 27行目 encode('utf-8', $td->get(0)->as_text)でtdタグの0番目のテキストをエンコードしています。 41行目以降 スクレイピングしてjsonにしたtdをファイルに書き込んでいます。 サイトによっては利用規約的に2次使用を禁止しているところもあるので注意してください。 <br> Perl歴浅いためもっとエレガントに書けるハッカーの方のPull Requestお待ちしています。 [https://github.com/hamuhamu/scraping_sample](https://github.com/hamuhamu/scraping_sample) <br> ##### 最近読んだ本