HTMLデータをスクレイピング | 電脳備忘録

本記事のソースコードの利用によって生じた損害について、当方は一切の責任を負いません。ご自身の判断と責任のもとで参照・ご利用ください。

この記事は最終更新から2年以上経過しています。

simplehtmldomとhtmlsqlでスクレイピングをしています。 HTMLデータを直にスクレイピングしたい場合は「str_get_html」を使えばいいみたい。

$html = str_get_html($scrapedata);

htmlsqlでざっくりスクレイピングしてデータベースに格納したデータをPHP Simple HTML DOM Parserでスクレイピングして表示させてみたときの覚書

while($row = $sth->fetch(PDO::FETCH_NUM)){
$scrapedata = $row[1];
$categories = $row[2];
$html = str_get_html($scrapedata);		
$PageURL= $html->find('a');
$ThumbURL= $html->find('img');
$URLPageURL= $PageURL[0]->href;
$URLThumbURL= $ThumbURL[0]->src;
echo 'URL:'.$URLPageURL.'ThumbURL:'.$URLThumbURL.'
';
}//while

データベースにhtmlsqlでざっくりスクレイピングしたデータがあって、そのデータを＄scrapedata格納して、この中からURLと画像URLをスクレイピングしています。