php实现递归抓取网页类示例
发布时间：2022-08-04 18:05:20 所属栏目：PHP教程 来源：互联网
导读：这篇文章主要介绍了php实现递归抓取网页类,实例分析了php递归操作及网页抓取的技巧,非常具有实用价值,需要的朋友可以参考下 本文实例讲述了php实现递归抓取网页类的方法。分享给大家供大家参考。具体如下： ?php class crawler{ private $_depth=5; privat
|
这篇文章主要介绍了php实现递归抓取网页类,实例分析了php递归操作及网页抓取的技巧,非常具有实用价值,需要的朋友可以参考下 本文实例讲述了php实现递归抓取网页类的方法。分享给大家供大家参考。具体如下： <?php class crawler{ private $_depth=5; private $_urls=array(); function extract_links($url) if(!$this->_started){ $this->_started=1; $curr_depth=0; }else{ $curr_depth++; if($curr_depth<$this->_depth) $data=file_get_contents($url); if(preg_match_all('/((?:http|https)://(?:www.)*(?:[a-zA-Z0-9_-]{1,15}.+[a-zA-Z0-9_]{1,}){1,}(?:[a-zA-Z0-9_/.-?&:%,!;]*))/',$data,$urls12)) foreach($urls12[0] as $k=>$v){ $check=get_headers($v,1); if(strstr($v,$url) && $check[0]=='HTTP/1.1 200 OK' && !array_search($v,$this->_urls) && $curr_depth<$this->_depth){ $this->_urls[]=$v; $this->extract_links($v); return $this->_urls。 （编辑：PHP编程网 - 黄冈站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330482号