永发信息网

如何用php 编写网络爬虫

答案:1  悬赏:10  手机版
解决时间 2021-03-20 02:33
如何用php 编写网络爬虫
最佳答案
php不太适合用来写网络爬虫,因为几乎没有现成的框架,或者成熟的下载机制,也不太适合做并发处理.
下载页面的话除了一个curl,就是file_get_contents,或者curl_multi来做并发请求.curl可以代理端口,虚假ip,带cookie,带header请求目标页面,下载完成之后解析页面可以用queryList来解析html.写法类似jQuery.
提供给你我之前写的类:curl.php  希望可以帮到你.
QueryList.php和phpQuery.php由于文件太大了,没办法贴上来
class Http {
    public function curlRequest($url, $postData = '', $timeOut = 10, $httpHeader = array()) {
        $handle = curl_init ();
        curl_setopt ( $handle, CURLOPT_URL, $url );
        if ($httpHeader) {
            curl_setopt($handle, CURLOPT_HTTPHEADER, $httpHeader);
        }
        curl_setopt ( $handle, CURLOPT_RETURNTRANSFER, true );
        curl_setopt ( $handle, CURLOPT_HEADER, 0 );                                                                curl_setopt ( $handle, CURLOPT_TIMEOUT, $timeOut );
        curl_setopt ( $handle, CURLOPT_FOLLOWLOCATION, 1 );
        curl_setopt ( $handle, CURLOPT_SSL_VERIFYPEER, false );
        curl_setopt ( $handle, CURLOPT_SSL_VERIFYHOST, false );
        curl_setopt ( $handle, CURLOPT_USERAGENT, 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36');        curl_setopt ( $handle, CURLOPT_ENCODING, 'gzip,deflate,sdch');
        if (! empty ( $postData )) {
            curl_setopt ( $handle, CURLOPT_POST, 1 );
            curl_setopt ( $handle, CURLOPT_POSTFIELDS, $postData);
        }
        $result['response'] = curl_exec ( $handle );
        $result['httpStatus'] = curl_getinfo ( $handle, CURLINFO_HTTP_CODE );
        $result['fullInfo'] = curl_getinfo ( $handle );
        $result['errorMsg'] = '';
        $result['errorNo'] = 0;
        if (curl_errno($handle)) {
            $result['errorMsg'] = curl_error($handle);
            $result['errorNo'] = curl_errno($handle);
        }
        curl_close ( $handle );
        return $result;
    }
}
?>
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
大家都在看
胜兴路/芳济道(路口)怎么去啊,有知道地址的
寂静的词语解释
北京现代IX3性能怎么样?
在浙江买社保好,还是广州好? 注:生活在杭
小号怎么吹高音
我想把日料店的厨房地面抬高15cm,用水泥听说
大话西游2护送商人到哪里?
利津力能热电有限公司地址有知道的么?有点事
胡子连根拔了还会不会再长了?
受身技是干什么用的?
阿里云服务器Linux系统如何安装主机宝控制面
请教几个关于把明信片从中国寄往日本的问题
宁波鼓楼那边的地铁站可以充值学生公交卡吗?
画图怎么裁剪圆形图片
骨妹是什么意思(广东话)
推荐资讯
胖子盒饭我想知道这个在什么地方
有没有开孔尺寸大点的煤气灶,家里老灶换掉,
两年不见用英语怎么说?
吃大豆油有什么好处
创酷在哪里啊,我有事要去这个地方
三国杀300将魂换谁比较好
我是做ups的 想在苏州寻求安防监控工程贸易合
如果勇士队遇到姚明,奥尼尔,奥拉朱旺这类内
韩版时尚女装批发的精品摇篮是否有足够的创意
在C#如何将enter设为登录的快捷键??
什么材质的餐具最好
什么是单载波,什么是双载波?
正方形一边上任一点到这个正方形两条对角线的
阴历怎么看 ?