1.curl数据采集系列之单页面采集函数get_html
单页面采集在数据采集过程中是最常用的一个功能 有时在服务器访问限制的情况下 只能使用这种采集方式 慢
但是可以简单的控制 所以写好一个常用的curl函数调用是很重要的。
<?php $url = ‘http://www.baidu.com‘; $ch = curl_init($url); curl_setopt($ch,CURLOPT_RETURNTRANSFER,true); curl_setopt($ch,CURLOPT_TIMEOUT,5); $html = curl_exec($ch); if($html !== false){ echo $html; } ?>
或者：
<?php function get_html($url,$options = array()){ $options[CURLOPT_RETURNTRANSFER] = true; $options[CURLOPT_TIMEOUT] = 5; $ch = curl_init($url); curl_setopt_array($ch,$options); $html = curl_exec($ch); curl_close($ch); if($html === false){ return false; } return $html; } $url = ‘http://www.baidu.com‘; echo get_html($url); ?>
2.Referer的采集
对于一些程序，它可能判断来源网址，如果发现referer不是自己的网站，则拒绝访问，
这时候，我们就需要添加CURLOPT_REFERER参数，模拟来路，使得程序能够正常采集。
<?php $keyword = ‘PHP cURL‘; //参数方法一 // $post = ‘wd=‘ . urlencode($keyword); //参数方法二 $post= array( ‘wd‘=> urlencode($keyword), ); $url = ‘http://localhost/ajax_page/‘; $refer = ‘http://localhost/ajax_page/‘; //来路地址 $ch = curl_init($url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回数据不直接输出 curl_setopt($ch, CURLOPT_REFERER, $refer); //来路模拟 curl_setopt($ch, CURLOPT_POST, 1); //发送POST类型数据 curl_setopt($ch, CURLOPT_POSTFIELDS, $post); //POST数据，$post可以是数组，也可以是拼接 $content = curl_exec($ch); //执行并存储结果 curl_close($ch); echo $content; ?>
原文：http://www.cnblogs.com/wuheng1991/p/5150669.html