Blog / 阅读

PHP CURL访问HTTPS获取HTTPS网页源码的函数

by admin on 2014-04-27 14:12:01 in ,



今天写一个采集页面,用PHP CURL https 竟然报错,搜集了一些资料,完成了 PHP CURL 获取HTTPS网页源码的函数。


 function GetHtml( $url ) {
$ch = curl_init( );
curl_setopt ( $ch, CURLOPT_URL, $url );
curl_setopt ( $ch, CURLOPT_FOLLOWLOCATION, 1 );
curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 );
curl_setopt ( $ch, CURLOPT_REFERER, 'http://www.baidu.com/' );
curl_setopt ( $ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6.6; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)' );
curl_setopt ( $ch, CURLOPT_HEADER, 0 );
curl_setopt ( $ch, CURLOPT_CONNECTTIMEOUT, 60 );
curl_setopt ( $ch, CURLOPT_SSL_VERIFYHOST, 1);   // ssl 访问核心参数
 curl_setopt ( $ch, CURLOPT_SSL_VERIFYPEER, FALSE); // ssl 访问核心参数


$code = curl_exec( $ch );
curl_close( $ch );
if ( empty( $code ) or stristr( $code, '<title>403 Forbidden</title>' ) or stristr( $code, "<hr><center>nginx" ) or stristr( $code, "<title>Error</title>" ) or stristr( $code, "<TITLE>无法找到该页</TITLE>" ) ){
exit( );
} else {
return $code;
}
}


 代码如下   
function curlPost($url, $data, $timeout = 30)
{
    $ssl = substr($url, 0, 8) == "https://" ? TRUE : FALSE;
    $ch = curl_init();
    $opt = array(
            CURLOPT_URL     => $url,
            CURLOPT_POST    => 1,
            CURLOPT_HEADER  => 0,
            CURLOPT_POSTFIELDS      => (array)$data,
            CURLOPT_RETURNTRANSFER  => 1,
            CURLOPT_TIMEOUT         => $timeout,
            );
    if ($ssl)
    {
        $opt[CURLOPT_SSL_VERIFYHOST] = 1;
        $opt[CURLOPT_SSL_VERIFYPEER] = FALSE;
    }
    curl_setopt_array($ch, $opt);
    $data = curl_exec($ch);
    curl_close($ch);
    return $data;
}
$data = curlPost('https://www.111cn.net', array('p'=>'hello'));
echo ($data);
 


  -----------------------------我是分割线--------------------------------


  其实这是告诉服务器不进行SSL认证,并不是真的走HTTPS


  如果要真正使用HTTPS,那么需要提供CA证书


  上面关于SSL部分按照如下设置:


 代码如下   
01.CURLOPT_SSL_VERIFYPEER 设置为 true ,说明进行SSL证书认证  
02.CURLOPT_SSL_VERIFYHOST 设置为 2, 说明进行严格认证  
03.CURLOPT_CAINFO 设置为证书的路径 
 


  为方便说明,先上代码吧~ 这是今天重新封装的一个函数


 代码如下   
/** 
 * curl POST 
 * 
 * @param   string  url 
 * @param   array   数据 
 * @param   int     请求超时时间 
 * @param   bool    HTTPS时是否进行严格认证 
 * @return  string 
 */  
function curlPost($url, $data = array(), $timeout = 30, $CA = true){    
  
    $cacert = getcwd() . '/cacert.pem'; //CA根证书  
    $SSL = substr($url, 0, 8) == "https://" ? true : false;  
      
    $ch = curl_init();  
    curl_setopt($ch, CURLOPT_URL, $url);  
    curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);  
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout-2);  
    if ($SSL && $CA) {  
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, true);   // 只信任CA颁布的证书  
        curl_setopt($ch, CURLOPT_CAINFO, $cacert); // CA根证书(用来验证的网站证书是否是CA颁布)  
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2); // 检查证书中是否设置域名,并且是否与提供的主机名匹配  
    } else if ($SSL && !$CA) {  
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 信任任何证书  
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 1); // 检查证书中是否设置域名  
    }  
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);  
    curl_setopt($ch, CURLOPT_HTTPHEADER, array('Expect:')); //避免data数据过长问题  
    curl_setopt($ch, CURLOPT_POST, true);  
    curl_setopt($ch, CURLOPT_POSTFIELDS, $data);  
    //curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($data)); //data with URLEncode  
  
    $ret = curl_exec($ch);  
    //var_dump(curl_error($ch));  //查看报错信息  
  
    curl_close($ch);  
    return $ret;    
}   
 


  如果URL地址是https打头,那就走SSL,否则就走普通的HTTP协议。


  是否走HTTPS的话就安全了吗?其实SSL也有不同的验证程度。


  例如需不需要验证证书中的公用名呢?(BTW:公用名(Common Name)一般来讲就是填写你将要申请SSL证书的域名 (domain)或子域名(sub domain)。)


  需要验证主机名吗?


  是任何证书都信任呢还是只信任CA颁布的呢?


  (我擦嘞,电池快没点了,只捡关键地儿说了 - -|||)


  如果网站SSL证书买的是CA的(通常比较贵),那么访问时可以使用比较严格的认证,即:


 代码如下   
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, true);   // 只信任CA颁布的证书  
curl_setopt($ch, CURLOPT_CAINFO, $cacert); // CA根证书(用来验证的网站证书是否是CA颁布)  
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2); // 检查证书中是否设置域名,并且是否与提供的主机名匹配 
 


  如果网站的证书是自己生成的,或者是网上的小机构申请的,那么访问时如果使用严格认证则不会通过,直接返回false。(对了,返回false时可以打印curl_error($ch)查看具体错误信息。)此时可以根据情况通过降低验证程度来保证正常访问,例如:


 代码如下   
 


2 curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 1);
 


  // 检查证书中是否设置域名(为0也可以,就是连域名存在与否都不验证了)


  平时我们使用浏览器访问各个https网站时,有时会遇到证书不受信的提示,其实就是因为这些网站的证书不是正规CA机构颁布的。


  市面上各种浏览器中都内置了CA根证书列表信息,访问有CA颁布证书的网站时,会根据根证书验证这些网站的证书,所以就不会有这个提示了。


  关于CA根证书文件,其实就是包含了各个主要CA机构的公钥证书,用来验证网站的证书是否是这些机构颁发的



写评论

相关文章

上一篇:EasyUI初体验--右键弹框

下一篇:jQuery源码 框架分析

评论

写评论

* 必填.

分享

栏目

赞助商


热门文章

Tag 云