于振海网——于振海的个人博客搜索

几种常用的php抓取网页内容的方法

发布时间:2011年11月22日  更新时间:2024年6月6日
作者:未知  文章ID:518  浏览:

几种常用的php抓取网页内容的方法。
1.file_get_contents
 
<?php
$url = "https://www.yuzhenhai.com";
$contents = file_get_contents($url);
//如果出现中文乱码使用下面代码
//$getcontent = iconv("gb2312", "utf-8",$contents);
echo $contents;
?>
 
2.curl
 
<?php
$url = "https://www.yuzhenhai.com";
$ch = curl_init();
$timeout = 5;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
//在需要用户检测的网页里需要增加下面两行
//curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY);
//curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD);
$contents = curl_exec($ch);
curl_close($ch);
echo $contents;
?>
 
3.fopen->fread->fclose
 
<?php
$handle = fopen ("https://www.yuzhenhai.com", "rb");
$contents = "";
do {
$data = fread($handle, 1024);
if (strlen($data) == 0) {
break;
}
$contents .= $data;
} while(true);
fclose ($handle);
echo $contents;
?>
 
注意:
1.使用file_get_contents和fopen必须空间开启allow_url_fopen。方法:编辑php.ini,设置allow_url_fopen = On,allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。
2.使用curl必须空间开启curl。方法:windows下修改php.ini,将extension=php_curl.dll前面的分号去掉,而且需要拷贝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下;Linux下要安装curl扩展。
 

发表评论  挑错  文章投稿  联系我
  • 上一篇:php中session过期自动删除问题
  • 下一篇:vb与服务器通信,获取网页内容并解决乱码问题
  • 【推荐文章】

  • 如何写好日记之每日生活新鲜事

    【原文】 如何写好日记之每日生活新鲜事 每一天,我们身边都会发生大大小小的事,它...

  • md5相同但内容不同的两个图片文件

    plane.jpg CRC-32:7fd01bda MD5 Hash:253dd04e87492e4fc3471de5e776bc3d SHA1 Hash...

  • 王禹偁《村行》译文、赏析

    【原文】 村行 王禹偁(chēng) 马穿山径菊初黄,信马悠悠野兴①长。 万壑有声含晚...

  • 妈妈的长发

    我爱美的妈妈, 有一头多么漂亮的长发! 她经常对着镜子梳啊梳, 呵呵,像个自恋的傻...

  • 清明节可以成为“我们的节日”

    清明临近,合肥市文明办提出将在全市开展我们的节日清明节主题活动。此消息一出,有...

  • 苏轼《西江月》注释、译文、赏析

    【原文】 西江月① 苏轼 照野弥弥浅浪,横空隐隐层霄。障泥②未解玉骢骄,我欲醉眠芳...

  • 【最新文章】

  • 如何写好作文之想象篇
  • 如何写好日记之人物影像及时摄
  • 如何写好日记之每日生活新鲜事
  • 如何教孩子诚实
  • 五讲四美三热爱
  • 中国软件大王与他的山村母亲
  • 李小云《风景》赏析
  • 电动车涨刹随动刹的刹车原理
  • 手机对孩子危害有多大?十年后的结果令人震惊
  • 西篱《怀念花溪》原文、赏析
  • md5相同但内容不同的两个图片文件
  • 王禹偁《村行》译文、赏析
  • 幼儿园数字描红学写数字A4打印-0
  • 蟋蟀鸣时易感秋
  • 光阴