于振海网——于振海的个人博客搜索

几种常用的php抓取网页内容的方法

发布时间:2011年11月22日  更新时间:2024年6月6日
作者:未知  文章ID:518  浏览:

几种常用的php抓取网页内容的方法。
1.file_get_contents
 
<?php
$url = "https://www.yuzhenhai.com";
$contents = file_get_contents($url);
//如果出现中文乱码使用下面代码
//$getcontent = iconv("gb2312", "utf-8",$contents);
echo $contents;
?>
 
2.curl
 
<?php
$url = "https://www.yuzhenhai.com";
$ch = curl_init();
$timeout = 5;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
//在需要用户检测的网页里需要增加下面两行
//curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY);
//curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD);
$contents = curl_exec($ch);
curl_close($ch);
echo $contents;
?>
 
3.fopen->fread->fclose
 
<?php
$handle = fopen ("https://www.yuzhenhai.com", "rb");
$contents = "";
do {
$data = fread($handle, 1024);
if (strlen($data) == 0) {
break;
}
$contents .= $data;
} while(true);
fclose ($handle);
echo $contents;
?>
 
注意:
1.使用file_get_contents和fopen必须空间开启allow_url_fopen。方法:编辑php.ini,设置allow_url_fopen = On,allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。
2.使用curl必须空间开启curl。方法:windows下修改php.ini,将extension=php_curl.dll前面的分号去掉,而且需要拷贝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下;Linux下要安装curl扩展。
 

发表评论  挑错  文章投稿  联系我
  • 上一篇:php中session过期自动删除问题
  • 下一篇:vb与服务器通信,获取网页内容并解决乱码问题
  • 【推荐文章】

  • 机遇只偏爱有准备的头脑

    山重水复疑无路,柳暗花明又一村。 众里寻他千百度,蓦然回首,那人却在,灯火阑珊处...

  • 中国近代科学为什么落后了?

    中国古代有着灿烂的文明,是世界四大文明古国之一,在16世纪以前长达1千多年的时期内...

  • 用万用表测定接地电阻

    接地装置安装好之后,严格讲,经过测试,接地电阻小于4欧,方可使用。投入使用后,应...

  • [美]弗·达尔《离别的礼物》赏析、原文

    【赏析】 杜牧在千年之前曾有过这样的一句感叹:门外若无南北路,人间始免别离愁。中...

  • 贾平凹《月迹》赏析、原文

    【赏析】 《月迹》一文按照盼月亮寻月亮议月亮的顺序展开,阅读时不可忽略文题月迹这...

  • 藏书情结

    说起藏书,那可不是件容易的事儿。袁枚曾有一句名言:书非借不能读也。这句话不知苦了...

  • 【最新文章】

  • vb与服务器通信,获取网页内容并解决乱码问题
  • 花落的声音
  • 如何改编课本剧
  • 怎样才能写好人物对话
  • 《倩女幽魂》电视剧全部配乐
  • 机遇只偏爱有准备的头脑
  • 我不知会遇上你
  • 亦画亦诗深情款款——陈志宏《江南瓦》赏析
  • 磁头数240 255的一点资料
  • 某名牌婴儿洁肤用品最近被曝检出有毒物质,引
  • 风骨
  • 为穷人领奖
  • 太空不是天堂
  • 如果人类也有尾巴
  • 泥土的清香自哪儿来