于振海网——于振海的个人博客搜索

几种常用的php抓取网页内容的方法

发布时间:2011年11月22日  更新时间:2024年6月6日
作者:未知  文章ID:518  浏览:

几种常用的php抓取网页内容的方法。
1.file_get_contents
 
<?php
$url = "https://www.yuzhenhai.com";
$contents = file_get_contents($url);
//如果出现中文乱码使用下面代码
//$getcontent = iconv("gb2312", "utf-8",$contents);
echo $contents;
?>
 
2.curl
 
<?php
$url = "https://www.yuzhenhai.com";
$ch = curl_init();
$timeout = 5;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
//在需要用户检测的网页里需要增加下面两行
//curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY);
//curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD);
$contents = curl_exec($ch);
curl_close($ch);
echo $contents;
?>
 
3.fopen->fread->fclose
 
<?php
$handle = fopen ("https://www.yuzhenhai.com", "rb");
$contents = "";
do {
$data = fread($handle, 1024);
if (strlen($data) == 0) {
break;
}
$contents .= $data;
} while(true);
fclose ($handle);
echo $contents;
?>
 
注意:
1.使用file_get_contents和fopen必须空间开启allow_url_fopen。方法:编辑php.ini,设置allow_url_fopen = On,allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。
2.使用curl必须空间开启curl。方法:windows下修改php.ini,将extension=php_curl.dll前面的分号去掉,而且需要拷贝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下;Linux下要安装curl扩展。
 

发表评论  挑错  文章投稿  联系我
  • 上一篇:php中session过期自动删除问题
  • 下一篇:vb与服务器通信,获取网页内容并解决乱码问题
  • 【推荐文章】

  • 辛弃疾《清平乐·题上卢桥》创作背景、赏析

    【原文】 清平乐① 题上卢桥② 辛弃疾 清泉犇快,不管青山碍③。千里盘盘平世界,更...

  • 苏轼《澄迈驿通潮阁二首》赏析

    【原文】 澄迈驿通潮阁二首① 苏轼 (一) 倦客愁闻归路遥, 眼明飞阁俯长桥。 贪看...

  • 如何写好议论文——论题:奋斗

    【论题阐述】 奋斗 一词的本义就是指为了目标去努力行动。在现代社会中,面临着很大...

  • 如何写好日记之每日生活新鲜事

    【原文】 如何写好日记之每日生活新鲜事 每一天,我们身边都会发生大大小小的事,它...

  • 海王星上为什么风暴不断

    在我们的心目中,风暴多起源于太阳的热力:阳光使大气和海水受热,造成空气对流而刮...

  • 站成一棵树

    父亲是在李阳出事的第二天赶回村庄的。 事情也不算大,李阳打了同学。李阳以前也打同...

  • 【最新文章】

  • 白居易《江楼夕望招客》赏析
  • 姜夔《点绛唇·丁未冬过吴松作》赏析
  • 辛弃疾《清平乐·题上卢桥》创作背景、赏析
  • 陶渊明《答庞参军》赏析
  • 苏轼《澄迈驿通潮阁二首》赏析
  • 垃圾分类的作文素材
  • 如何写作文——一次奇特的比赛(想象作文)
  • 如何培养孩子独自人格,让他学会承担自己的人
  • 如何写好议论文——论题:奋斗
  • 如何写好作文之写人篇
  • 如何写好作文之叙事篇
  • 如何写好作文之写景篇
  • 如何写好日记之今天我来画美景
  • 如何写好日记之每日生活新鲜事
  • 如何写好日记之斑斓校园每一天