于振海网搜索

几种常用的php抓取网页内容的方法

发布时间:2011年11月22日
作者:未知  文章ID:518  浏览:

几种常用的php抓取网页内容的方法。
1.file_get_contents
 
<?php
$url = "https://www.yuzhenhai.com";
$contents = file_get_contents($url);
//如果出现中文乱码使用下面代码
//$getcontent = iconv("gb2312", "utf-8",$contents);
echo $contents;
?>
 
2.curl
 
<?php
$url = "https://www.yuzhenhai.com";
$ch = curl_init();
$timeout = 5;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
//在需要用户检测的网页里需要增加下面两行
//curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY);
//curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD);
$contents = curl_exec($ch);
curl_close($ch);
echo $contents;
?>
 
3.fopen->fread->fclose
 
<?php
$handle = fopen ("https://www.yuzhenhai.com", "rb");
$contents = "";
do {
$data = fread($handle, 1024);
if (strlen($data) == 0) {
break;
}
$contents .= $data;
} while(true);
fclose ($handle);
echo $contents;
?>
 
注意:
1.使用file_get_contents和fopen必须空间开启allow_url_fopen。方法:编辑php.ini,设置allow_url_fopen = On,allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。
2.使用curl必须空间开启curl。方法:windows下修改php.ini,将extension=php_curl.dll前面的分号去掉,而且需要拷贝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下;Linux下要安装curl扩展。
 

发表评论  挑错  文章投稿  联系我
  • 上一篇:php中session过期自动删除问题
  • 下一篇:vb与服务器通信,获取网页内容并解决乱码问题
  • 【推荐文章】

  • 袁凯《白燕》赏析

    【原文】 白燕 袁凯① 故国飘零事已非,旧时王谢应见稀。 月明汉水初无影,雪满梁园...

  • 苏轼《六幺令·天中节》注释、译文、赏析

    【原文】 六幺令 天中节 苏轼 虎符缠臂,佳节又端午。门前艾蒲青翠,天淡纸鸢舞。粽...

  • 郎士元《柏林寺南望》赏析

    【原文】 柏林寺南望 郎士元 溪上遥闻精舍钟,泊舟微径度深松。 青山霁后云犹在,画...

  • 温庭筠《赠少年》赏析

    【原文】 赠少年 【唐】温庭筠 江海相逢客恨多,秋风叶下洞庭波。 酒酣夜别淮阴市,...

  • 柳宗元《衡阳与梦得分路赠别》注释、译文、赏

    【原文】 衡阳与梦得分路赠别 柳宗元 十年憔悴到秦京,谁料翻为岭外行。 伏波①故道...

  • 运用成语也要注意“性别”

    运用成语也要注意 性别 李占方 人有性别,成语也有 性别 。因此,我们在运用成语时,...

  • 【最新文章】

  • 袁凯《白燕》赏析
  • 苏轼《六幺令·天中节》注释、译文、赏析
  • 郎士元《柏林寺南望》赏析
  • 温庭筠《赠少年》赏析
  • 正月二十日往歧亭,郡人潘、古、郭三人送余于
  • 张炎《高阳台·西湖春感》赏析
  • 蒋捷《贺新郎》译文
  • 【唐】韩偓《草书屏风》翻译
  • 柳宗元《衡阳与梦得分路赠别》注释、译文、赏
  • 韩愈喊你去春游
  • 词句巧积累——房屋院落
  • 运用成语也要注意“性别”
  • 别把小事无限放大
  • 排好序 用准词
  • 学写采访记录