-
PHP文章采集URL补全函数(FormatUrl)
本文是一个PHP实现的文章采集的内容里URL补全函数(FormatUrl),感兴趣的同学参考下. 写此函数作用就是为了开发采集程序，采集文章的时候会经常遇到页面里的路径是 相对路径 或者 绝对根路径 不是 绝对全路径 就无法收集URL 写采集必用的函数，URL补全函数，也可叫做FormatUrl。 写此函数作用就是为了开发采集程序，采集文章的时候会经常遇到页面里的路径是 “相对路径” 或者 “绝对根路径” 不是“绝对全路径”就无法收集URL...
PHP 2014-12-30 07:30:04 -
PHP curl模拟浏览器采集阿里巴巴示例代码
本文为大家讲解的是PHP curl模拟浏览器采集阿里巴巴的示例代码，感兴趣的同学参考下。 <?php set_time_limit(0); function _rand() { $length=26; $chars = "0123456789abcdefghijklmnopqrstuvwxyz"; $max = strlen($chars) - 1; mt_srand((double)microtime() * 1000000); $string = ''; for($i = 0; $i < $length; $i++) { $string .= $chars[mt_rand(0, $max)]; } return $string; } $HTTP_SESSION=_rand(); $HTTP_SESSION; $HTTP_Server="search.china.alibaba.com"; $HTTP_URL="/company/k-%CB%AE%CB%AE%CB%...
PHP 2014-12-30 06:36:05 -
php使用curl实现站外采集的方法和技巧
本文为大家讲解的是php使用curl实现站外采集的方法和技巧,感兴趣的同学参考下. curl是专门用来进行网络交互的库，提供了一堆自定义选项，用来应对不同的环境，稳定性自然要大于file_get_contents 选择curl的理由 关于curl与file_get_contents，摘抄一段通俗易懂的对比： file_get_contents其实是一堆内置的文件操作函数的合并版本，比如file_exists,fopen,fread,fclose，专门提供给懒人用的，而且它主要是用来对付本地文件的，但又是因为懒人的原因，同时加入了对网络文件的支持； curl是专门用来进行网络交互的库，提供了一堆自定义选项，用来应对不同的环境，稳定性自然要大于file_get_contents。 使用方法 1、开启curl支持 由于php环境安装后默认是没有打开curl支持的，需修改php.ini文件，找到;extension=php_curl.dll，把前面的冒号去掉，重启服务即可； 2、使用curl进行数据抓取 // 初始化一个 cURL...
PHP 2014-12-30 06:03:03 -
PHP采集腾讯微博的实现代码
本文是一个PHP采集腾讯微博的实现代码示例,感兴趣的同学参考下. <?php header("Content-type:text/html;charset=utf-8"); $weibo = file_get_contents('http://t...
PHP 2014-12-29 05:30:04 -
PHP采集远程图片详细教程
本文是一个PHP远程采集图片详细教程,一步一步实现图片的采集功能,简单的入门教程,需要的朋友可以参考下 当我们需要采集网络上的某个网页内容时，如果目标网站上的图片做了防盗链的话，我们直接采集过来的图片在自己网站上是不可用的。那么我们使用程序将目标网站上的图片下载到我们网站服务器上，然后就可调用图片了...
PHP 2014-12-28 18:09:04 -
php图片采集后按原路径保存图片示例代码
本文为大家讲解的是php图片采集后按原路径保存图片示例代码,感兴趣的同学参考下. <?php $domain ='http://www...
PHP 2014-12-27 12:39:04 -
php实现的一个HTML解析器类可用于采集数据
本文是一个php实现的一个HTML解析器类可用于采集数据,感兴趣的同学参考下. <?php $oldSetting = libxml_use_internal_errors( true ); libxml_clear_errors(); /** * * -+----------------------------------- * |PHP5 Framework - 2011 * |Web Site: www...
PHP 2014-12-25 07:18:03 -
PHP采集类snoopy详细介绍
本文为大家讲解的是PHP采集类snoopy详细介绍，Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单，可以用来开发一些采集程序和小偷程序，本文章详细介绍snoopy的使用教程。 Snoopy的一些特点: 抓取网页的内容 fetch 抓取网页的文本内容 (去除HTML标签) fetchtext 抓取网页的链接，表单 fetchlinks fetchform 支持代理主机 支持基本的用户名/密码验证 支持设置 user_agent, referer(来路), cookies 和 header content(头文件) 支持浏览器重定向，并能控制重定向深度 能把网页中的链接扩展成高质量的url(默认) 提交数据并且获取返回值 支持跟踪HTML框架 支持重定向的时候传递cookies 要求php4以上就可以了 由于本身是php一个类 无需扩支持 服务器不支持curl时候的最好选择， Snoopy类方法及示例： fetch($URI) 这是为了抓取网页的内容而使用的方法...
PHP 2014-12-21 07:27:03 -
php使用Snoopy进行数据采集的方法详解
本文为大家讲解的是php使用Snoopy进行数据采集的方法详解，感兴趣的同学参考下。 这里介绍两个php采集能用到的好工具...
PHP 2014-12-21 03:21:04 -
一个基于phpQuery的php通用采集类
本文是一个一个基于phpQuery的php通用采集类示例代码,感兴趣的同学参考下. 这是自己以前写的一个php的采集类，自己一直在用，自我感觉很简单很强大，只要懂一点点选择器的知识就可以采集任何页面了，也支持https页面，做简单的采集足够用了 一、采集类源码 <?php /** *通用列表采集类 *版本V1...
PHP 2014-12-16 00:39:04 -
php实现的百度知道与问问的采集程序
本文是一个百度知道和soso问问的采集示例代码，代码不见得能直接使用，但大家可以参考实现思路，感兴趣的同学参考研究下。 知道采集代码 <?php session_start(); header("content-type:text/html;charset=gbk"); require("stole_config.php"); require("conn.php"); require("keyword.php"); $searchStr=$_GET["searchStr"]; $ss=explode(" ",$searchStr);//拆分搜索关键字 $word="";//关键字设为空 foreach($ss as $key=>$t) { if($key>0) { $word .="+"; } $word .=urlencode($t); } $jl=int...
PHP 2014-12-15 00:57:04 -
php不用正则采集速度探究总结
这个以前有人发帖子研究过了采集速度，但是之后只是说出了哪个函数快并没有总结，研究问题的目的是要总结方法。 注意：下面的所有函数都没有用正则...
PHP 2014-12-14 17:03:06
