简单、灵活、强大的PHP爬虫框架,让采集更简单一点。
官方下载地址:https://github.com/owner888/phpspider
官方开发文档:http://doc.phpspider.org/
编写PHP *** 爬虫, 需要具备以下技能:
爬虫采用PHP编写
从网页中抽取数据需要用XPath
当然我们还可以使用CSS选择器
很多情况下都会用到正则表达式
Chrome的开发者工具是神器, 很多AJAX请求需要用它来分析
注意:本框架只能在命令行下运行,命令行、命令行、命令行,重要的事情说三遍 ^_^
之一个demo
爬虫采用PHP编写, 下面以糗事百科为例, 来看一下我们的爬虫长什么样子:
$configs = array(
爬虫的整体框架就是这样, 首先定义了一个$configs数组, 里面设置了待爬网站的一些信息, 然后通过调用$spider = new phpspider($configs);和$spider->start();来配置并启动爬虫.
运行界面如下:
$configs对象如何定义, 请查看开发文档.^_^