自己用PHP写了个爬虫,基本功能已经实现。 PHP spider 下载地址
linux 环境下运行#php spider.php http://www.leesec.com
下面为测试过程图
下面为测试结果
有兴趣的可以试试
脚本缺点:
1.未对静态页面进行去重处理
2.未对页面内js操作后的结果进行处理
3.相对路径转绝对路径BUG未处理(2014年9月8号修复这个BUG)
自己用PHP写了个爬虫,基本功能已经实现。 PHP spider 下载地址
linux 环境下运行#php spider.php http://www.leesec.com
下面为测试过程图
下面为测试结果
有兴趣的可以试试
脚本缺点:
1.未对静态页面进行去重处理
2.未对页面内js操作后的结果进行处理
3.相对路径转绝对路径BUG未处理(2014年9月8号修复这个BUG)