自己用PHP写了个爬虫，基本功能已经实现。 PHP spider 下载地址

linux 环境下运行#php spider.php http://www.leesec.com

下面为测试过程图

下面为测试结果

有兴趣的可以试试

脚本缺点：

1.未对静态页面进行去重处理
2.未对页面内js操作后的结果进行处理
3.相对路径转绝对路径BUG未处理(2014年9月8号修复这个BUG)