想把站点爬一遍，检查下 500 404 等错误，
收集下页面错误
收集下页面错误
This topic created in 4081 days ago, the information mentioned may be changed or developed.
Supplement 1 · Jun 8, 2015
用了同事推荐的 xenu 软件
 |
1
Andy00 Jun 8, 2015
[web magic](http://webmagic.io)
用java开发的，不知道是否对你有帮助 |
 |
2
wy315700 Jun 8, 2015
wget就可以啊
|
|
3
Andy00 Jun 8, 2015
|
 |
4
wsbnd9 Jun 8, 2015
scrapy python 的一个爬虫框架
|
Select Language