100+万 IP，内外网都有，想批量验证状态(80 端口)，并写入文件(IP)。不用 nmap。Python 实现，能给个思路吗，如果是 Python 推荐哪些库(多进程+协程?requests?grequests?sock?Scapy?)；如果用 Golang ……弱弱的问一句 Golang 有优势吗?
这种需求是不是也属于爬虫范围?
谢谢！
这种需求是不是也属于爬虫范围?
谢谢！
This topic created in 3365 days ago, the information mentioned may be changed or developed.
 |
1
panyanyany May 22, 2017
弱弱地问一句这 100+万 IP 哪来的啊……可用率有多少？
|
 |
2
golmic May 22, 2017
scrapy
|
 |
3
popu111 May 22, 2017 via Android
Golang 的话 Goroutine 的实现简易度确实高得多，写这种简单的并发应用用 golang 是个相当棒的选择
|
 |
4
dongxiaozhuo May 22, 2017 via iPhone
zmap ？
|
 |
5
YingJie OP @panyanyany 初略估计 10%
|
|
6
YingJie OP @dongxiaozhuo 尝试了，用不起来……
|
 |
7
aip May 22, 2017
这个。。。关键难道不是带宽么？带宽足够的话，并发一万个进程。。。。
|
 |
9
nicoljiang PRO 1、你用的 ADSL VPS 的网络质量和机器稳定性，以及 VPS 的数量；
2、反爬策略； 3、爬虫后端的数据处理能力。 以上是开玩笑的，真正的瓶颈就在能投入多少钱。 |
Select Language