@whwq2012 谢谢啦，
日志方面除了在插入到数据库时会报唯一限制的错误，没有其他关于 scrapy 的报错，最后一次，我盯着它在我眼皮底下直接就被 kill 掉。
/var/log/message 中的记录
```
kernel: Out of memory: Kill process 2454 (scrapy) score 333 or sacrifice child
kernel: Killed process 2454 (scrapy) total-vm:999536kB, anon-rss:346860kB, file-rss:1176kB, shmem-rss:0kB
```

@whwq2012 不好意思，我看了一下，好像这代码也没什么保密价值。哈哈。

@VicYu 没有错误。直接被 kill 了。/var/log/message 中记录 OOM kill

@whwq2012 可能我的姿势不对。求指教。

当学习资料中的代码执行不了，可以看看新版本的文档，一般就解决了。

@mooncakejs 百万级数据

@fds 尴尬了。哈哈哈

除了阿里云这样干，移动宽带也这样干的。

@Light3 我也是这样想，所以来问问

@KIDJourney
@111111111111

有这么一条查询
```
db.tests.find({},{'age':14}).limit(100)
```
上面的查询可以返回：住址，城市，来源。
数据共享，说法可能不准确
上面的结构会有这样的统计
```
city
beijing 99
shanghai 1
```
但是想要的是满足年龄=14 的，城市是北京的总数！

@111111111111 提到的分开查，这样就得等到所有查询完成才能返回页面。这样 limit 就没有用了。

@lovedboy 我不是很理解如何使用，因为 request 请求，不是要等到所有处理完才能返回页面吗？

@TJT 好的，谢谢啦

@TJT db.tests.find({'n':'hk','a':'34',$text:{$search:'er'}}) ,数据量在十万级别。

@TJT 在删除 b_text 之后，我创建以一个
```
db.tests.createIndex({'n':1,'a':1,'b':'text'})

```
可是在执行查询的时候，整个 mongo 就退出了。使用不了。日志：
```
[conn1] Invariant failure amExpr->numChildren() >= prefixEnd src/mongo/db/query/planner_access.cpp 466
[conn1]

***aborting after invariant() failure


[conn1] Got signal: 6 (Aborted).

```

权限也是正常的。其他 find 正常，只要用到这个索引就 over。

@TJT 谢谢，那第一个那种，如果我把 b_text 索引删掉，创建复合索引的话，会不会影响只搜索 b 这个字段的效率呢？

@billlee 明白了。谢谢。

@fhefh 大概浏览了一下，好像不是我想要的。不过谢谢！～

@smileawei 依旧是不行

@shoaly 远端解析，已经实现了，但是像网易云音乐这个东西，居然解析到香港的 ip 。就用不了。
@izhaohui 的确是这样的。
@21grams 非常流氓。