V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  hanssx  ›  全部回复第 68 页 / 共 70 页
回复总数  1393
1 ... 60  61  62  63  64  65  66  67  68  69 ... 70  
2019 年 9 月 2 日
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@neoblackcap 我不明白为啥不可以,我先试试用多进程,你也说了 celery 对线程支持有缺陷,网络请求的阻塞是必然的。
2019 年 9 月 2 日
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@neoblackcap 谢谢,gevent 实现 nmap 的功能基本不可能,必须得使用 subprocess.Popen 去调用 nmap,这种情况下,我使用多进程代替多线程可以吗?你之前说进程或者 gevent 都可以。
2019 年 9 月 2 日
回复了 akmonde 创建的主题 Python celery 处理结果的入库问题
考虑做成 RPC ?
2019 年 9 月 2 日
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@sazima 嗯,本身触发任务的时候,就是用的 apply_async(),应该和这个关系不大。
2019 年 9 月 2 日
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@neoblackcap 谢谢 neoblackcap 师父指点,我还有几点想请教师父,
1. 总体而言就是不使用线程而使用进程或 gevent,是吧?
2. 之前每个线程执行的内容是使用 subprocess.Popen()调用外部 nmap 扫描该 ip 并将结果入库,主要是两个方面:一是调用 busprocess.Popen(),也就是终究还是会使用子进程;二是会有入库操作,这个应该不算是 CPU 密集型处理?怎么界定 CPU 密集型处理呢?
3. 我这个 nmap 扫描应属于网络 IO 密集型,是不是使用 gevent 比较好?
4. 我对 gevent 不熟悉,不知改动量大不大,师父能提供一些更改的方法吗?
2019 年 9 月 2 日
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
celery 版本
```
(asset) [root@VM_9_196_centos asset]# celery --version
4.3.0 (rhubarb)
```

多线程应该是结束了,我在日志中收到了 break 线程的 while 循环之前,打印出的日志,一共 30 个日志,我也启了 30 个线程。
```
[2019-08-31 22:47:31] [ERROR] - (asscan.py:38)
Traceback (most recent call last):
File "/root/python/asset/scan/asscan.py", line 34, in run
task_host = self.queue.get(block=False)
File "/usr/local/python3/lib/python3.7/queue.py", line 167, in get
raise Empty
_queue.Empty
[2019-08-31 22:48:12] [ERROR] - (asscan.py:38)
Traceback (most recent call last):
File "/root/python/asset/scan/asscan.py", line 34, in run
task_host = self.queue.get(block=False)
File "/usr/local/python3/lib/python3.7/queue.py", line 167, in get
raise Empty
_queue.Empty
[2019-08-31 22:48:12] [WARNING] - web_fingerprint_discern begin! (log.py:235)
[2019-09-02 10:21:21] [WARNING] - () (log.py:235)
[2019-09-02 10:21:21] [WARNING] - {'task_uuid': '95c3dda4-cb04-11e9-a344-52540
```
2019 年 8 月 27 日
回复了 hanssx 创建的主题 Python celery 到底能不能动态添加周期任务
2019 年 8 月 26 日
回复了 hanssx 创建的主题 Python celery 到底能不能动态添加周期任务
推荐个国人写的,但是我用着有些问题,examples/base/tasks.py 文件是没有问题的,https://github.com/AngelLiang/celery-sqlalchemy-scheduler
2019 年 8 月 26 日
回复了 hanssx 创建的主题 Python celery 到底能不能动态添加周期任务
@Eds1995 感谢,不过不怎么会用,文档有点少。
2019 年 8 月 26 日
回复了 hanssx 创建的主题 Python celery 到底能不能动态添加周期任务
2019 年 8 月 26 日
回复了 hanssx 创建的主题 Python celery 到底能不能动态添加周期任务
@Eds1995 兄弟我没搜到你这个库啊
2019 年 8 月 24 日
回复了 hanssx 创建的主题 Python celery 到底能不能动态添加周期任务
@GoLand
@gulu
@youngce 谢谢三位,我明白了。
2019 年 8 月 23 日
回复了 hanssx 创建的主题 Linux vmware manjaro network 上不了网
@brotherlegend 谢谢表哥,我弄好了,把 NAT 恢复成带 DHCP 就行了,之前我是把 DHCP 取消了。
2019 年 8 月 22 日
回复了 hanssx 创建的主题 Linux vmware manjaro network 上不了网
@julypanda 我都快有点放弃了,static ip 就是分配不上,哎~
2019 年 8 月 22 日
回复了 hanssx 创建的主题 Linux vmware manjaro network 上不了网
@ScepterZ 只能 NAT 一个,我把 NAT 的 DHCP 关了,用的静态 IP 分配,我尝试设置 manjaro 的静态 IP,但是没生效,不知道怎么回事,我是看的这个设置的静态 IP https://wiki.manjaro.org/index.php?title=Networking
2019 年 8 月 22 日
回复了 hanssx 创建的主题 Linux vmware manjaro network 上不了网
@mchong NAT 所使用的网卡肯定是物理机的无线网卡,不过我好像把 VMNet8 的 IP 地址给改了,我看看怎么弄个静态 IP。
我之前这个参数是 True,立即任务的状态一直是 PENDING,你看看这个
CELERY_IGNORE_RESULT = False # 是否需要关注任务执行状态,如果设置为 True,任务状态会一直是 PENDING,为啥呢???

另外,任务执行时间长,celery 任务还真有执行时间限制?
2019 年 8 月 12 日
回复了 iiibreaker 创建的主题 北京 撸了个北京挂号抢号软件,妈妈再也不愁我挂不到号了
@theshyyyyy 看 fork 记录
2019 年 6 月 24 日
回复了 hanssx 创建的主题 Flask sqlalchemy 中 column 类型为 list 的情况
@jybox 我刚一开始的时候和你的想法一样,后来我发现有问题,举个例子,
简化假设 begin_time 和 end_time 是 5 7,那么给你 2 个序列
[3,6,9]
[3,8,9]
其中,第一个序列中 6 是在 5、7 之间的,所以它满足条件;相反第二个序列就不满足条件,所以只取最小和最大值的方案是不可行的,必须得遍历。
2019 年 6 月 24 日
回复了 hanssx 创建的主题 Flask sqlalchemy 中 column 类型为 list 的情况
@myyou 好像也只能这样了,在 flask 群里有 2 个哥们给了 2 种答案,
一种就是你这种,再弄一个表
另外一种是使用 mysql 的 json 函数,但是我搜索发现 json_search 好像只能匹配,无法比较。
要是还没有其他方案的话,只能这样了,到时候我给你转 5 块钱以表诚意,因为群里的哥们先说的。。。抱歉。
我的 QQ:9614 六 2392
1 ... 60  61  62  63  64  65  66  67  68  69 ... 70  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3448 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 25ms · UTC 04:39 · PVG 12:39 · LAX 21:39 · JFK 00:39
♥ Do have faith in what you're doing.