V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  dusu  ›  全部回复第 10 页 / 共 11 页
回复总数  206
1 ... 2  3  4  5  6  7  8  9  10  11  
2019 年 11 月 25 日
回复了 dackh 创建的主题 程序员 有没有办法把 4 亿数据在四个小时内打散到 100 张表内
1. 关所有 log/binlog
2. batch insert
3. 多进 /线程
4. tmp 目录指 /dev/shm 目录
5. 上 ssd

插入速度取决于你的硬盘读写速度。
4e 问题不大
2019 年 11 月 25 日
回复了 yitd 创建的主题 问与答 手里有完美反扒方案如何变现?
给个地址 让 v 友爬到你怀疑人生
2019 年 11 月 17 日
回复了 xiatong 创建的主题 Java 根据电影某一帧,匹配到某个电影。
电影检索核心其实还是降维的问题。

电影先降维到每一秒为截图,剔除掉相似度大的截图,存大盘鸡或 oss,然后转 simhash 之类的存检索库,求相似度应该能粗略解决一些需求。

假如一本电影 2 小时,截图 7200 张,滤重后假设 5000 张?算检索 100w 部电影最终也就降维到 50 亿张图片的 simhash 检索而已。

当然,图片特征识别应该是在检索降维中比较重要的一些细节等等,个人小团队要想做好这个引擎,应该有很长的路要走。
@AaronLiu00

🙏以及感谢各位,虽然和我想的差一点

不过已经按思路手撸了一个前后端版本,准备小范围实践下

之前已经有前人开源过图片生成

https://github.com/jklmnn/imagejs/

按说明处理过后,发现 chrome 安全检查已经屏蔽非 javascript header 执行 js 了,so 只能放弃…

P.S. 图片加 php / asp 代码早已经是皆知的事情了哈,那个不存在绕过文件头的问题,和我这个还不太一样

P.S. 图片压缩部分,我确认了一下,浏览器上 png 压缩率不是很高,一般图床也不会对 png 做特别处理,只要 png 数据不是特别多的情况下,效果应该还能接受,不过也要全面测试
@locoz 如果是存三方图床上的话,那还会有跨域问题...
楼主只考虑了正常请求,当你被 baiduspider/googlebot/bytesipder 等爬哭又不能禁的时候你就知道有多痛苦了,所以,这种讨论在我看来意义不大,该用带宽的时候你想省都省不了。(俺的站每天 2 亿请求)
同自己写,这玩意得自己分布式,记住单机检测是肯定不可信的,分发任务和执行任务环节都会可能出问题,多核机用 swoole 走多进程协程检测,检测几 w 个毫无压力,慢慢写,过程很 easy 的
@fluorinedog 感谢老哥指导,小弟受教~之前确实理解错了
不过我觉得可以通过控制每个 hll 桶内元素的数量去解决误差?
像类似于可能在 1w 或 10w 的数据集的时候误差比较小,
那么通可以过 id % 桶数量 找到对应 key 来减少误差,
个人想法哈,仅供讨论...
提供解决方案参考
对于重要的下载地址直接 rewrite
aaa.rar
可以重写为
aaa20191007.rar

根据更新频率自己安排时间颗粒度
保证用户下载的内容是最新的就行
2019 年 9 月 27 日
回复了 VDimos 创建的主题 程序员 各位前端 er 写 html 的时候用语义化标签吗?
语义化? vuetify 了解一下
2019 年 9 月 20 日
回复了 mamasan 创建的主题 Redis 使用 Redis 计数的问题
inc 和 dec 都需要额外处理高并发下一次购买多件的问题
@fluorinedog hll 要统计的时候直接把整型往里丢 数据涨了就代表集合里没有 没涨不就代表集合里没有么?

当然这不是原子操作,高并发下肯定有问题,主要是楼主也没有说要多大并发,只是要求毫秒级。
能接受误差 Redis 的 HyperLogLog 可以解惑。存 2^64 个元素仅需 12K。

不能接受误差 Redis 的 bitmap 也是不错的选择。

前提是你输入的数据是整型
2019 年 9 月 16 日
回复了 redbuck 创建的主题 情感问题 相亲后怎么继续发展?
第一次约 谢绝 冷一段时间 三五天 自己该干嘛干嘛 不要继续舔 找机会再聊
第二次约 谢绝=没戏
flock 真的能用做锁?我试过网上 n 多 flock 当锁的示例代码,多进程跑的时候几乎没一个能用的。当然,也有可能我用法和理解有误,也建议楼主深度测试下;

如果能用的话,除了没法分布式的致命弱点外,小项目还是可以考虑一下的。

P.S. 早上 redis 早真香
2019 年 8 月 28 日
回复了 rizon 创建的主题 MySQL 有没有什么可以在生产环境用的 mysql 表结构同步工具
sqlyog 表同步 秒杀市面所有工具
2019 年 8 月 25 日
回复了 FakeLeung 创建的主题 MacBook Pro 敲着键盘,然后 mbp 的 f 键键帽掉出来了。
用了一年半上周同掉出来…这批蝶式键盘真是烂,苹果官方公告说延保键盘四年,但是一放那边不知道要呆多久…犹豫中…
1 ... 2  3  4  5  6  7  8  9  10  11  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   869 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 21:32 · PVG 05:32 · LAX 14:32 · JFK 17:32
♥ Do have faith in what you're doing.