V2EX › clemente 的所有回复 › 第 1 页 / 共 53 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6 7 8 9 10 ... 53

❮

❯

2 天前

回复了 blackantt 创建的主题 › Claude › 有没有官方的 claude 的 24h 全球使用率峰谷统计，是否在使用量相对低的时候反应更快，更聪明？

每次分配给你的 gpu 资源池又不是同一个。。。

2 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc

对话中双方的具体错漏分析讨论角色观点/依据分析与评价 wwhc 看到 HF 文件列表总和为 167GB ，就认为只要 167GB 显存即可运行。
概念混淆：混淆了“磁盘文件体积”与“运行时显存需求”。没有考虑到 KV Cache 、并发数（ Batch Size ）、上下文长度以及加载精度对显存的放大效应。

clemente 提醒“满血 BF16 需求远超文件体积”、“运行显存还需考虑 KV Cache”。
思路正确：深刻理解 LLM 推理的显存瓶颈不仅在 Weight ，更在于长上下文下的 KV Cache 和计算开销。

2 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc 体积和运行时加载 vram 消耗是两回事啊

3 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc 你不妨吧链接和 readme 扔给 ai 解答一下吧

3 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

DeepSeek-V4-Pro with 1.6T parameters (49B activated) and DeepSeek-V4-Flash with 284B parameters (13B activated) — both supporting a context length of one million tokens.

3 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731 --> 304B params

3 天前

回复了 LuoDiNate 创建的主题 › 程序员 › 烧了 6B+ token,分享下我实践出来最好的 AGENTS.md

@WWwwMMmmMMmmWWww 只能说明你没用到位。。。我 codex/claude 最高档天天用

3 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@vandort 另外游戏显卡没有 tensor core 或者少很多。这才是高性能计算需要的。

3 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@vandort NV 或者 AMD 的 sdk kernel 库都是根据卡 sm 标号来的你老卡上显存 120gb 也只能解决能跑的问题速度天花板很低，因为 kernel 是按照 general 或者那个标号来写的