V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  clemente  ›  全部回复第 9 页 / 共 53 页
回复总数  1060
1 ... 5  6  7  8  9  10  11  12  13  14 ... 53  
6 月 3 日
回复了 followadc 创建的主题 Local LLM mac 64g 能部署哪个本地大模型
我正好写过类似工具

如果是稠密模型
运行时显存需求 = 模型参数 x dtype(是什么量化版本) + 冗余量 留给 kv cache

如果是 moe 的模型
实际运行时显存需求 少于上面


用 13b 模型为例
格式 每参数字节 13B 权重
FP16/BF16 2B ~26 GB
FP8 (E4M3) 1B ~13 GB
NVFP4 0.5B ~7 GB


kv cache 按照 1/4 冗余计算

26 * 5/4
13 * 5/4
7 * 5/4
@conky 美国身份证?
@TerranC 最新的 claude code 内置了 superpower skill
我觉得你这个用车 不如去买个二手的油车
从 优化这门学科的角度 你应该分析一下地球 top5 的浪费活动 然后优化他们 比 你现在考虑的重要的多
钝刀秀刀功

不如做全套 hook + ai
改了也没用 驱动和 Kernel 不支持
5 月 20 日
回复了 Rrrrrr 创建的主题 NVIDIA 去年 H200 能买,不让买是代替快出来了?
h200 算力很强大 还有 fp8 支持
5 月 20 日
回复了 meetyuan 创建的主题 程序员 大家都是怎么判断中转站安全性呢?
用 10 个冷门知识验证
@Ketteiron 你拿 自由市场的例子 来做推理 退不出的答案
@Ketteiron 你知道最近化债是做什么的吗? 一个系统要维护稳定 最先的动作是 投钱加固 而不是拆墙根
5 月 19 日
回复了 jony83 创建的主题 随想 对于目前的关于 ai 的看法和感受
典型的拿 明朝的剑 来斩 清朝的官
5 月 19 日
回复了 jony83 创建的主题 随想 对于目前的关于 ai 的看法和感受
现在世界模型还没有开始 范式也没有固定
你理解的 ai 和现在在发展的 ai 不是一回事
5 月 19 日
回复了 jony83 创建的主题 随想 对于目前的关于 ai 的看法和感受
`ai 本质是文本 tokenizer 化`
你说的是 llm ai

我估计你都不懂什么叫多模态吧
5 月 14 日
回复了 lpf0309 创建的主题 职场话题 写代码一定要防御性编程
没有意义 对你个人也没有好处 人活这一辈子没必要
5 月 13 日
回复了 lerry 创建的主题 育儿 我去女儿学校做了一堂 AI 分享课
每年要带自己孩子 赢一次, 你的孩子未来会赢
5 月 13 日
回复了 summerhot 创建的主题 职场话题 体制内去医院看神经内科
跑步流汗 补镁补 d3 完事了 整那么麻烦
@CivAx 只有糖尿病才可以刷医保
5 月 12 日
回复了 mode171 创建的主题 音乐 网易云的歌怎么越来越少了?
自己下歌 存到网易云网盘
@lyxxxh2 project 方向的都是自己写的. 这没问题.
1 ... 5  6  7  8  9  10  11  12  13  14 ... 53  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   907 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 22:43 · PVG 06:43 · LAX 15:43 · JFK 18:43
♥ Do have faith in what you're doing.