tkwl
V2EX  ›  问与答

请问单卡或者双卡的 LLM 推理服务器用什么卡较好,预算 10w 左右的,是不是 H20 是比较合适的选择

  •  
  •   tkwl · 13 days ago · 959 views
    3 replies    2026-07-08 15:16:36 +08:00
    zsj1029
        1
    zsj1029  
       13 days ago
    h20 目前推理卡性价比最高的没错,vllm 部署,pcie 的就可以,多卡根据预算来
    tkwl
        2
    tkwl  
    OP
       13 days ago
    @zsj1029 谢谢,我看预算再往下就不如搞 5090 多卡了
    AIgogo
        3
    AIgogo  
       12 days ago
    工作站用 nvidia p6000 最强,要考虑功耗和散热,还有显存和 token 吞吐吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4177 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 00:55 · PVG 08:55 · LAX 17:55 · JFK 20:55
    ♥ Do have faith in what you're doing.