jedeft
V2EX  ›  Local LLM

2 万块以内,可以本地部署的最好的模型是哪个?

  •  
  •   jedeft · 5h 15m ago · 699 views

    不考虑输出速度的情况下

    4 replies  •  2026-10-06 23:44:49 +08:00
    yidinghe
        1
    yidinghe  
    PRO
       5h 9m ago via Android
    看看 strata 这个项目,就很适合。

    https://github.com/Niko1221/Strata
    levn
        2
    levn  
       3h 18m ago
    glm5.3 flash > qwen3.8 next > qwen3.8 27b
    strobber16
        3
    strobber16  
       3h 7m ago via Android
    得加钱
    defa21312
        4
    defa21312  
       2h 48m ago
    qwen3.8flash ?据称超过 27b 了,需要 12g n 卡+128g 内存 freetoken 推理,2w 还是能拿下的,decode 速度不比 27b 慢,但是 prefill 速度很慢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   914 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 18:33 · PVG 02:33 · LAX 11:33 · JFK 14:33
    ♥ Do have faith in what you're doing.