V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
1140601003
V2EX  ›  硬件

预算 8k–1w 左右,有没有 gpu 深度学习服务器 ubuntu 组装配置推荐呐

  •  
  •   1140601003 · 7 天前 · 705 次点击
    用来深度学习训练,大模型调用,微调,玩玩 yolo 训练与部署
    6 条回复    2024-06-28 14:24:45 +08:00
    1140601003
        1
    1140601003  
    OP
       7 天前
    来个人顶贴呀!!
    Fred0410
        2
    Fred0410  
       7 天前
    不考虑用云吗? 我冲了 300 块钱玩了一个月了。。
    telaviv
        3
    telaviv  
       6 天前
    能忍没有 bf16 的话,性价比最高的可能是 2080 Ti 22G ,单卡用 unsloth 可以调不少模型,ollama 推理 35B 模型可以 5-10 tokens/s ,双卡会更快些。
    1140601003
        4
    1140601003  
    OP
       6 天前
    @Fred0410 云的不划算
    1140601003
        5
    1140601003  
    OP
       6 天前
    @telaviv 我打算搞个 3090 ,搞个双系统来玩玩训练
    telaviv
        6
    telaviv  
       5 天前
    @1140601003 可以的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1276 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 23:21 · PVG 07:21 · LAX 16:21 · JFK 19:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.