显存容量
80 GB
HBM3
显存带宽
3350
GB/s
参考价
¥18.5万
含整机柜配套的参考单价
可参考模型
12
按显存与权重估算
规格对比
与同榜设备的显存（GB）与带宽（GB/s）对照
可参考的模型
- GLM-4-9B开源单卡可完整容纳权重并保留充足 KV Cache 空间已验证可跑
- Qwen3-8B开源单卡可完整容纳权重并保留充足 KV Cache 空间已验证可跑
- InternLM3-8B开源单卡可完整容纳权重并保留充足 KV Cache 空间已验证可跑
- Llama 3.1 8B开源单卡可完整容纳权重并保留充足 KV Cache 空间已验证可跑
- Qwen3-4B开源单卡可完整容纳权重并保留充足 KV Cache 空间已验证可跑
- Qwen3-32B开源单卡可容纳权重，长上下文需限制并发可部署
- Gemma 3 27B开源单卡可容纳权重，长上下文需限制并发可部署
- Gemma 2 27B开源单卡可容纳权重，长上下文需限制并发可部署
- Mixtral 8x22B开源单卡放不下，需多卡并行（张量并行/流水线并行）受限（需多卡）
- Mistral Large 24.11单卡放不下，需多卡并行（张量并行/流水线并行）受限（需多卡）
- Qwen2.5-72B-Instruct开源单卡放不下，需多卡并行（张量并行/流水线并行）受限（需多卡）
- Llama 3.3 70B开源单卡放不下，需多卡并行（张量并行/流水线并行）受限（需多卡）
评论与使用反馈（0）
登录后可发表评论，你的反馈会帮助其他用户做选择。
- 还没有评论，来做第一个分享的人。