⚙ 部署参数配置
1 模型参数与量化类型
2 运行参数配置
📊 GPU显存分布
0.00 GB
10.00 GB
20.00 GB
30.00 GB
40.00 GB
50.00 GB
60.00 GB
框架固定开销 (1.00 GB)
模型参数 (8.75 GB)
激活值 (2.19 GB)
输出张量 (15.66 GB)
🔍 模型详情
📋 查看更多架构文档 ›📈 计算结果
框架固定开销
1.00 GB
每GPU框架初始化开销
模型参数
8.75 GB
参数量 70 B × 精度 FP8(1 bytes) ÷ GPU数量 8 = 8.75
GB/GPU
激活值
2.19 GB
模型参数 70.00 GB × 动态系数 0.25 ÷ GPU数量 8 =
2.19 GB/GPU
输出张量
15.66 GB
批次大小 32 × 序列长度 32768 × 词表大小 128,256 × 1
bytes ÷ (1024³) ÷ GPU数量 8 = 15.66 GB/GPU
💾 显存需求
系统总显存
107.16 GB
框架固定开销: 8.00
GB
+ 总参数量: 70.00
GB
+ 总激活值: 17.50
GB
+ 总输出张量: 125.31
GB
每GPU显存
27.60 GB
框架固定开销: 1.00
GB
+ 参数量/GPU: 8.75
GB
+ 激活值/GPU: 2.19
GB
+ 输出张量/GPU: 15.66
GB
📋 推荐配置
🔍 GPU兼容性检查
加入数智星球
获取实时AI技术动态，与同道者探索AI边界，共同成长。加入我们的数智星球，探索、交流、发展
扫码加入数智星球