产品介绍
产品是什么
微软开源的低成本实现类似ChatGPT的模型训练
如何使用
1
1. 安装 DeepSpeed 库— 通过 pip 命令 `pip install deepspeed` 进行安装，或从源代码构建以满足特定需求。
2. 集成 DeepSpeed 到训练脚本在现有 PyTorch 训练代码中，导入 DeepSpeed 并初始化 DeepSpeed 引擎，替换原生的模型、优化器和数据加载器。
3. 配置 DeepSpeed 策略创建 JSON 格式的配置文件，定义优化器、混合精度训练、梯度累积、ZeRO 阶段等训练参数与优化策略。
2
4. 启动分布式训练— 使用 `deepspeed` 命令启动训练任务，指定配置文件、GPU 数量及训练脚本。
核心功能
ZeRO (Zero Redundancy Optimizer) for memory-efficient training of large models
Advanced pipeline parallelism for scaling across thousands of GPUs
Optimized kernel libraries for faster transformer model execution
Heterogeneous training across CPU and GPU to leverage all system memory
Compression techniques for efficient communication during distributed training
目标用户
AI研究人员机器学习工程师大型科技公司学术研究机构深度学习开发者
使用场景
训练超大规模语言模型
高效微调预训练模型
在有限显存下运行大模型
加速分布式模型训练
优化模型推理性能
价格方案
默认方案
free
