训练加速与优化

使用deepspeed训练

重要

deepspeed不支持windows，如果需要请使用wsl2

首先在cfgs/launcher/deepspeed.yaml中指定deepspeed_config.deepspeed_config_file为需要的deepspeed的配置文件。目前提供zero2.json和zero3.json两种方式，zero3支持offload，更省显存，但会更慢，并且可能需要较大内存。

训练使用的显卡数量通过num_processes配置。

配置之后运行命令开始训练:

hcp_train --launch_cfg cfgs/launcher/deepspeed.yaml --cfg cfgs/train/cfg_file.yaml