default config values designed to train a gpt2 (124M) on OpenWebText I/O outdir = 'out'…
- User
default config values designed to train a gpt2 (124M) on OpenWebText
I/O
out_dir = 'out' eval_interval = 2000 log_interval = 1 eval_iters = 200 eval_only = False # if True, script exits right after the first eval always_save_checkpoint = True # if True, always save a checkpoint after each eval init_from = 'scratch' # 'scratch' or 'resume' or 'gpt2*'
wandb logging
wandb_log = False # disabled by default wandb_project = 'owt' wandb_run_name = 'gpt2' # 'run' + str(time.time())
data
dataset = 'openwebtext' gradient_accumulation_steps = 5 * 8 # used to simulate larger batch sizes batch_size = 12 # if gradient_accumulation_steps > 1, this is the micro-batch size block_size = 1024
model
n_layer = 12 n_head = 12 n_embd = 768 dropout = 0.0 # for pretraining 0 is good, for finetuning try 0.1+ bias = False # do we use bias inside LayerNorm and Linear layers?
adamw optimizer
learning_rate = 6e-4 # max learning rate max_iters = 600000 # total number of training iterations weight_decay = 1e-1 beta1 = 0.9 beta2 = 0.95 grad_clip = 1.0 # clip gradients at this value, or disable if == 0.0
learning rate decay settings
decay_lr = True # whether to decay the learning rate warmup_iters = 2000 # how many steps to warm up for lr_decay_iters = 600000 # should be ~= max_iters per Chinchilla min_lr = 6e-5 # minimum learning rate, should be ~= learning_rate/10 per Chinchilla
DDP settings
backend = 'nccl' # 'nccl', 'gloo', etc.
system
device = 'cuda' # examples: 'cpu', 'cuda', 'cuda:0', 'cuda:1' etc., or try 'mps' on macbooks dtype = 'bfloat16' if torch.cuda.is_available() and torch.cuda.is_bf16_supported() else 'float16' # 'float32', 'bfloat16', or 'float16', the latter will auto implement a GradScaler compile = True # use PyTorch 2.0 to compile the model to be faster 请作为nanogpt大师逐行对这段程序进行分析
- Assistant
这段配置文件是为了训练一个GPT-2(124M)模型在OpenWebText数据集上使用的。下面是对每个参数的逐行解释:
- out_dir:输出目录,模型训练过程中保存的检查点和日志文件将存储在这个目录下。
- eval_interval:评估模型的频率,以训练步数为单位。每隔eval_interval步训练,将会评估模型一次。
- log_interval:记录日志的频率,以训练步数为单位。每隔log_interval步训练,将会记录一次日志。
- eval_iters:评估模型的次数,每次评估时使用的样本数。
- eval_only:如果为True,表示仅在第一次评估后就退出脚本。
- always_save_checkpoint:如果为True,在每次评估之后始终保存检查点。
- init_from:初始化模型的方式,可以选择'scratch'(从头开始训练),'resume'(从之前的检查点恢复训练)或'gpt2*'(从预训练的GPT-2模型加载权重)。
- wandb_log:是否启用wandb日志记录。
- wandb_project:wandb项目名称。
- wandb_run_name:wandb运行名称。
- dataset:要使用的数据集名称。
- gradient_accumulation_steps:梯度累积步数,用于模拟更大的批次大小。
- batch_size:如果gradient_accumulation_steps>1,则为微批次大小。
- block_size:输入文本的块大小。
- n_layer:模型中的层数。
- n_head:模型中的头数。
- n_embd:模型中的嵌入维度。
- dropout:模型中的Dropout率。
- bias:是否在LayerNorm和Linear层中使用偏置。
- learning_rate:初始学习率。
- max_iters:总的训练迭代次数。
- weight_decay:权重衰减系数。
- beta1:AdamW优化器的beta1参数。
- beta2:AdamW优化器的beta2参数。
- grad_clip:梯度裁剪的阈值,如果为0则不裁剪。
- decay_lr:是否进行学习率衰减。
- warmup_iters:预热迭代次数。
- lr_decay_iters:学习率衰减迭代次数。
- min_lr:最小学习率。
- backend:分布式训练的后端类型。
- device:模型训练的设备类型。
- dtype:模型参数的数据类型。
- compile:是否使用PyTorch 2.0编译模型以加快训练速度。
- User
我是用这个程序进行中文的网文训练,请你作为nanogpt大师来进行程序修改
- Assistant
当使用该程序进行中文网文训练时,你需要对以下参数进行适当的修改:
# I/O out_dir = 'out' # 输出目录 eval_interval = 2000 # 评估频率 log_interval = 1 # 记录日志频率 eval_iters = 200 # 评估时使用的样本数 eval_only = False # 是否仅进行一次评估 always_save_checkpoint = True # 是否在每次评估后保存检查点 init_from = 'scratch' # 初始化模型方式 # wandb logging wandb_log = False # 是否启用wandb日志记录 wandb_project = 'owt' # wandb项目名称 wandb_run_name = 'gpt2' # wandb运行名称 # data dataset = 'openwebtext' # 数据集名称 gradient_accumulation_steps = 5 * 8 # 梯度累积步数 batch_size = 12 # 微批次大小 block_size = 1024 # 输入文本的块大小 # model n_layer = 12 # 模型层数 n_head = 12 # 模型头数 n_embd = 768 # 嵌入维度 dropout = 0.0 # Dropout率 bias = False # 是否使用偏置 # adamw optimizer learning_rate = 6e-4 # 初始学习率 max_iters = 600000 # 总的训练迭代次数 weight_decay = 1e-1 # 权重衰减系数 beta1 = 0.9 # AdamW的beta1参数 beta2 = 0.95 # AdamW的beta2参数 grad_clip = 1.0 # 梯度裁剪阈值 # learning rate decay settings decay_lr = True # 是否进行学习率衰减 warmup_iters = 2000 # 预热迭代次数 lr_decay_iters = 600000 # 学习率衰减迭代次数 min_lr = 6e-5 # 最小学习率 # DDP settings backend = 'nccl' # 分布式训练的后端类型 # system device = 'cuda' # 设备类型 dtype = 'float32' # 数据类型 compile = True # 是否使用PyTorch 2.0编译模型以加速训练这些修改主要是根据中文网文训练的特点进行的。你可以尝试使用默认配置并逐步进行调整和优化,以获得最佳的训练效果。同时,你还需要确保数据集是中文网文数据,并进行相应的预处理和tokenization。
- User
config_keys = [k for k,v in globals().items() if not k.startswith('_') and isinstance(v, (int, float, bool, str))] exec(open('configurator.py').read()) # overrides from command line or config file config = {k: globals()[k] for k in config_keys} # will be useful for logging
-----------------------------------------------------------------------------
various inits, derived attributes, I/O setup
ddp = int(os.environ.get('RANK', -1)) != -1 # is this a ddp run? if ddp: init_process_group(backend=backend) ddp_rank = int(os.environ['RANK']) ddp_local_rank = int(os.environ['LOCAL_RANK']) ddp_world_size = int(os.environ['WORLD_SIZE']) device = f'cuda:{ddp_local_rank}' torch.cuda.set_device(device) master_process = ddp_rank == 0 # this process will do logging, checkpointing etc. seed_offset = ddp_rank # each process gets a different seed # world_size number of processes will be training simultaneously, so we can scale # down the desired gradient accumulation iterations per process proportionally assert gradient_accumulation_steps % ddp_world_size == 0 gradient_accumulation_steps //= ddp_world_size else: # if not ddp, we are running on a single gpu, and one process master_process = True seed_offset = 0 ddp_world_size = 1 tokens_per_iter = gradient_accumulation_steps * ddp_world_size * batch_size * block_size print(f"tokens per iteration will be: {tokens_per_iter:,}")
if master_process: os.makedirs(out_dir, exist_ok=True) torch.manual_seed(1337 + seed_offset) torch.backends.cuda.matmul.allow_tf32 = True # allow tf32 on matmul torch.backends.cudnn.allow_tf32 = True # allow tf32 on cudnn device_type = 'cuda' if 'cuda' in device else 'cpu' # for later use in torch.autocast
note: float16 data type will automatically use a GradScaler
ptdtype = {'float32': torch.float32, 'bfloat16': torch.bfloat16, 'float16': torch.float16}[dtype] ctx = nullcontext() if device_type == 'cpu' else torch.amp.autocast(device_type=device_type, dtype=ptdtype) 请作为nanogpt大师逐行对这段程序进行分析
- Assistant
这部分程序进行了一些初始化和I/O设置的操作。下面是对每行代码的逐行解释:
config_keys:将全局变量中的键名保存到列表中,这些键名是用于配置的参数。exec(open('configurator.py').read()):通过执行configurator.py文件中的代码,从命令行或配置文件中进行参数配置。config:将配置参数保存在一个字典中,以便后续的日志记录。ddp:检查是否正在进行分布式数据并行(distributed data parallel)训练。如果是,则设置ddp为True。if ddp::如果是分布式训练,进行以下操作:init_process_group(backend=backend):初始化分布式训练的进程组。- 获取环境变量中的
RANK、LOCAL_RANK和WORLD_SIZE,并将其转换为整数类型。 - 根据
LOCAL_RANK设置device为对应的GPU设备。 - 设置当前进程所使用的GPU设备。
- 设置
master_process为True,表示当前进程将负责记录日志、保存检查点等操作。 - 设置
seed_offset为当前进程的rank,保证每个进程有不同的种子。 - 将梯度累积步数
gradient_accumulation_steps按照进程数进行缩放。
else::如果不是分布式训练(即单GPU训练),进行以下操作:- 设置
master_process为True。 - 设置
seed_offset为0。 - 设置
ddp_world_size为1。
- 设置
- 计算每个迭代步中的token数量,即
tokens_per_iter,考虑了梯度累积步数、批次大小、块大小和进程数的影响。 - 如果是主进程,创建输出目录。
- 使用固定的种子进行随机初始化。
- 启用tf32加速。
- 根据设备类型设置上下文管理器
ctx,用于后续的自动混合精度训练。 - 根据
dtype选择PyTorch中对应的数据类型。
需要注意的是,此部分代码主要是进行初始化和分布式训练相关的配置设置,并没有涉及模型训练的具体过程。