预训练如何选择 warmup、余弦退火及动态学习率调度？

知识专题：训练框架、调参与排障题目类型：比较选型技术难度：进阶相关面经：1 篇

暂无参考答案

未标记

本题目录

相关面经

1 篇

美团

大模型算法工程师

2026-09-02

查看原面经 →

大模型预训练学习率调度(Adam优化器，余弦退火，线性warmup阶段，基于训练损失变化的动态调度)