参数高效微调

9 个专题 · 270 道题

0168

LoRA 的原理、常见超参数与注入模块是什么？

模型训练与对齐参数高效微调

原理机制

进阶

3 篇面经 1 份题集

0539

LoRA 效果不好时如何定位和改进？

模型训练与对齐参数高效微调

故障排查

进阶

0541

LoRA 有哪些缺点和改进方向？

模型训练与对齐参数高效微调

比较选型

进阶

0574

Transformer 中有哪些 LoRA 变体？

模型训练与对齐参数高效微调

比较选型

进阶

0614

SFT 和 PEFT 训练中使用过哪些技巧？

模型训练与对齐参数高效微调

项目深挖

进阶

0627

为什么要对大模型微调？

模型训练与对齐参数高效微调

比较选型

基础

0633

给定 7B 模型，如何计算 LoRA 参数及优化器显存分配？

模型训练与对齐参数高效微调

原理机制

进阶

1224

LoRA 的低秩矩阵如何初始化？

模型训练与对齐参数高效微调

原理机制

进阶

1847

全量微调受到哪些具体资源限制，项目实际不足在哪里？

模型训练与对齐参数高效微调

项目深挖

深入

1848

LoRA 主要解决什么问题，节约哪些资源，为什么能节约？

模型训练与对齐参数高效微调

原理机制

进阶

1 篇面经 1 份题集