微调

微调（Fine-tuning）： 微调是在预训练的基础上进行的，它是针对特定任务（如情感分析、问答、文本分类等）对模型进行进一步训练的过程。微调通常使用较少量的标注数据来完成，这些数据与特定任务直接相关。

微调阶段的关键点包括：

• 在预训练模型的基础上添加一个或多个输出层，以适应特定任务。

• 使用标注好的任务特定数据来调整模型的参数，使其在该任务上表现更好。

全参数微调（Full Parameter Fine-tuning）： 在全参数微调中，预训练模型的全部参数都会根据特定任务进行调整。这意味着模型的每一层都可以学习到新的特征，以更好地适应新的任务。

Lora微调（Lora Fine-tuning）： Lora（Low-Rank Adaptation）是一种微调方法，它通过在预训练模型的每一层中添加一个低秩矩阵来调整模型，而不是调整所有参数。这种方法可以减少需要训练的参数数量，从而减少计算资源和训练时间。