1. 核心概念

• 模仿人类教育：如同学生先学基础概念再攻克难题，模型从“简单”数据入手，逐步过渡到“复杂”数据。
• 样本难度定义：难度可由样本噪声、任务复杂度、模型自身不确定性等衡量（如图像分类中，清晰易分的样本为“简单”）。

2. 为什么有效？

• 避免局部最优：早期复杂样本可能导致模型陷入劣质解，简单样本帮助建立合理初始表征。
• 优化学习动力：类似“跳一跳够得着”原则，逐步增加难度避免模型“崩溃”，加速收敛。
• 与人类认知对齐：符合从具体到抽象的学习规律（如先认字母再读单词）。

3. 关键挑战

• 难度评估：如何量化样本/任务的难度？（如利用模型损失、教师网络打分、自监督信号等）
• 课程设计：确定样本引入顺序（固定课程 vs. 自适应调整）。
• 领域差异：不同任务（如NLP vs. CV）的难度定义可能完全不同。

4. 实现方法举例

• Baby Step：先训练短序列再增长（如NLP中从短句到长句）。
• Self-Paced Learning：模型自主选择权重的样本（损失小的优先）。
• Teacher-Student：用“教师”模型（如预训练模型）指导样本排序。

5. 应用场景

• 计算机视觉：目标检测中先学习大目标再检测小目标。
• NLP：机器翻译中先处理短句、高频词，再处理长句、稀有词。
• 多任务学习：从辅助任务（如边缘检测）过渡到主任务（如语义分割）。

6. 潜在风险

• 偏差放大：若早期简单样本有偏见，模型可能固化错误模式。
• 过拟合简单样本：需平衡“简单”与“多样性”，避免模型只记住简单特征。