该仓库是基于多种预训练语言模型微调的DuReader以及模型集成,您可以按照RUNDuReaderColab.ipynb复现结果。
- 动机:采用对抗训练缓解模型鲁棒性差的问题,提升模型泛化能力
- 对抗训练是一种引入噪声的训练方式,可以对参数进行正则化,提升模型鲁棒性和泛化能力
- 动机:对抗训练降低了计算效率,使用混合精度训练优化训练耗时
- 混合精度训练
- 在内存中用FP16做存储和乘法来加速
- 用FP32做累加避免舍入误差
- 损失放大
- 反向传播前扩大$2^k$倍loss,防止loss下溢出
- 反向传播后将权重梯度还原
- 动机:提升模型预测性能
- 方法:指定权重,人工试错