Skip to content

JeremySun1224/DuReader-MRC

Repository files navigation

DuReader-MRC

该仓库是基于多种预训练语言模型微调的DuReader以及模型集成,您可以按照RUNDuReaderColab.ipynb复现结果。

优化1:对抗训练

  • 动机:采用对抗训练缓解模型鲁棒性差的问题,提升模型泛化能力
  • 对抗训练是一种引入噪声的训练方式,可以对参数进行正则化,提升模型鲁棒性和泛化能力

优化2:混合精度训练(FP16)

  • 动机:对抗训练降低了计算效率,使用混合精度训练优化训练耗时
  • 混合精度训练
    • 在内存中用FP16做存储和乘法来加速
    • 用FP32做累加避免舍入误差
  • 损失放大
    • 反向传播前扩大$2^k$倍loss,防止loss下溢出
    • 反向传播后将权重梯度还原

优化3:多模型融合

  • 动机:提升模型预测性能
  • 方法:指定权重,人工试错

About

基于多预训练语言模型集成开展的DuReader

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published