【PaddlePaddle Hackathon 3】其他项目贡献合集

[Ligoml]

（此 ISSUE 为 PaddlePaddle Hackathon 第三期活动的任务 ISSUE，更多详见 【PaddlePaddle Hackathon 第三期】任务总览）

以下为飞桨黑客松第三期中，其他项目贡献任务合集：

No.90：基于 PaddleNLP 语义索引实现 Gradient Cache 策略，实现超大 batch 语义索引模型训练

• 任务标题：基于 PaddleNLP 语义索引实现 Gradient Cache 策略，实现超大 batch 语义索引模型训练

• 技术标签：python、语义索引

• 任务难度：进阶

• 详细描述：语义索引模型的效果受 batch_size 影响很大，一般 batch_size 越大模型效果越好，但是受限于 GPU 显存大小，batch_size 在普通硬件上往往无法开到很大；这篇 paper (Paper: https://arxiv.org/pdf/2101.06983.pdf) 提出的 Gradient Cache 算法可以有效扩展 batch_size , 在显存较小条件下也能实现大 batch 语义索引模型训练。

• 提交内容

  • 任务 PR 到 PaddleNLP；
  • 相关技术文档（模型效果验证符合预期）。

• 技术要求

  • 熟练掌握 python；
  • 理解深度学习模型原理；
  • 了解语义索引模型基础算法（非必须）。

• 参考资料

  • paper: https://arxiv.org/pdf/2101.06983.pdf；
  • github: https://github.com/luyug/GradCache。

No.91：增加 Taichi 和 PaddlePaddle 高效结合的案例

• 任务标题：增加 Taichi 和 PaddlePaddle 高效结合的案例。
• 技术标签：深度学习框架，高性能计算
• 任务难度：基础
• 详细描述：选取一个 PaddlePaddle 中暂不支持的 op，使用 Taichi 编写该 op 的并行实现，并在一个 PaddlePaddle 和Taichi的交互案例中展示效果。
• 相关实现：如需使用可微分 op，请参考 Taichi 中与 torch autograd 交互的测试样例。
• 提交内容
  • 设计文档，并提 PR 至 PaddlePaddle/community 的 rfcs/Taichi 目录；
  • PR 请提交到你自己的公开 repo，提交 repo 的链接即可；；
  • Repo 中需要包含详细的案例使用步骤，以及必要的代码讲解和背景知识。
• 技术要求
  • 熟悉 Taichi 和 PaddlePaddle；
  • 熟练掌握 C++ 、Python。

答疑交流

• 如果在开发中对于上述任务有任何问题，欢迎在本 ISSUE 下留言交流；
• 对于开发中的共性问题，在活动过程中，会定期组织答疑，请大家关注官网&QQ群的通知，及时参与。