飞桨开源社区博客

近日，百度飞桨星河社区与华南师范大学计算机学院联合举办的技术沙龙在华南师范大学成功举行。本次活动汇聚百度飞桨技术专家与高校师生近 140 人，围绕 AI 前沿技术、开源生态与人才培养展开深度交流，共同探讨人工智能发展与应用。

FLUX: Fast Software-based Communication Overlap On GPUs Through Kernel Fusion

• https://arxiv.org/pdf/2406.06858
• https://github.com/bytedance/flux

论文链接：[ICLR 2025] WHEN ATTENTION SINK EMERGES IN LANGUAGE MODELS: AN EMPIRICAL VIEW

Github 仓库：https://github.com/sail-sg/Attention-Sink

• 论文链接：https://arxiv.org/pdf/2504.02263v3
• 关键词：MOE, EP, decode, 加速

论文链接：[ICLR 2025] NETMOE: ACCELERATING MOE TRAINING THROUGH DYNAMIC SAMPLE PLACEMENT

FlashOverlap 所关注和聚焦的具体重叠场景是：一个计算操作后面跟着一个和计算结果存在依赖的通信操作（Overlapping Communication and Dependent Computation）

通信是并行的代价

无论你是深度学习领域的新手，还是经验丰富的开发者，飞桨开源社区都欢迎你的加入！在这里，你可以学习最前沿的 AI 技术，结交志同道合的朋友，并为开源社区贡献自己的力量。