MoE 是我当前重点关注的方向之一。
刚开始接触时，我发现它看起来像是一个模型结构问题，但真正往下学，会涉及路由机制、训练稳定性、负载均衡和工程部署等多个层面。
我目前给自己整理的学习路线大概分成三步：
- 先理解 MoE 的核心概念和基本结构
- 再看典型论文和常见实现方式
- 最后关注工程落地中的训练与部署问题
后续我会把这条路线逐步补全，包括：
- 基础概念整理
- 经典论文阅读
- 代码实现拆解
- 工程应用中的问题记录
文章
MoE 学习路线：从基础概念到工程应用
记录自己学习 Mixture of Experts 的思路，先从概念理解逐步过渡到工程实现。