http://www.wfcoding.com/tags/moe/ Recent content in MoE on 有趣的AI Hugo -- 0.164.0 zh-CN 火云 Sat, 27 Sep 2025 00:00:00 +0000 http://www.wfcoding.com/articles/theory/10/ Sat, 27 Sep 2025 00:00:00 +0000 http://www.wfcoding.com/articles/theory/10/ <p><strong>MoE</strong>(Mixture of Experts,专家混合模型）是当前大模型（尤其是 GPT-4、Gemini、Mixtral、DeepSeek 等）架构中非常核心的一个概念。<br> <strong>MoE</strong> 的思想非常直白：不同的 <code>专家/Expert</code> 只负责处理自己擅长的那一类输入，而不是让整个模型的所有参数都去处理所有任务。<br> <img loading="lazy" src="image/MoE.jpg" alt="MoE架构图" /> <br> 也就是说：</p> <ul> <li>一个 <strong>MoE</strong> 模型内部其实包含了很多个“子网络”（这些子网络叫做 <code>专家/Expert</code>）；</li> <li>每次输入一句话或一段文本时，模型不会激活所有 <code>专家/Expert</code>，而是通过一个 <code>路由/Router</code>来挑选 最合适的几个专家；</li> <li>只有被选中的那几个 <code>专家/Expert</code> 会参与这次计算，从而节省大量算力。</li> </ul>