http://www.wfcoding.com/tags/streaming/ Recent content in Streaming on 有趣的AI Hugo -- 0.164.0 zh-CN 火云 Thu, 27 Feb 2025 00:00:00 +0000 http://www.wfcoding.com/articles/practice/0327/ Thu, 27 Feb 2025 00:00:00 +0000 http://www.wfcoding.com/articles/practice/0327/ <p>对于 <code>LLM(大语言模型)</code>，流式传输已成为一种越来越受欢迎的功能。其理念是在 <code>LLM</code> 生成令牌时就快速返回，而不是等待创建完整响应后再返回全部内容。</p> <p>在简单的场景中，流式传输实际上非常容易实现，但当涉及到智能体之类的应用时，它会变得复杂，这些智能体有自己的运行逻辑，可能会阻止我们尝试进行流式传输。</p> <p>本文将探讨 <code>langchain</code> 的流式输出，后面将实现<strong>智能体最终结果的流式输出</strong>。</p> <blockquote> <p>本次演练将全部使用 <code>qwen2.5:7b</code> 开源大模型。</p> </blockquote>