本地大模型编程实战(33)用SSE实现大模型的流式输出

SSE(Server-Sent Events)是一种基于 HTTP 协议的服务器向客户端单向推送数据的技术,允许服务器主动向已建立连接的客户端持续发送事件流(如实时通知、更新数据等),无需客户端频繁轮询。 核心特点:基于 HTTP 长连接,单向通信(仅服务器→客户端),数据以 “事件” 格式传输(包含事件类型、数据体等结构化信息),天然支持断线重连。 典型场景:大语言模型(LLM)客户端、股票行情实时更新、新闻推送、系统通知等只需服务器主动下发数据的场景。 它与websocket的主要区别是: 若场景仅需 “服务器推数据给客户端”(单向),优先选 SSE(实现简单、基于 HTTP 无额外协议成本) 若需 “客户端与服务器实时双向通信”(如聊天、互动),必须选 WebSocket(全双工能力是核心优势) 下面我们使用大语言模型qwen3实现翻译功能。它可以自动识别源语言,就可以翻译为目标语种。 像千问这种大模型是基于多语言训练的,所以它支持中文、英文、法文、西班牙等多个语种的翻译。 这是实现的效果: ...

九月 1, 2025 · 2 分钟 · 火云

本地大模型编程实战(32)用websocket显示大模型的流式输出

在与 LLM(大语言模型) 对话时,如果每次都等 LLM 处理完毕再返回给客户端,会显得比较卡顿,不友好。如何能够像主流的AI平台那样:可以一点一点吐出字符呢? 本文将模仿后端流式输出文字,前端一块一块的显示文字。主要的实现路径是: LLM 采用 qwen3 ,使用 stream 方式输出 后端使用 langchain 框架 使用 fastapi 实现后端接口 前后端之间使用 websocket 长连接通信 前端使用一个简单的 html5 网页做演示 下面是最终实现的效果: ...

四月 27, 2025 · 2 分钟 · 火云

基于FastAPI和JWT实现OAuth2用户认证

本文阐述了如何基于FastAPI框架实现 OAuth2用户认证,其中使用哈希算法对密码进行了加密,使用 JWT 持有令牌。 附带完整的代码,避免大家再次踩坑。 ...

十二月 1, 2024 · 4 分钟 · 火云

使用FastAPI实现简单的OAuth2的Password和Bearer验证

本文讲述了基于FastAPI框架,实现实现简单的OAuth2的Password和Bearer验证。 附带完整的代码,避免大家再次踩坑。 ...

十二月 1, 2024 · 3 分钟 · 火云

使用FastAPI实现微服务API网关

本文阐述了基于FastAPI实现一个API网关的详细步骤,这样未来可以不断的在服务端像搭积木一样添加各种服务。 我们即将实现下面的简单的微服务架构,目前它只实现了请求转发功能: ...

十一月 14, 2024 · 2 分钟 · 火云