Qwen3 on 有趣的AI

【保姆级教程】自己搭建AI大模型实验室

Wed, 08 Oct 2025 00:00:00 +0000

如果我比别人看得更远，那是因为我站在巨人的肩上。 – 艾萨克·牛顿

不知道您是否像我一样：希望自己能有一个完全本地部署的AI实验室，它有可视化界面，可以与大模型聊天，可以做智能体，还可以提供标准化的接口…

Chatbox、Dify、Ollama 与 Qwen（通义千问）大模型完全可以整合在一起，且整合后能形成 “本地模型 + 可视化开发管理 + 多端交互” 的完整 AI 应用链路。四者的定位互补性强，整合核心逻辑是 Ollama 负责本地运行 Qwen 模型 → Dify 提供模型管理与应用开发能力 → Chatbox 作为轻量客户端实现多端交互：

系统/模型	核心定位	关键角色
Ollama	轻量本地大模型运行框架	「模型载体」：简化本地模型部署，支持一键启动 Qwen、Llama 等开源模型，提供 API 接口供外部调用
Qwen（通义千问）	阿里开源大模型（如 Qwen-8B/14B）	「核心能力源」：提供对话、生成、推理等 AI 能力，需依赖 Ollama 或其他框架运行
Dify	开源 LLM 应用开发平台	「开发与管理中枢」：支持接入 Ollama 部署的 Qwen 模型，提供可视化 workflow、RAG 检索、Agent 工具链，可快速搭建 AI 应用（如问答系统、智能助手）
Chatbox	多端 AI 客户端	「交互入口」：支持接入 Dify 或 Ollama 的 API，提供桌面（Windows/Mac/Linux）、移动端（iOS/Android）的轻量交互界面，优化用户使用体验

下面我们就一步一步的把这个AI实验室搭建起来。

【保姆级教程】用dify搭建智能体Agent

Tue, 07 Oct 2025 00:00:00 +0000

dify 是一个开源的 LLM 应用开发平台，其核心功能包括：

工作流：可在画布上构建和测试强大的 AI 工作流程。
全面的模型支持：与数百种专有 / 开源 LLMs 及数十种推理提供商和自托管解决方案无缝集成，支持 GPT、Mistral、Llama3、qwen 等及任何与 OpenAI API 兼容的模型。
Prompt IDE：提供直观界面，用于制作提示、比较模型性能及为聊天类应用添加文本转语音等功能。
RAG Pipeline：具备广泛的 RAG 功能，涵盖文档摄入到检索，支持从 PDF、PPT 等常见文档格式提取文本。
Agent 智能体：可基于 LLM 函数调用或 ReAct 定义 Agent，提供 50 多种内置工具如谷歌搜索、DALL・E 等。
LLMOps：能监测和分析应用日志与性能，基于生产数据和注释持续改进提示、数据集及模型。
Backend-as-a-Service：所有功能都提供 API，便于将 Dify 集成到自有业务逻辑中。

本文将把详细的讲述搭建 dify 并且用它的 Chatflow 搭建智能体应用的过程。

本地大模型编程实战(33)用SSE实现大模型的流式输出

Mon, 01 Sep 2025 00:00:00 +0000

SSE(Server-Sent Events)是一种基于 HTTP 协议的服务器向客户端单向推送数据的技术，允许服务器主动向已建立连接的客户端持续发送事件流（如实时通知、更新数据等），无需客户端频繁轮询。

核心特点：基于 HTTP 长连接，单向通信（仅服务器→客户端），数据以 “事件” 格式传输（包含事件类型、数据体等结构化信息），天然支持断线重连。
典型场景：大语言模型（LLM）客户端、股票行情实时更新、新闻推送、系统通知等只需服务器主动下发数据的场景。

它与websocket的主要区别是：

若场景仅需 “服务器推数据给客户端”（单向），优先选 SSE（实现简单、基于 HTTP 无额外协议成本）
若需 “客户端与服务器实时双向通信”（如聊天、互动），必须选 WebSocket（全双工能力是核心优势）

下面我们使用大语言模型qwen3实现翻译功能。它可以自动识别源语言，并翻译为目标语种。

像千问这种大模型是基于多语言训练的，所以它支持中文、英文、法文、西班牙等多个语种的翻译。

这是实现的效果：

本地大模型编程实战(32)用websocket显示大模型的流式输出

Sun, 27 Apr 2025 00:00:00 +0000

在与 LLM(大语言模型) 对话时，如果每次都等 LLM 处理完毕再返回给客户端，会显得比较卡顿，不友好。如何能够像主流的AI平台那样：可以一点一点吐出字符呢？
本文将模仿后端流式输出文字，前端一块一块的显示文字。主要的实现路径是：

LLM 采用 qwen3 ，使用 stream 方式输出
后端使用 langchain 框架
使用 fastapi 实现后端接口
前后端之间使用 websocket 长连接通信
前端使用一个简单的 html5 网页做演示

下面是最终实现的效果：