本地大模型编程实战(31)用Map-Reduce从大文本中提取摘要

在执行从文本中提取摘要的任务时,难免遇到大文本的情况:文本的长度超出了 LLM(大语言模型) 的token限制。 LangGraph 提供了 map-reduce 工作流,它先把大文本拆成小文档分别提取摘要,然后再提炼/压缩提取的摘要,直到最后提取的摘要的token长度满足既定要求。 本次演练使用 qwen2.5:7b 开源大模型。 ...

四月 26, 2025 · 3 分钟 · 火云

本地大模型编程实战(30)从文本提取摘要

本文将演练如何使用 LLM(大语言模型) 提取文本摘要。 本次演练使用 qwen2.5:7b 开源大模型。 ...

四月 25, 2025 · 1 分钟 · 火云

本地大模型编程实战(29)用大语言模型LLM查询图数据库NEO4J(2)

上一篇文章 用大语言模型LLM查询图数据库NEO4J(1) 介绍了使用GraphQACypherChain查询NEO4J。用它实现简单快捷,但是不容易定制,在生产环境中可能会面临挑战。 本文将基于langgraph 框架,用LLM(大语言模型)查询图数据库NEO4J。它可以定义清晰复杂的工作流,能应对比较复杂的应用场景。 以下是即将实现的可视化LangGraph流程: ...

四月 24, 2025 · 5 分钟 · 火云

本地大模型编程实战(28)用大语言模型LLM查询图数据库NEO4J(1)

本文将基于langchain 框架,用LLM(大语言模型)查询图数据库NEO4J。 使用 qwen2.5 做实验,用 llama3.1 查不出内容。 ...

四月 23, 2025 · 2 分钟 · 火云

本地大模型编程实战(27)初探langgraph的流式输出

对于 LLM(大语言模型),流式传输已成为一种越来越受欢迎的功能。其理念是在 LLM 生成令牌时就快速返回,而不是等待创建完整响应后再返回全部内容。 对于简单的场景,流式传输实际上非常容易实现,但当涉及到智能体之类的应用时,它会变得复杂,这些智能体有自己的运行逻辑,可能会阻止我们尝试进行流式传输。 本文将探讨 langchain 的流式输出,后面将实现智能体最终结果的流式输出。 本次演练将全部使用 qwen2.5:7b 开源大模型。 ...

二月 27, 2025 · 3 分钟 · 火云