使用langchain完成一个最简单的代码任务

使用langchain完成一个最简单的代码任务

原创

今天,我们要尝试使用langchain完成一个最简单的任务:

基于一个大语言模型(LLM),使用代码的方式完成对话(chat)

为了实现这个目标,我们需要先进行如下的准备,然后才能开始进行代码的编写:

1、使用ollama,在本地配置一个LLM;

2、配置好PyCharm的环境;

3、langchain等依赖库的安装。

先大体的介绍一下思路:

langchain是一套AI编程框架,将基础的功能已经整合进来封装,减少我们的工作量。但langchain本身并不是LLM,需要我们安装好LLM,或使用在线api。我们选择了自己部署,而自己部署的一个工具就是Ollama,它可以在本地部署好我们的LLM,如llama\qwen等,Ollama是这些LLM的运行环境。

串连起来说就是:用langchain提供的函数进行快捷编程,langchain的函数调用Ollama的接口,Ollama再调用部署在其中的LLM,实现对LLM功能的调用,完成我们的任务。

什么是Ollama?
www.zeeklog.com  - 使用langchain完成一个最简单的代码任务

用通俗的语言解释,Ollama是大模型的运行环境,LLM并不是一个可执行文件,需要依托于一个运行环境才可以使用。百度搜索 Ollama 下载。

Ollama本身就200M+的大小,任何电脑都可以安装。Ollama没有GUI,需要我们在CMD中运行。

www.zeeklog.com  - 使用langchain完成一个最简单的代码任务

完成安装后,输入ollama -v,能看到version就非常OK!

但这只是一个空的运行环境,接下来要去安装一个LLM,这里我选择阿里的QWEN2。

www.zeeklog.com  - 使用langchain完成一个最简单的代码任务

回到官网,点击页面右上角的"model",找到QWEN2。

www.zeeklog.com  - 使用langchain完成一个最简单的代码任务

点击进去后,这里可以在旁边看到安装的命令。

ollama run qwen2

如果你的电脑性能一般,ollama的运行会比较慢。Ollama对电脑的最低要求包括至少8GB的内存以流畅运行7B模型,‌而14B模型则需要至少16GB内存,‌72B模型则需要至少64GB内存。‌

回到CMD中,输入上述命令。

www.zeeklog.com  - 使用langchain完成一个最简单的代码任务

看到开始安装。需要多长时间看自己的网速。

完成后,回到CMD,输入ollama run qwen2,就可以运行千问大模型,并与其对话了。

www.zeeklog.com  - 使用langchain完成一个最简单的代码任务

有了这个模型后,我们可以安装一个webui,这样就可以像chatGPT一样在网页中对话。但我们今天的任务是使用代码进行对话,这样才能将整个过程结合到我们的业务中。

Ollama的接口服务器占用11434端口,所以,我们可以先在浏览器中查看此服务是否可用。

www.zeeklog.com  - 使用langchain完成一个最简单的代码任务

你自己也可以安装一些其它的模型来体验。

安装Pycharm并配置langchain

Pycharm我就不多说了,相信来学习AI的都会使用,这里只给出我们需要在编码前,完成的一些依赖库安装。

www.zeeklog.com  - 使用langchain完成一个最简单的代码任务

如果你的pip版本老了,先升级一下。

python.exe -m pip install --upgrade pip

然后执行下面的命令,安装langchain

pip install langchain
pip install langchain-community
pip install beautifulsoup4

LangChain: 一个 LLM 编程框架,你想开发一个基于 LLM 应用,需要什么组件它都有,直接使用就行;甚至针对常规的应用流程,它利用链(LangChain中Chain的由来)这个概念已经内置标准化方案了。

langchain有如下的几大模块:提示模板、示例选择器、聊天模型、LLMs、输出解析器、文档加载器、文本拆分器、嵌入模型、向量存储、检索器、索引、工具、代理、多模态、回调。看起来很多,但是你会发现,langchain已经将我们需要四处寻找的工具,都整合了进来,这样会节省我们大量的时间。

先放下langchain是什么的好奇心,我们后面会讲到。现在,在我们完成Ollama及llm,以后Python运行环境的准备后,我们输入这段代码。

def chat():
    prompt = ChatPromptTemplate.from_messages([
        ("system", "{parser_instructions}"),
        ("human", "列出{cityName}的{viewPointNum}个著名景点。")
    ])
    model = Ollama(model="qwen2")
    output_parser = CommaSeparatedListOutputParser()
    parser_instructions = output_parser.get_format_instructions()
    # 查看解析器的指令内容
    print("----- 解析器 -----")
    print(parser_instructions)
    final_prompt = prompt.invoke({"cityName": "成都", "viewPointNum": 4, "parser_instructions": parser_instructions})
       
    response = model.invoke(final_prompt)
    print("----- response -----")
    print(response)

    ret = output_parser.invoke(response)
    print("------ret-----")
    print(ret)

运行后得到了结果:

www.zeeklog.com  - 使用langchain完成一个最简单的代码任务

运行时长依你的电脑配置而定,我的几秒,现在我们来解释一下代码。

什么是langchain?

前面已经提到LangChain是 一个 LLM 编程框架,你想开发一个基于 LLM 应用,需要什么组件它都有,直接使用就行;

langchain最有价值的是组件:用于处理语言模型的抽象概念,以及每个抽象概念的实现集合。无论你是否使用LangChain框架的其他部分,组件都是模块化的,易于使用。现成的链:用于完成特定高级任务的组件的结构化组合。现成的链使人容易上手。对于更复杂的应用和细微的用例,组件使得定制现有链或建立新链变得容易。

这些概念性的知识在实际运用前都是难以理解的,让我们直接开始看代码吧。

从我们最直观的感受上来说,一个Chat的过程肯定是 准备好提示词 -> 输入给LLM -> LLM输出反馈。

prompt = ChatPromptTemplate.from_messages([
        ("system", "{parser_instructions}"),
        ("human", "列出{cityName}的{viewPointNum}个著名景点。")
    ])
### 这里是使用了langchain的提示词模板,system中的
###parser_instructions是对于输出的要求
###human中的cityName和viewPointNum是我们的问题中动态输入的参数。

然后下一段

model = Ollama(model="qwen2")
### 定义了我们要使用的LLM,这里我使用了“千问”

下一段

output_parser = CommaSeparatedListOutputParser()
parser_instructions = output_parser.get_format_instructions()
### 这里定义了输出的解析方式CommaSeparatedListOutputParser,
### 除此之外,还有DatetimeOutputParser、EnumOutputParser等多种解析器

完成了提示词、大模型选择、输出定义后,但并没有运行起来。需要我们在后面的代码中,使用invoke。

final_prompt = prompt.invoke(
        {"cityName": "成都", "viewPointNum": 4, "parser_instructions": parser_instructions})
###对prompt使用invoke,将我们的输入绑定到提示词模板,形成final_prompt 

response = model.invoke(final_prompt)
print("----- response -----")
print(response)

###对model使用invoke,将final_prompt提交给LLM,也就是qwen2,
###最后得到一个response,这是一个message,需要解析成我们需要的格式。

ret = output_parser.invoke(response)
print("------ret-----")
print(ret)
###将response提交给output_parser,得到分隔开的一个字段串数组类型的输出。

怎么样!是不是十分的简单。在这段代理里使用了提示词模板、模型、输出解析器。但前面提到的最重要的链好像并没有用到。

langchain使用了LCEL表达语言,我们可以将上述的运行部分用这样的方式来替代,一样可以得到结果。

chain = prompt | llm | output_parser
rrr = chain.invoke({"cityName": "成都", "viewPointNum": 4, "parser_instructions": parser_instructions})

这就是langchain的链的表达,虽然这只是一个最简单的链,但我们已经初步的感受到,链就是一个工作流,将我们的工作串起来,避免了Invoke满天飞。

在langchain中,实际上已经定义了很多的chain,当我们更加的熟悉后,我们可以使用现有的链。

总结

今天我们学习了在本地部署一个大模型,配置langchain,并使用langchain完成了一个最基础对话功能。那么,我们如何才能给他一段我们的语料,让大模型根据我们的语料来回答问题呢?明天,我们再继续探索。

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

Read more

前端防范 XSS(跨站脚本攻击)

目录 一、防范措施 1.layui util  核心转义的特殊字符 示例 2.js-xss.js库 安装 1. Node.js 环境(npm/yarn) 2. 浏览器环境 核心 API 基础使用 1. 基础过滤(默认规则) 2. 自定义过滤规则 (1)允许特定标签 (2)允许特定属性 (3)自定义标签处理 (4)自定义属性处理 (5)转义特定字符 常见场景示例 1. 过滤用户输入的评论内容 2. 允许特定富文本标签(如富文本编辑器内容) 注意事项 更多配置 XSS(跨站脚本攻击)是一种常见的网络攻击手段,它允许攻击者将恶意脚本注入到其他用户的浏览器中。

详细教程:如何从前端查看调用接口、传参及返回结果(附带图片案例)

详细教程:如何从前端查看调用接口、传参及返回结果(附带图片案例)

目录 1. 打开浏览器开发者工具 2. 使用 Network 面板 3. 查看具体的API请求 a. Headers b. Payload c. Response d. Preview e. Timing 4. 实际操作步骤 5. 常见问题及解决方法 a. 无法看到API请求 b. 请求失败 c. 跨域问题(CORS) 作为一名后端工程师,理解前端如何调用接口、传递参数以及接收返回值是非常重要的。下面将详细介绍如何通过浏览器开发者工具(F12)查看和分析这些信息,并附带图片案例帮助你更好地理解。 1. 打开浏览器开发者工具 按下 F12 或右键点击页面选择“检查”可以打开浏览器的开发者工具。常用的浏览器如Chrome、Firefox等都内置了开发者工具。下面是我选择我的一篇文章,打开开发者工具进行演示。 2. 使用

Cursor+Codex隐藏技巧:用截图秒修前端Bug的保姆级教程(React/Chakra UI案例)

Cursor+Codex隐藏技巧:用截图秒修前端Bug的保姆级教程(React/Chakra UI案例) 前端开发中最令人头疼的莫过于那些难以定位的UI问题——元素错位、样式冲突、响应式失效...传统调试方式往往需要反复修改代码、刷新页面、检查元素。现在,通过Cursor编辑器集成的Codex功能,你可以直接用截图交互快速定位和修复这些问题。本文将带你从零开始,掌握这套革命性的调试工作流。 1. 环境准备与基础配置 在开始之前,确保你已经具备以下环境: * Cursor编辑器最新版(v2.5+) * Node.js 18.x及以上版本 * React 18项目(本文以Chakra UI 2.x为例) 首先在Cursor中安装Codex插件: 1. 点击左侧扩展图标 2. 搜索"Codex"并安装 3. 登录你的OpenAI账户(需要ChatGPT Plus订阅) 关键配置项: // 在项目根目录创建.