>> 国金证券-量化漫谈系列之六:为大模型插上翅膀-ChatGLM部署与Langchain知识库挂载-230907
| 上传日期: |
2023/9/7 |
大小: |
2173KB |
| 格式: |
pdf 共16页 |
来源: |
国金证券 |
| 评级: |
-- |
作者: |
高智威 |
| 下载权限: |
无限制-登录即可下载 |
|
|
ChatGPT大模型使用现状与Langchain框架介绍 自去年底ChatGPT发布以来,大模型展现出的能力受到市场的广泛关注,我们基于ChatGPT的系列量化研究也充分说明其在投研领域的重要作用。不过ChatGPT在实际使用中依然存在专业度不够、数据隐私性得不到保证、信息及时性不够等问题。 我们推荐使用Langchain这一开源的大模型框架以提升模型的实际使用体验,该框架应用领域广泛,可以基于本地知识库进行问答,接受多种不同文档形式的输入。其基本原理是将本地的不同文档进行切分后存入向量数据库中,在用户提问时进行相似性搜索,结合最相似性的文档段落放入提示模板中对大语言模型进行提问,从而得到更有专业性的回答结果。此外,Langchain的强大的Chain和Agent模块能够实现任务识别、任务拆解、工具选择&使用、完成任务后的回答整理,对于大模型和知识库的使用起到了锦上添花的作用。 主流开源大语言模型对比 随着ChatGPT推出之后受到的广泛关注,国内外众多互联网、科技类公司也纷纷推出了自己的大语言模型。美国的互联网科技公司在开发出LLaMA模型后,众多高校以该模型为基座训练出了Alpaca和Vicuna等模型。国内有阿里云推出的Qwen,商汤科技、上海AI实验室联合多个高校开发出了InternLM,清华大学与智谱Al训练的ChatGLM等模型都有非常不错的表现。在OpenCompass的中文多维度综合能力测评中,众多国产开源大模型已经展现出了较强的综合实力。 ChatGLM2部署与Langchain知识库挂载 我们选择关注度较高的ChatGLM2-6B模型进行部署,该模型在量化后可在一些消费级显卡上进行推理,同时也有不错的表现。同时搭配Langchain的框架对过往的行业研报、金工研报、宏观及策略研报进行向量化后构建对应的知识库,我们分别针对新知识掌握、多文本总结概括和信息搜集三大应用场景进行测试,发现ChatGLM2整体给出了较高的回复质量。该流程实现自动化后,可以将我们关心的日常资讯、私有数据、最新研报等内容自动更新加载进入知识库,从而使模型使用更佳高效便捷。 风险提示 1、大语言模型基于上下文预测进行回答,不能保证回答准确性,由此可能产生误导影响用户判断。 2、Langchain框架效果与挂载知识库质量、提示模板设计、大语言模型能力高度相关,若相关配置不到位,可能会导致回答效果不及预期。
|
|