研报下载就选股票报告网
您好,欢迎来到股票分析报告网!登录   忘记密码   注册
>> 国金证券-量化漫谈系列之六:为大模型插上翅膀-ChatGLM部署与Langchain知识库挂载-230907
上传日期:   2023/9/7 大小:   2173KB
格式:   pdf  共16页 来源:   国金证券
评级:   -- 作者:   高智威
下载权限:   无限制-登录即可下载
ChatGPT大模型使用现状与Langchain框架介绍
  自去年底ChatGPT发布以来,大模型展现出的能力受到市场的广泛关注,我们基于ChatGPT的系列量化研究也充分说明其在投研领域的重要作用。不过ChatGPT在实际使用中依然存在专业度不够、数据隐私性得不到保证、信息及时性不够等问题。
  我们推荐使用Langchain这一开源的大模型框架以提升模型的实际使用体验,该框架应用领域广泛,可以基于本地知识库进行问答,接受多种不同文档形式的输入。其基本原理是将本地的不同文档进行切分后存入向量数据库中,在用户提问时进行相似性搜索,结合最相似性的文档段落放入提示模板中对大语言模型进行提问,从而得到更有专业性的回答结果。此外,Langchain的强大的Chain和Agent模块能够实现任务识别、任务拆解、工具选择&使用、完成任务后的回答整理,对于大模型和知识库的使用起到了锦上添花的作用。
  主流开源大语言模型对比
  随着ChatGPT推出之后受到的广泛关注,国内外众多互联网、科技类公司也纷纷推出了自己的大语言模型。美国的互联网科技公司在开发出LLaMA模型后,众多高校以该模型为基座训练出了Alpaca和Vicuna等模型。国内有阿里云推出的Qwen,商汤科技、上海AI实验室联合多个高校开发出了InternLM,清华大学与智谱Al训练的ChatGLM等模型都有非常不错的表现。在OpenCompass的中文多维度综合能力测评中,众多国产开源大模型已经展现出了较强的综合实力。
  ChatGLM2部署与Langchain知识库挂载
  我们选择关注度较高的ChatGLM2-6B模型进行部署,该模型在量化后可在一些消费级显卡上进行推理,同时也有不错的表现。同时搭配Langchain的框架对过往的行业研报、金工研报、宏观及策略研报进行向量化后构建对应的知识库,我们分别针对新知识掌握、多文本总结概括和信息搜集三大应用场景进行测试,发现ChatGLM2整体给出了较高的回复质量。该流程实现自动化后,可以将我们关心的日常资讯、私有数据、最新研报等内容自动更新加载进入知识库,从而使模型使用更佳高效便捷。
  风险提示
  1、大语言模型基于上下文预测进行回答,不能保证回答准确性,由此可能产生误导影响用户判断。
  2、Langchain框架效果与挂载知识库质量、提示模板设计、大语言模型能力高度相关,若相关配置不到位,可能会导致回答效果不及预期。
  
 
Copyright © 2005 - 2021 Nxny.com All Rights Reserved 备案号:蜀ICP备15031742号-1