AnyBackup
性能爆表
AnyShare
如何购买
我已是Anyshare 客户
AnyRobot
如何购买
购买 AnyRobot 订阅服务
我已是 AnyRobot 客户
一对一在线咨询
我是 AnyRobot 新客户
一对一在线咨询
AnyDATA

爱数博客

全部 AnyBackup AnyShare AnyRobot AnyDATA AnyFabric

Able 说 AI丨RAG:大模型落地的秘密武器?

2023-12-05 1555 0
在11月6日 OpenAI 的开发者大会上,OpenAI 的 CEO 山姆·奥尔特曼发布的ChatGPT多项改进,其中就有两项引起了Able 的注意,它们竟然是利用 RAG 来实现的。
首先是 ChatGPT 将原有独立的高级数据分析、代码生成、互联网搜索、AI绘图等都合并成了一个功能,其中结合必应搜索引擎的互联网搜索就是基于RAG实现的;其次还有一个就是专门面向开发者实现的 Assistant API,也就是可以让开发者能够自由地调用外部的函数、文档和互联网等信息这样的一个功能。加上此前已经发布的基于 RAG 的插件功能,Open-AI 可谓是在大模型落地的道路上又向前推进了一步。
那 RAG 到底有什么魔力?这期 Able 说 AI 邀请了爱数研发专家——陈骁,为大家详细解读 RAG 。
 
RAG 有效缓解大模型落地挑战
RAG, Retrieval Augmented Generation,三个单词的缩写,也就是检索增强生成。这种方式实现起来也非常简单,就是在让大模型在回答某个问题之前,先利用一个知识库来获取候选的知识,再由大模型来生成答案。
大模型在回答问题时存在三个方面的缺陷,分别是:知识的时效性、幻觉和偏见。这对于大模型在实际场景中真正落地是非常不利的。
RAG 通过外挂一个可检索的知识库来解决这个问题。新版的 ChatGPT,可以通过查询互联网来获取知识,并且从中获取答案,可以有效地缓解时效性和幻觉问题。


RAG 实现原理深度解析
由下图可以看出,大模型向应用发起问题的时候,RAG 不是让大模型直接生成答案,而是先调用了一个搜索 API,将候选答案提取出来,再通过将这些候选答案以上下文的方式给到大模型的提示词,让大模型去生成答案,这样就在不改变任何模型参数的条件下实现了精准的回答。
RAG实现原理
RAG 中的关键实际上是 R(Retrieval)和 G(Generation),其中大模型行来负责 G,也就是生成,而知识库负责R,也就是检索。R 的效果好坏对于答案生成的效果也是至关重要的,在互联网的场景我们可以去调用市面上非常优秀的搜索引擎接口。
RAG+大模型应用实践
在爱数 AnyShare 上存在着大量的文件,这些都是非常好的知识来源。
利用向量检索和全文检索技术来实现强大的搜索能力,结合私有部署的大模型来提升大模型使用的安全性。利用 RAG 的方法,我们可以在 AnyShare 中询问任何文档中存在的知识。
比如,我想知道认知助手的能力,AnyShare 会先从已经被向量化的文章中召回相关的段落,并通过这些段落在来生成答案,从而精准地回答用户的问题。
对于 AnyDATA 也是一样,我们还可以利用 AnyDATA 将企业的全域数据构建为领域知识网络,用AnyDATA 认知应用将图分析、图谱问答、外部 API 调用等能力统统集成起来,提供多种获取知识的方式,从而进一步增强 RAG 中的 R,从而大幅度地提升大模型回答问题的效果。

RAG 最直接的优势就是能够让大模型利用自身的逻辑推导能力,去理解企业私有数据,实现问答能力的拓展;RAG 落地大模型的关键在于有一个质量够高、搜索能力强大的知识库,是大模型落地的一种成本较低也较为有效的手段。
更多《Able 说 AI》内容,详情点击链接:https://www.aishu.cn/cn/blogs?product=33 

请就本文对您的益处进行评级:

标签

Able说AI

相关文章

热门标签

版本发布 在线教学

拨打400

免费销售咨询热线

400 8216055

7*24 小时免费售后服务热线

400 880 1569

购买咨询

购买咨询

售后服务

售后服务

返回顶部

为了给您提供更优质的服务,请您先完善以下信息:
确认提交

扫码关注

爱数技术支持中心公众号