书本网 > 其他小说 > 离语 > 第275章 写完了~

第275章 写完了~(1 / 2)

推荐阅读: 高冷军少之独占爱妻 第五人格:我将救赎一切 轮回印 被家族放弃后,我成了宠物店主 血脉剑神 国运之战:我以神明镇诸天 女扮男装后我成了男主兄弟 山水行记 烟雨神界 生命最后三年,高冷总裁妻子疯狂报复我! 抗日小透明的自新之路 重生的夫君儿子每天都在想怎么弄死我 厨神,妖兽:不好,我们成食材了 掐指一算,你是逃犯! 陈年诡事 穿宋,我反了 一条狗的漫漫修行路 重回少年,孩子她妈成了女总裁 从得到鸿蒙珠开始修真 第四天灾,但柯学世界 师妹表白不成想要囚禁我 玄幻,从码头开启超凡之路 开在火影的便利店 我在天牢,长生不死 我是你爸 大唐:开局碰瓷长乐公主 金戈丽人行:天命之魁 村滥 重生88,从大山挖参开始! 快穿之在小世界里边苟边吃瓜 诸天无限降临世界 我杜卡雷一定会成为MVP的!! 御兽,从银月天狼开始 无限分身:诸天都有我小号 错嫁:鬼眼王妃 觉醒了异能,怎么战斗更烧脑了? 替死鬼假千金她重生了 大唐十万里 游戏入侵:我的血能毒杀异界神魔 天才与废材 当山贼开始宅斗 御兽:我能不断进化兽娘 傻大阳,求求你,弄死我吧 高武独行 僵尸校园,有亿把枪不过分吧 神奇宝贝:系统开局 符道之祖 无敌归来,未婚妻却流落风尘 重生后,四岁萌娃横扫末世! 变成龙的我,今天该干什么 此生,愿为殿下手中刃 木叶骑士王 综穿之雪色随心 大傻川,求你,弄死我吧 HP:失色魂灵 白雪皇帝,从恶魔小姐管家做起? 凡人修仙:开局看守草药场 重回七零,与病娇老公举案齐眉 重生:校花姐姐别追我 小松的爱情保卫战

2.3检索增强生成技术

RAG(Retrieval-AugntedGeion)技术是一种结合了信息检索(Retrieval)和文本生

成(Geion)的自然语言处理(NLP)方法。核心思想是将传统的检索技术与现代的自然语言

生成技术相结合,以提高文本生成的准确性和相关性。它旨在通过从外部知识库中检索相关信息来

辅助大型语言模型(如GPT系列)生成更准确、可靠的回答。

在RAG技术中,整个过程主要分为三个步骤如图2.2所示:索引(Indexg)、检索

(Retrieval)和生成(Geion)。首先,索引步骤是将大量的文档或数据集合进行预处理,将

其分割成较小的块(k)并进行编码,然后存储在向量数据库中。这个过程的关键在于将非结

构化的文本数据转化为结构化的向量表示,以便于后续的检索和生成步骤。接下来是检索步骤,它

根据输入的查询或问题,从向量数据库中检索出与查询最相关的前k个k。这一步依赖于高效

的语义相似度计算方法,以确保检索到的k与查询具有高度的相关性。最后是生成步骤,它将

原始查询和检索到的k一起输入到预训练的Transforr模型(如GPT或BERT)中,生成最

终的答案或文本。这个模型结合了原始查询的语义信息和检索到的相关上下文,以生成准确、连贯

且相关的文本。

RAG的概念和初步实现是由DouweKie、PatrickLewis和EthanPerez等人在2020年首次

提出的。他们在论文《Retrieval-augntedgeionforknowledge-tensivenlptasks》

中详细介绍了RAG的原理和应用,随后谷歌等搜索引擎公司已经开始探索如何将RAG技术应用到搜

索结果的生成中,以提高搜索结果的准确性和相关性。在医疗领域,RAG技术可以帮助医生快速检

索医学知识,生成准确的诊断建议和治疗方案。

2.4文本相似度计算

文本相似度计算是自然语言处理(NLP)领域的一个重要研究方向,它旨在衡量两个或多个文

本之间的相似程度。文本相似度计算的原理基于两个主要概念:共性和差异。共性指的是两个文本

之间共同拥有的信息或特征,而差异则是指它们之间的不同之处。当两个文本的共性越大、差异越

小,它们之间的相似度就越高。

文本相似度计算可以根据不同的分类标准进行分类。首先基于统计的方法分类,这种方法主要

关注文本中词语的出现频率和分布,通过统计信息来计算文本之间的相似度。常见的基于统计的方

法有余弦相似度、Jaard相似度等。其次是基于语义的方法分类,这种方法试图理解文本的含义

和上下文,通过比较文本的语义信息来计算相似度。常见的基于语义的方法有基于词向量的方法

(如Word2Vec、GloVe等)和基于主题模型的方法(如LDA、PLSA等)。最后是基于机器学习的方

法分类,这种方法利用机器学习算法来训练模型,通过模型来预测文本之间的相似度。常见的基于

机器学习的方法有支持向量机(SVM)、神经网络等。

目前,在国内外,文本相似度计算已经取得了丰富的成果。国内方面,清华大学等机构的研究

者提出了基于深度学习的文本相似度计算方法,利用神经网络模型来捕捉文本的深层语义信息,实

现了较高的相似度计算精度。江苏师范大学的研究者提出了利用《新华字典》构建向量空间来做中

最新小说: 小马宝莉之我为谋士 80军婚狠狠宠 又宠又撩,豪门教官我不要了 成亲当天,老婆被人拐跑了? 重生1979,身边躺着女知青 情深不悔:顾总的心尖宠 殊晏 以白狐游戏人间 小师祖真不浪,她只是想搞钱 致命游戏:归梦 乱讲!爱妃秉性纯良怎会是坏女人 苦海尽头 精分太离谱!我角色切换自如 黄泉碧落皆不见 神渊世纪续上 四合院:暴躁街溜子,人狠话又多 娇生柔情 解婚约和求婚的,竟然是同一人! 幼儿园带娃日常 斩神:代理六颗宝石,弹指灭神 人在90,脚踹渣男,卖饼致富 龙吟变 穿书之我的路人修仙之路 凤命凰谋 穿越时空:白领在古代的 快穿:大佬的养老生活 大唐神医孙思邈 异时空:彼端魔法少女 穿越带空间商城老李家开挂了 契约!墨爷竟被金丝雀偷了心 仙途逆世风云 校草校花奇遇记 不可名状的养成游戏 爱你如星光璀璨 修真高手在异界 假面帝骑:总裁,你想和谁谈恋爱 重生七零:真千金吃瓜摆烂当学霸 快穿我的超市绑定了位面交易系统 高校里最恐怖的班级 诡道,这个世界太疯癫 重生十五99天后当包租婆考清北 斩神入仙逆:万魂幡里做兄弟 最后的道子 四合院:61开局,我是天才 撩心撩情:冷宫皇后想复仇! 穿越之后才知道美食可以致富 灵犀恋梦:都市奇幻情长 染指浮华 约战中的假面骑士 快穿之炮灰只想修炼 重生嫡嫁,第一奸臣他为我折了腰 南者煞 重生之一个也跑不掉 灵脉少年 重生后我总在失忆 庶女嫡宫 百年诸神 你也没说穿的都是一个世界啊 错爱成殇:复仇之恋 人在泰拉开事务所