转:ChatGLM3-6B测评

发布时间 2023-10-31 09:39:29作者: 宋岳庭

全新ChatGLM3-6B针对七项RAG能力的评测,谁最适合RAG?

原创 这个男人来自千祥 土猛的员外 2023-10-30 17:32 发表于浙江

https://mp.weixin.qq.com/s/6fnZt2sBTakfXZMcS-scPA

1.实体提取

实体和关系提取当然也可以使用NER,但是有大模型,为什么不用呢,而且它后面还可以做格式,所以在RAG应用中,我们喜欢用大模型来提取实体。而且,这种提取方式对于短句子特别有效——对的,就是对于用户的提问内容的实体提取。

Prompt:

请帮我分析一下这段话”我需要看2021年3月至7月(含)的浙江分公司的自研产品的销售数据报表“,如果包含时间,请帮我列出”时间:xxxx年xx月“这样的格式,如果包含机构,请帮我列出”机构:xxxx“,如果包含其他实体,请帮我列出”实体:xxxx/xxxx“

2.逻辑计算

3.翻译

翻译算是一项常规技能了,特别是英文翻译成中文。

4.归纳

归纳应该算是RAG应用中非常重要的一项能力了,我们通过向量计算召回内容,然后让大模型进行归纳和润色,然后再输出最终结果。所以归纳的能力也不需要过多介绍了。

Prompt:

请帮我分析以下文字的含义,然后使用不超过30个字进行归纳:XXXXXXXXXX

5.统计次数

这也是一个传统艺能了,这可以帮助我们分析文章中哪些内容是比较重要的,和传统的TF-IDF是反着来的。

Prompt:

请帮我找出在后面将要给出的内容中,一共提到了多少个ChatGPT。以下是需要查找的内容:XXXXXXXXXX

6.生成SQL

生成SQL可以让我们通过语义理解来完成对本地数据库的查询,获取我们需要的数据,而不是通过程序员手动写SQL,或者只能按已经固化的SQL来进行某些变量(比如时间、实体等)的选择。

Prompt:

已知有两个mysql表,一个是代表销售人员的表:Persons,另一个是代表订单的表:Orders。具体的表定义如下:表Persons:CREATE TABLE Persons (PersonID int, LastName varchar(255), FirstName varchar(255), Address varchar(255), City varchar(255), PRIMARY KEY (PersonID) ); 表Orders:CREATE TABLE Orders (O_Id int NOT NULL, OrderNo int NOT NULL, P_Id int, PRIMARY KEY (O_Id), FOREIGN KEY (P_Id) REFERENCES Persons(PersonID) ) 请帮我生成一个SQL语句,查询销售人员”Zhang san“的所有订单数据。


参考学习以上的prompt模版