Skip to content

Llama2开源模型中文版-全方位测评,基于SuperCLUE的OPEN基准 | Llama2 Chinese evaluation with SuperCLUE

Notifications You must be signed in to change notification settings

CLUEbenchmark/SuperCLUE-Llama2-Chinese

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

17 Commits
 
 
 
 

Repository files navigation

SuperCLUE-Llama2-Chinese

Llama2中文版开源模型全方位测评,基于SuperCLUE基准

概要

Facebook母公司Meta发布了开源可商用的大模型Llama2,该开源模型受到广泛关注。Llama2为初创企业和其他企业提供了一个强大的免费选择。新版本Llama2将训练数据量增加了 40%,它包括70亿、130亿和700亿参数量的多个版本,此外还有对应的聊天机器人调优版本Llama 2-Chat。最近国内外大厂包括微软、阿里云等也宣布支持Llama2。开源社区和大量机构、个人,也纷纷着手基于Llama2构建中文版本及其应用。

基于Llama2的中文版本的效果怎么样?当前开源版本做到什么程度了;与国内代表性模型相比,特别是开源模型(baichuan-13b, chatglm2-6b)的相对表现如何;在一些比较关注的能力上,如生成与创作、逻辑推理、代码生成,表现怎么样呢?

基于SuperCLUE开放式与多轮测评基准(OPEN),即针对开放式的问题并结合多轮对话能力的测试,我们首次对Llama2中文版模型进行了定量和定性评估。通过前者可以看到模型的相对其他模型的表现,以及十大能力维度上的表现;而后者从一些典型示例中看到模型的表现(包括相对成熟和不足的能力)。

update

[2023-08-02] 添加 Chinese-Alpaca-2-7B

SuperCLUE开放式多轮测评-Llama2中文开源模型排行榜

排名 模型 机构 OPEN分数 描述
- GPT-4 OpenAI 94.64 OpenAI发布的公认最强模型
- Claude-instant-v1 Authropic 69.51 OpenAI竞品的基础版本
- Baichuan-13B-chat 百川智能 65.28 继7B之后的更大持续的模型,在高质量的语料上训练了 1.4 万亿 tokens,使用 ALiBi 位置编码,上下文窗口长度为 4096
- ChatGLM2-6B 清华&智谱AI 36.50 第二代版本, 1.4T 中英标识符的预训练与人类偏好对齐训练, 结合FlashAttention 在8K上训练,更高效的推理
1 openbuddy-llama2-13b OpenBuddy 35.12 多语言对话型人工智能,支持中文、英文、日文、韩文、法文、德文以及更多语言;增强词汇量和对常见CJK字符的支持。
2 Llama-2-13B-chat Meta 27.05 Meta发布的原版Llama-2,主要支持英文,中文支持较弱
3 Llama2-Chinese-13b-Chat Llama2中文社区(FlagAlpha) 26.51 采用中文指令集,对Llama-2进行LoRA微调,使其具备较强的中文对话能力。
4 Chinese-Alpaca-2-7B ymcui 14.43 扩充并优化了中文词表,使用了大规模中文数据进行增量预训练(120G),基于FlashAttention-2的高效注意力训练,相关模型支持4K上下文并可通过NTK方法最高扩展至18K+。
5 firefly_llama2_13b YeungNLP 12.54 采用百万指令数据,对Llama-2进行QLoRA微调
6 Llama2-Chinese-7b-Chat Llama2中文社区(FlagAlpha) 12.50 采用中文指令集,对Llama-2进行LoRA微调,使其具备较强的中文对话能力。
7 yayi-13b-llama2 中科闻歌(wenge-research,中科院自动化所孵化) 8.78 在百万级人工构造的高质量领域数据上进行指令微调得到,训练数据覆盖媒体宣传、舆情分析、公共安全、金融风控、城市治理等五大领域,上百种自然语言指令任务。

计算方法: 针对一个特定的开放式问题,利用超级模型作为评判官,计算被评估的模型相对于基线模型(如gpt-3.5)的胜、平局或失败的个数; 胜和率,是模型的胜率加上平局率之和,即(win+tie)/(win+tie+loss)*100。win,即胜,tie即平,loss即负。

SuperCLUE开放式多轮测评-十大能力,以Llama2中文版为例

排名 模型 胜和率 语义理解与抽取 闲聊 上下文对话 角色扮演 知识与百科 生成与创作 代码 逻辑与推理 计算 安全
- gpt-4 94.64 80.00 97.30 93.18 100.00 87.76 100.00 97.92 100.00 100.00 95.12
- Baichuan-13B-Chat 65.28 45.00 88.33 78.33 91.67 55.00 91.67 25.00 50.88 35.71 81.67
- ChatGLM2-6B 36.50 33.33 38.33 36.67 41.67 20.00 40.00 21.67 55.00 45.00 33.33
1 openbuddy_llama2_13b 35.12 33.33 40.00 23.33 20.00 23.33 46.67 33.33 58.62 50.00 23.33
2 Llama-2-13B-chat 27.05 43.33 35.00 27.12 11.67 15.00 46.67 6.67 35.00 26.67 23.33
3 FlagAlpha-Llama2-13b-Chat 26.51 33.33 36.67 36.67 24.14 10.00 50.00 6.67 41.38 13.33 13.33
4 Chinese-Alpaca-2-7B 14.43 20.00 6.67 20.00 10.34 6.67 3.33 10.00 37.93 30.00 0.00
5 firefly_llama2_13b 12.54 16.67 6.90 3.57 3.33 0.00 6.67 16.67 46.67 24.14 0.00
6 FlagAlpha-Llama2-7b-Chat 12.50 17.24 20.69 16.67 3.33 6.67 13.33 3.33 26.67 10.00 7.14
7 yayi_13b_llama2 8.78 16.67 0.00 10.00 3.33 3.45 3.33 10.34 20.00 20.00 0.00
胜和率,是模型的胜率加上平局率之和,即(win+tie)/(win+tie+loss)*100。win,即胜,tie即平,loss即负。

在SuperCLUE开放式多轮测评-十大能力成绩评估中,我们发现Llama2中文模型在多数任务上效果总体效果还比较一般,多数能力的平均分离及格线都有比较大的差距。

定性分析

1)基础能力的例子

生成与创作

生成与创作,比如给定一个话题、一个写作任务来创作一段文字对于LLMs而言是相对比较容易的任务。 我们发现作为中文llama-2微调模型中的佼佼者, OpenBuddy生成的内容在结构性、丰富度上距离百川13b仍有不小的差距,并且openbuddy的形容过于宽泛而缺少具体例子, 有些词汇使用的也不太合适,比如用敏锐描述幽默感便有些不恰当。

语义理解与抽取

openbuddy能精确地理解用户的意图完成任务,但是从返回的内容本身以及格式上来说openbuddy输出的内容不如百川的好。

2)上下文能力的例子

在两轮对话的测试中,两个模型都能正确的完成任务。 在我们给出的示例中,openbuddy在第一轮的回答中给出的建议不如百川13b给出的建议充分,但两者的回答结构都非常优秀,让用户能有不错的体验。在第二轮对话中,虽然openbuddy修改了自己的回答,但是相比百川,其修改的幅度较小,很大比例是照搬上一轮的回答。

3)复杂任务(逻辑推理、代码生成、思维链路等)的例子

代码生成

代码,属于百川和openbuddy都不擅长的领域。和我们在百川测评推文中提到的一样,在我们给出的示例中,百川虽然能完成任务,但是给出的代码完全没考虑到非整数元素不需要逆转。 至于openbuddy,其虽然理解了用户仅将整数逆转的需求,但是给出的代码仅仅是把原列表中的整数按顺序放入新列表返回,并且给出的示例也和其给出的代码的实际效果不一致。

回顾我们上一篇的推文,可以发现Llama-2-13B-chat本身也会出现给出的代码与给出的代码用例不一致的情况。

逻辑推理

逻辑推理,同样属于百川和openbuddy都不擅长的领域。两者对问题的回答都是错误的。其中openbuddy的回答更显混乱一些,不仅没能正确理解问题,而且出现了许多非常初等的计算错误,比如4-2-4=0这种错误回答。两个模型都在回答时搞错了卡牌的总数,而我们在问题中是明确指出总共有十张卡牌的。 正确答案是4张绿色背景卡牌

回顾Llama-2-13B-chat可以看到,Llama-2-13B-chat同样无法给出正确答案。

当前Llama2开源中文版如何实现的?

  1. 指令微调:根据已经开源的版本看,目前主要是基于Llama2进行指令微调。
  2. 高效微调:目前普遍采用高效微调技术(如LoRA/QLoRA) 来微调大模型(如FlagAlpha, firefly_llama2_13b等)。 这类技术上具备在单张GPU上微调大型语言模型的能力。LoRa为LLM的每一层添加了少量的可训练参数(适配器),并冻结了所有原始参数。 这样对于微调,只需要更新适配器权重,这可以显著减少内存占用;QLoRA通过更高的量化(4-bit)和更多的可微调参数等进行改进。
  3. 中文词汇表:部分模型(如openbuddy-llama2-13b)改进或扩充词汇表,实现中文上更好的支持。
  4. 微调数据:使用百万微调数据进行微调,开源或构造特定领域数据(yayi)

初步结论

  1. 整体质量:基于SuperCLUE的OPEN基准,当前处于Llama2中文版的初级阶段,总体上模型质量参差不齐。 在本次评估的5个模型中,在OPEN基准上有3个模型效果远远小于Llama2原版的效果(10多分 vs 27分)
  2. 存在不错模型:有部分模型取得不错的效果(如OpenBuddy),效果与ChatGLM2-6B接近(35.12 VS 36.50);但与Baichuan-13B-Chat相比还有明显差距(35.12 VS 65.18)
  3. 与先进模型差距大:开源Llama2中文模型中,OpenBuddy与GPT3.5对战的胜率最高,但仅为12%,要达到接近GPT3.5的效果(胜率提升至33%),还有很长的路要走。
  4. 部分任务已经有效果:任务维度上,一些模型(openbuddy,FlagAlpha)具有还不错的生成与创作能力;并且在多种任务上都可以生成较长的回复,有些结构比较完整。

评估的不足与局限性

  1. 它是一个自动化的模型能力测评,没有人类的主观因素;虽然加州伯克利大学/斯坦福大学的相关研究表明(见延伸阅读), 自动化测评具有与人类评估的高度一致性(相关系数0.8-0.9),但进一步的分析还可以包括人类对模型的评估;
  2. 评估的能力主要是基于SuperCLUE的十大基础能力,即使具有较高的代表性,但并不能保证覆盖了所有能力的评估。
  3. 当前各个大模型厂商在快速迭代中,虽然我们报告的数字是最新的(7月中旬),但各个厂商的快速迭代可能会导致后续相对表现的进一步变化。
  4. 在本文中,我们没有测试一些其他但有用的维度。比如,我们没有测试模型的性能问题(速度),也还没有测试模型的支持的有效的输入长度。后续可能会进行专门的测试。

延伸阅读

  1. SuperCLUE: A Comprehensive Chinese Large Language Model Benchmark,
  2. SuperCLUE-OPEN基准:中文通用大模型开放式与多轮测评基准(7月)
  3. LMSYS文章:Chatbot Arena Leaderboard Week 8: Introducing MT-Bench and Vicuna-33B
  4. 相关项目:Alpaca_Eval: A validated automatic evaluator for instruction-following language models

讨论与交流群

SuperCLUE榜单大模型评测申请:https://wj.qq.com/s2/12305633/a73d/

模型内测需求收集:https://wj.qq.com/s2/12307825/2ae0/

引用

如果使用本项目的,请引用本项目。

@misc{SuperCLUE,
  author = {Liang Xu, Anqi Li, Lei Zhu, Hang Xue, Changtai Zhu, Kangkang Zhao, Haonan He, Xuanwei Zhang, Qiyue Kang, Zhenzhong Lan},
  title = {SuperCLUE: A Comprehensive Chinese Large Language Model Benchmark},
  year = {2023},
  publisher = {arxiv},
  howpublished = {\url{https://arxiv.org/abs/2307.15020}},
}

About

Llama2开源模型中文版-全方位测评,基于SuperCLUE的OPEN基准 | Llama2 Chinese evaluation with SuperCLUE

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published