Chinese-LLaMA-Alpaca-2 v2.0 Files

本版本针对模型回复较短的问题进行升级，同时推出Plus-33B系列模型。

同时，我们也很高兴地向大家宣布新项目启动：中文LLaMA-2、Alpaca-2大模型🦙

🚀 推出中文Alpaca-Pro系列模型

• 针对早期Alpaca相关模型回复较短的问题进行优化，使其回复长度接近GPT-3.5/GPT-4
• 推荐所有使用Alpaca系列模型的用户升级至Pro版本（7B/13B/33B），合并方式与Plus模型一致，需要同时融合LLaMA-Plus的LoRA
• 如果更喜欢短回复，可以选择Plus系列模型

在此特别感谢所有参与beta评测投票的各位社区成员。

🚀 推出LLaMA-Plus-33B、Alpaca-Plus-33B

• 在基础版33B之上将训练数据扩充至120G，得到LLaMA-Plus-33B；进一步通过指令精调得到Alpaca-Plus-33B
• 在C-Eval、主观体验方面显著优于本项目其他模型
• 本次不再提供GPT-4评价的结果，请通过接下来介绍的ChatBot Arena浏览对比相关模型输出

📊 添加ChatBot Arena

• 仿照fastchat的方式，添加了模型对战页面，题库进一步扩充至360题
• 评测模型包括所有Alpaca-Plus和Alpaca-Pro系列模型，每个模型包含3个参考输出（随机显示其一）
• 可实时查看总体胜率、Elo评分、两两对战胜率等信息

对战地址：http://chinese-alpaca-arena.ymcui.com/

🔬 升级NTK-scaling算法，添加Memory Efficient Attention（#743）

• 升级了NTK-scaling算法，更好地支持长上下文条件下的文本生成
• 可通过参数alpha控制上下文扩展长度，支持指定数值和auto两种方式
• 添加了Memory Efficient Attention补丁，显著降低显存消耗，在单张24G显存的显卡上7B模型最大输入长度可达5K+

具体使用方法见 [#743] 中的说明。

其他更新与修复

• 推理脚本inference_hf.py中添加了8比特量化推理支持（#756）
• 修复了推理脚本repeat_penalty默认值过高的问题（#760）

For English release note, please refer to Discussion.