Chinese-LLaMA-Alpaca 2 Files

本次更新推出长上下文版模型Chinese-LLaMA-2-7B-16K和Chinese-LLaMA-2-13B-16K。

🚀 Chinese-LLaMA-2-7B-16K、Chinese-LLaMA-2-13B-16K

• 通过位置插值方法，在增量数据上进行训练，使模型获得长文本处理能力
• 标准版模型支持4K上下文，而新推出的长上下文版模型支持16K，且均可通过NTK方法进一步扩展（无需训练）
• 在长文本评测LongBench上，16K版模型相比标准版均有显著的性能提升，效果参阅长上下文版模型评测
• 主要处理长文本时，建议使用16K版；日常使用请选择标准版模型

注意事项

• transformers 4.31.0以上版本可直接加载16K模型；llama.cpp下则需要在推理时添加--rope-scale 4参数
• 使用长上下文版模型之前，务必参阅推理与部署表格，查看相关方法是否支持
• 与其他LLaMA模型一样，目前的Chinese-LLaMA-2-16K不适合直接拿来用于对话
• Chinese-Alpaca-2-16K将在下一个版本推出，敬请关注

其他更新

• 添加了Alpaca-2-13B输出样例（#131）
• llama.cpp：删除了中的-eps选项以适配GGUF新版模型（#162）
• llama.cpp：更新了新版k-quant模型PPL结果（#172）
• 更新训练策略（#150）
• 更新openai_api_server_vllm.py（#176）
• 修复一处typo（#177） contributed by @touale
• 添加了CMMLU推理脚本，使用方法请参考CMMLU推理脚本

For English release note, please refer to Discussion.