Download Latest Version Min Jian Ban Zhong Wen Yang Tuo Mo Xing v5.0 source code.tar.gz (18.9 MB)
Email in envelope

Get an email when there's a new version of Chinese-LLaMA-Alpaca-2 v2.0

Home / v4.1
Name Modified Size InfoDownloads / Week
Parent folder
Min Jian Ban Zhong Wen Yang Tuo Mo Xing v4.1 source code.tar.gz 2023-06-16 19.1 MB
Min Jian Ban Zhong Wen Yang Tuo Mo Xing v4.1 source code.zip 2023-06-16 19.2 MB
README.md 2023-06-16 1.9 kB
Totals: 3 Items   38.3 MB 0

本版本以功能性更新为主,包括更新技术报告、添加C-Eval预测脚本、添加低资源模型转换脚本等。

📚 更新技术报告(arXiv-v2)

  • 更新模型构建的相关描述,添加Plus版本模型训练参数等
  • 生成效果评测部分替换为Alpaca-Plus-7B、Alpaca-Plus-13B、Alpaca-33B对比
  • 添加C-Eval完整评测结果,包括原版LLaMA以及本项目所有模型的结果与分析
  • 添加不同量化层级(2-bit ~ 8-bit, FP16)的效果对比和分析
  • 详细技术报告请查阅:https://arxiv.org/abs/2304.08177

🔬 添加C-Eval预测脚本(#601)

🚀 添加低资源模型转换脚本(#608)

  • 添加了新版低资源模型转换脚本merge_llama_with_chinese_lora_low_mem.py,大幅降低内存消耗
  • 7B需要15GB,13B需要18GB,33B需要22GB(不同机器可能略有不同)
  • 使用方法与旧脚本一致,后续将作为主要使用的模型合并脚本

其他更新和修复

  • 修复了预训练脚本中文件名的一处错误(#540),Contribution by @alkaideemo
  • 修复了模型保存问题,支持LoRA权重和tokenizer的保存 (#555)
  • 在预训练和精调脚本中增加了检查项,避免后续模型合并出现异常问题(#595)

For English release note, please refer to Discussion.

Source: README.md, updated 2023-06-16