Chinese-LLaMA-Alpaca-2 v2.0 Files

本版本以功能性更新为主，包括新增8K上下文支持、支持Gradio Demo流式输出、支持仿OpenAI API形式调用等。

🔬 新增8K+上下文支持

新增8K+上下文支持方法，无需对模型权重本身做出修改。 - transformers：提出自适应RoPE，动态适配4K~8K+上下文，已集成在 gradio_demo.py, <[inline_block>1</inline_block>](https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/scripts/inference/inference_hf.py)等（#705） - llama.cpp：可支持8K+上下文，相关修改步骤详见讨论区（#696）

🚀 支持Gradio Demo流式输出（#630）

• Gradio Demo现已支持流式输出形式，参考gradio_demo.py. Contribued by @sunyuhan19981208
• 修复流式输出时速度过慢的问题（#707）. Contributed by @GoGoJoestar

🤖 支持仿OpenAI API形式调用（#530）

• 使用fastapi实现的仿OpenAI API风格的服务器Demo，使用方法参考Wiki. Contribued by @sunyuhan19981208
• 修复一处system message相关错误（#684）. Contribued by @bigbaldy1128
• 增加do_sample参数（#699）Contribued by @sunyuhan19981208

其他更新、修复、新闻

• 修复了训练脚本中training steps的问题（#669）
• 修复了build_dataset.py和run_clm_sft_with_peft.py中的一处命名错误，优化log输出（#691、#692）
• 修复了低资源模型合并脚本中vocab_size更新问题（#703）
• llama.cpp已支持仿OpenAI API部署，还可以部署一个简单的web demo，感兴趣的可访问llama.cpp#server

For English release note, please refer to Discussion.