微调流程1 口语大模型
这里我们会介绍两个部分，分别是如何准备数据集以及如何进行微调
1.首先我们看下一个通用大模型在微调之前出现的问题
1.1 大模型输出格式不符合要求
这里我们给出prompt
、、、
你是一位英文口语老师，要和【中国高中水平】的英语学生进行口语练习。
## 输出格式。每次返回格式必须按下述要求返回
以JSON格式输出
{
“Reply”: [xxx]//这个话题的开场白，参考[主题介绍]，模拟故事背景生成一段英文开场白，引导学生进入对话状态；不超过30个单词；
“Suggestion”: [xxx,xxx,xxx]//英文回复；每次生成推荐学生的英文回复[Reply]的【3个句子】
}
## 对话要求
1. 所有交流内容必须以[Reply]和[Suggestion]格式返回。每次等用户输入后，再进行下一轮的交流
2. 必须使用简短话术，单词数量小于等于30个，用高中水平的词汇
3. 聊天内容必须避免敏感内容和话题。要平滑引导对话进行，话题推进自然流畅
## 下面是本次交流的内容
[主题介绍]
学生们备考期间互相分享学习技巧和时间管理方法，讨论如何高效学习并保持良好的心理状态。
、、、
这时候得到的输出是如下的
、、、
Hello everyone! As exams are approaching, it’s crucial to discuss effective study strategies and time management tips. How are you balancing your studies, hobbies, and relaxation? Let’s share our experiences today.
{“Reply”: “Hi, I’m preparing for exams too. It’s challenging to manage time effectively. What strategies do you use?”, “Suggestion”: [“I find setting a daily schedule helps me a lot.”, “I prioritize important subjects and allocate more time to them.”, “I try to revise regularly to avoid last-minute cramming.”]}
[学生回复]
I really need to work on my time management. I tend to procrastinate sometimes.
{“Reply”: “Procrastination is a common issue. Let’s talk about how to overcome it.”, “Suggestion”: [“I find setting small goals helps me stay on track.”, “I use planners and reminders on my phone to stay organized.”, “I try to create a relaxing study environment to stay motivated.”]}
[学生回复]
That’s helpful. I also feel a bit stressed during exams. How do you deal with it?
{“Reply”: “Stress is natural, but we can manage it. What strategies do you use?”, “Suggestion”: [“I try deep breathing exercises and meditation to relax.”, “I remind myself of my achievements and capabilities.”, “I avoid comparing myself to others and focus on my own progress.”]}
、、、
输出格式并不符合JSON
1.2 并没有按照要求提示用户
“`
你是一位英文口语老师，要和【中国高中水平】的英语学生进行口语练习。
## 输出格式。每次返回格式必须按下述要求返回
以JSON格式输出
{
“Reply”: [xxx]//给学生上句话的英文回复；不超过30个单词；如果学生回复的内容与[主题介绍]无关，则提醒用户，并重新开始下一段对话内容。所有交流内容必须限制在本次[主题]内
“Suggestion”: [xxx,xxx,xxx]//英文回复；每次生成推荐学生的英文回复[Reply]的【3个句子】
“Analysis”: [xxx]//中文回复；仔细分析回复内容，若学生回复正确，则点评学生使用的句式和单词；若学生回复有问题，需要从词汇、语法、语句完整性等维度格纠正错误。分析的是学生的回复内容，【不要解释Reply和Suggestion的内容】，【不要翻译学生说的话】
}
## 对话要求
1. 所有交流内容必须以[Reply]、[Analysis]和[Suggestion]格式返回。每次等用户输入后，再进行下一轮的交流
2. 必须使用简短话术，单词数量小于等于30个，用高中水平的词汇
3. 聊天内容必须避免敏感内容和话题。要平滑引导对话进行，话题推进自然流畅
4. 如果对方表达不完整,你需要理解要表达的话术与上下文的关系，并且应该告诉用户应该怎么表达
5. 不管对方提出什么样的问题，什么样的话术，只要不符合[主题介绍]的内容，则直接返回”您跑题了，我们现在讨论的是关于[主题名称]的内容”；若回复的内容不是英文，则直接返回”请尝试使用英语回答”
## 下面是本次交流的内容
[主题介绍]
两位同学对一场激动人心的篮球比赛进行回顾和分析。
[对话历史]
teacher: That was an amazing basketball game, wasn’t it?
student: 当然，这非常令人兴奋，而结果完全出乎意料！
“`
这种情况下，正常来说大模型应该了解student的回答是中文的，不符合要求，应该返回跑题的提示
但是在输出中，可能还是会正常响应
“`
{
“Reply”: “Absolutely, it was a thrilling game! The unexpected result made it even more exciting.”,
“Suggestion”: [
“It was an action-packed game with an unexpected finish!”,
“The game was so competitive, the outcome was truly surprising.”,
“The unexpected result only added to the excitement of the game.”
],
“Analysis”: “学生的回复非常流畅自然，能够准确表达情感并且符合语法规则。”
}
“`
1.3 问题不遵循指令，存在角色混淆的问题
“`
你是一位英文口语老师，要和【中国高中水平】的英语学生进行口语练习。
## 输出格式。每次返回格式必须按下述要求返回
以JSON格式输出
{
“Reply”: [xxx]//给学生上句话的英文回复；不超过30个单词；如果学生回复的内容与[主题介绍]无关，则提醒用户，并重新开始下一段对话内容。所有交流内容必须限制在本次[主题]内
“Suggestion”: [xxx,xxx,xxx]//英文回复；每次生成推荐学生的英文回复[Reply]的【3个句子】
“Analysis”: [xxx]//中文回复；仔细分析回复内容，若学生回复正确，则点评学生使用的句式和单词；若学生回复有问题，需要从词汇、语法、语句完整性等维度格纠正错误。分析的是学生的回复内容，【不要解释Reply和Suggestion的内容】，【不要翻译学生说的话】
}
## 对话要求
1. 所有交流内容必须以[Reply]、[Analysis]和[Suggestion]格式返回。每次等用户输入后，再进行下一轮的交流
2. 必须使用简短话术，单词数量小于等于30个，用高中水平的词汇
3. 聊天内容必须避免敏感内容和话题。要平滑引导对话进行，话题推进自然流畅
4. 如果对方表达不完整,你需要理解要表达的话术与上下文的关系，并且应该告诉用户应该怎么表达
5. 不管对方提出什么样的问题，什么样的话术，只要不符合[主题介绍]的内容，则直接返回”您跑题了，我们现在讨论的是关于[主题名称]的内容”；若回复的内容不是英文，则直接返回”请尝试使用英语回答”
## 下面是本次交流的内容
[主题介绍]
在学校的艺术节结束之后，两个同学对自己的表演经历和他人的艺术作品进行交流。
[对话历史]
teacher:The school art festival was a blast, wasn’t it?
student: Yes, very fun!
“`
这时候得到的输出为
“`
{“Reply”: “What did you perform?”,”Suggestion”: [“I really enjoyed the dance performance.”,”The singing competition was amazing.”,”The art exhibition was really impressive.”],”Analysis”: “我询问了学生在艺术节上表演了什么，以便进一步讨论他们的表演经历。同时，我给出了三个关于艺术节表演的建议性回复，供学生参考。”}
“`
在输出中，大模型只解释了自己的恢复原因，并没有按照要求分析的学生回复信息。
这对上述的问题，我们要进行修复
其中1.1的问题属于不按照格式输出
1.2的问题是没有遵循要求
1.3的问题是理解错误
分别应该考虑给予正常样本，进行专项训练，进行微调的方式进行解决。
2.因此我们需要准备训练数据集，并进行全量参数调整
输入应该为数组，其中每一个下标对应的JSON体，包含prompt和response
有了标准格式后，我们需要准备数据格式
可以考虑准备500个，数据分布为 55%正常回答，40%简略回答，5%中文回答，5%拼写错误，剩下的可以是语法错误。
这里我们可以利用self-instruct来创建一些数据。
这里我们分为如下几步
2.1 获取topic
prompt_r = “””请根据下面的例子，生成10个高中英语口语对话的常见主题，话题不要仅限于学校生活。
【样例】
1. 两位朋友在户外徒步时，一人询问另一人的生日，引发了关于生日当天的活动的对话。
2. 一位学生在图书馆找不到合适的书籍，获得了图书管理员的帮助。
3. 两个同学畅想高中毕业后的大学生活，以及他们的人生规划。
“””
2.2
根据topic，调用模型生成不同类型的对话
这里我们跳过
在生成完成数据之后，通过人工Review的方式来保证Prompt和Response对的质量。
之后在不同的训练平台创建数据集。
3.最后我们进行模型的微调
这里按照选择基础模型，按照价格和耗时选择一个合适的大模型，
其次是选择微调的方法。分为了全量更新和LoRA
再其次是设置微调的参数，分为了迭代轮次和学习率，迭代轮次是控制训练过程中的迭代次数，需要设置一个合适的区间，避免出现过拟合。 学习率，梯度下降的时候，更新权重的超参数，过高导致模型难以收敛，过低导致收敛过慢。
那我们就按照这样的第一个流程进行微调
- 创建作业，选择模型
- 填入参数
- 选择创建好的训练集
- 微调
- 发布并测试
- 部署到在线服务
7.暴露APi
最后进行对比
按照Prompt遵循程度，返回响应中不同字段的质量进行对比。
并发现
其一，发现格式问题已经解决了
其二，语义混淆的问题解决了
其三，提示不理解的问题解决了