如果你有领域相关的一些文本材料（可以是OCR出来还比较脏的数据），想转化成单轮 alpaca 形式的的QA对，这是一个简易的教程。也就图一乐，因为真正高质量的领域QA还是得来自于行业专家，并且向LLM注入领域知识应该通过pretrain而不是SFT也已经是共识了。
bookgen文件夹中包含了样例文本和py文件，注意prompt根据领域调整一下，即使原始语料比较脏LLM也基本可以理解。并没有核查过会不会出现幻觉现象。
只要是和OpenAI SDK兼容的API服务都可以平滑迁移。这里使用了零一万物的yi-large API。
https://platform.lingyiwanwu.com/
2024年8月2日更新，更新OpenAI SDK 1.0的调用方式，更新使用yi-large API，更新为单线程模式。
⚠️注意，单线程模式是为了更好的debug，真正生成数据需要自己修改成多线程模式，并且rate limit并没有单独进行handle。
样例数据是于23年6月使用3.5-turbo生成的，只放了一部分，随便玩玩就好～
If you have some text… See the full description on the dataset page:
https://huggingface.co/datasets/lorinma/BookBasedQAGen_Petrochemical.
