Views
No views yet
@article{cheng2023black,
title={Black-Box Prompt Optimization: Aligning Large Language Models without Model Training},
author={Cheng, Jiale and Liu, Xiao and Zheng, Kehan and Ke, Pei and Wang, Hongning and Dong, Yuxiao and Tang, Jie and Huang, Minlie},
journal={arXiv preprint arXiv:2311.04155},
year={2023}
}BPO_1_BaseGenLong(2)sys: 请直接输出结果
ask: 生成一个短问题BPO_1_BaseGenLong(1)1.Prepare_TrainData 文件夹3.Fixed_Train_Data 文件夹BPO_4_ConverttoTransDataBPO_5_0_TestBPO(Wang et al., 2023; Zheng et al., 2023)所证明的那样,强LLM可以成为良好的评估者。根据Li et al. (2023)的研究, 我们使用 GPT4o 进行评估,并采用成对评分设置直观地显示比对能力差异cmmlu 和 ceval-exam 文件中随机挑选问题生成BPO
5.BPO_Test_Data\FinalBPOData.json5.BPO_Test_Data\TestAnserData.jsonBlack-Box Prompt Optimization(BPO)是一种优化技术,旨在通过调整输入提示来增强大型语言模型(LLM)输出的与人类偏好的匹配度。
请根据你的喜好和理解给 原问题和AI回答(Original) 和 BPO优化后的问题和AI回答(BPO) 打分.
输出格式如下:
```json
{
"Original":6,
"BPO":6
}
```# Original
原问题: "安全气囊是一种什么装置"
回答:
"""
安全气囊是一种汽车安全装置,旨在在发生碰撞时保护车内乘员。它通常由一个充气袋和相关的传感器、控制单元组成。当车辆发生碰撞时,传感器会检测到冲击力,并迅速触发气囊充气装置,释放气体使气囊迅速膨胀。气囊在碰撞时提供缓冲,减少乘员与车内硬物(如方向盘、仪表板等)之间的直接接触,从而降低受伤风险。
安全气囊通常设置在驾驶员和副驾驶座位的前面,许多现代汽车还配备侧气囊、窗帘气囊等,以提供更全面的保护。安全气囊的设计和功能经过严格的测试和标准化,以确保在紧急情况下能够有效工作。
"""
# BPO
优化后问题: "安全气囊是一种什么样的装置,起到什么样的作用?"
"""
安全气囊是一种汽车安全装置,主要用于在发生碰撞时保护乘员的安全。它的工作原理是,在碰撞发生时,传感器会检测到冲击力,并迅速释放气体,使气囊迅速充气并膨胀,从而形成一个缓冲垫,减轻乘员与车内硬物的碰撞力度。
安全气囊的主要作用包括:
1. **减少伤害**:在碰撞发生时,安全气囊能够有效地吸收冲击力,减少乘员受到的伤害,尤其是头部和胸部的伤害。
2. **保护乘员**:气囊为乘员提供了一定的保护屏障,防止他们在碰撞过程中被甩出座位或撞击到车内其他部件。
3. **提高安全性**:安全气囊与安全带等其他安全装置配合使用,能够显著提高车辆的整体安全性,降低事故致死率和伤害程度。
总之,安全气囊是现代汽车中不可或缺的安全配置之一,能够在关键时刻为乘员提供保护。
"""1{
2"Original":7,
3"BPO":9
4}平均分:
Original: 6.568
BPO:8.0356.Final_Score/GPTScores.jsonBPO_5_1_CevalBPO_TrainBPO_Train