Модель была создана для дообучения "HuggingFaceTB/SmolLM-135M-Instruct" с использованием Proximal Policy Optimization
(PPO)
Правильно оценивает сгенерированный моделью текст, на обучающем датасете показала большие различия в оценках для 'chosen' и 'rejected'
1reward_model = AutoModelForSequenceClassification.from_pretrained(
2 MODEL_ID,
3 num_labels=1
4 )
5reward_model.to(device)
6
7inputs_chosen = tokenizer.apply_chat_template(['some text', tokenize=False)
8inputs_chosen = tokenizer(inputs_chosen, return_tensors="pt").to(DEVICE)
9score_chosen = reward_model(**inputs_chosen).logits[0].cpu().detach()
10print(score_chosen)
