Views
No views yet
### Anweisung:
Analysiere ob der gegebene Satz dem Artikel treu ist. Wenn der Satz ausschließlich Informationen wiedergibt, die direkt aus dem Artikel stammen, ohne jegliche Ergänzungen oder Weglassungen, antworte mit 'Faithful'. Wenn der Satz Informationen enthält, die im direkten Widerspruch zum Artikel stehen, antworte mit 'Intrinsic Hallucination'. Wenn der Satz Informationen oder Details einführt, die im Artikel selbst nicht ausdrücklich erwähnt werden, antworte mit 'Extrinsic Hallucination'. Gib zuerst ein kurze Erklärung ob der Satz treu ist oder nicht und danach das entsprechende Label.
Artikel: {article}
Satz: {sentence}
### Erklärung und Label:pip3 install transformers
pip3 install accelerate
# Optional:
pip3 install vllm1from typing import List, Dict
2import torch
3from transformers import pipeline
4from vllm import SamplingParams, LLM
5
6def generate_prompts_for_generation(prompt_template: str, article: str, summary_sentences: List[str]) -> List[str]:
7 prompts = []
8 for sentence in summary_sentences:
9 prompts.append(prompt_template.format(article=article, sentence=sentence))
10 return prompts
11
12def predict_with_vllm(prompts: List[str], model_name: str, max_context_length: int = 4096, max_gen_length: int = 256):
13 sampling_params = SamplingParams(max_tokens=max_gen_length, skip_special_tokens=True, temperature=0.0)
14
15 llm = LLM(model=model_name, max_model_len=max_context_length)
16 completions = llm.generate(prompts, sampling_params) # Batch inference
17 predictions = [output.text for completion in completions for output in completion.outputs]
18 return predictions
19
20
21def predict_with_hf_generation_pipeline(prompts: List[str], model_name: str, max_context_length: int = 4096,
22 batch_size: int = 2) -> List[str]:
23 text_generation_pipeline = pipeline("text-generation", model=model_name,
24 model_kwargs={"torch_dtype": torch.float16}, device_map="auto",
25 batch_size=batch_size)
26
27 batch_output = text_generation_pipeline(prompts, truncation=True, max_length=max_context_length,
28 return_full_text=False)
29 predictions = [result[0]['generated_text'] for result in batch_output]
30 return predictions
31
32def main():
33
34 model_name = "mtc/LeoLM-leo-mistral-hessianai-7b-classification-with-mixtral-explanation-3-epochs-finetuned"
35 # Prompts longer than 4096 tokens will be truncated
36 max_context_length = 4096
37
38 article = "Ein neuer Zirkus ist gestern in Zürich angekommen. Viele Familien besuchten das große Zelt, um die Vorstellung zu sehen. Es gab Akrobaten, Clowns und Tiere, die das Publikum begeisterten. Der Zirkus bleibt noch eine Woche in der Stadt und bietet täglich Vorstellungen an."
39
40 summary_sentences = [
41 "Ein Zirkus ist in Basel angekommen.",
42 "Der Zirkus, der in 1950 gegründet wurde, wird von vielen Familien besucht."]
43
44 prompt_template = """### Anweisung:
45Analysiere ob der gegebene Satz dem Artikel treu ist. Wenn der Satz ausschließlich Informationen wiedergibt, die direkt aus dem Artikel stammen, ohne jegliche Ergänzungen oder Weglassungen, antworte mit 'Faithful'. Wenn der Satz Informationen enthält, die im direkten Widerspruch zum Artikel stehen, antworte mit 'Intrinsic Hallucination'. Wenn der Satz Informationen oder Details einführt, die im Artikel selbst nicht ausdrücklich erwähnt werden, antworte mit 'Extrinsic Hallucination'. Gib zuerst ein kurze Erklärung ob der Satz treu ist oder nicht und danach das entsprechende Label.
46Artikel: {article}
47Satz: {sentence}
48
49### Erklärung und Label:"""
50
51 prompts = generate_prompts_for_generation(prompt_template=prompt_template, article=article, summary_sentences=summary_sentences)
52 predictions = predict_with_hf_generation_pipeline(prompts=prompts, model_name=model_name,
53 max_context_length=max_context_length, batch_size=batch_size)
54 print(predictions)
55
56 # Uncomment the following lines to use vllm for prediction
57 # max_gen_length = 256
58 # predictions = predict_with_vllm(prompts=prompts, model_name=model_name, max_context_length=max_context_length,
59 # max_gen_length=max_gen_length)
60 # print(predictions)
61['\nErklärung:Der Satz ist falsch, da der Artikel über einen Zirkus in Zürich spricht, nicht in Basel.\nLabel:Intrinsic Hallucination',
'\nErklärung:Der Satz ist nicht im Artikel enthalten. Es wird zwar erwähnt, dass der Zirkus viele Familien besucht, aber nicht, dass er 1950 gegründet wurde.\nLabel:Extrinsic Hallucination']
bitsandbytes quantization config was used during training: