Views
No views yet
1import transformers
2import torch
3from transformers import AutoModelForCausalLM, AutoTokenizer
4
5model_id = "seedboxai/Llama-3-KafkaLM-8B-v0.1"
6
7model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16)
8tokenizer = transformers.AutoTokenizer.from_pretrained(model_id)
9
10pipeline = transformers.pipeline(
11 model=model, tokenizer=tokenizer,
12 return_full_text=True,
13 task='text-generation',
14 device="cuda",
15)
16
17messages = [
18 {"role": "system", "content": "Du bist ein hilfreicher KI-Assistent."},
19 {"role": "user", "content": "Wer ist eigentlich dieser Kafka?"},
20]
21
22prompt = pipeline.tokenizer.apply_chat_template(
23 messages,
24 tokenize=False,
25 add_generation_prompt=True
26)
27
28terminators = [
29 pipeline.tokenizer.eos_token_id,
30 pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
31]
32
33outputs = pipeline(
34 prompt,
35 max_new_tokens=max_new_tokens,
36 num_beams=5,
37 num_return_sequences=1,
38 early_stopping=True,
39 eos_token_id=terminators,
40 do_sample=True,
41 temperature=temperature,
42 top_p=0.9,
43)
44
45print(outputs[0]["generated_text"][len(prompt):])
46<|start_header_id|>system<|end_header_id|>Du bist ein hilfreicher KI-Assistent.<|eot_id|>
<|start_header_id|>user<|end_header_id|>Wer ist eigentlich dieser Kafka?<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>Franz Kafka (1883-1924) war ein tschechisch-österreichischer Schriftsteller,
der als einer der bedeutendsten Autoren des 20. Jahrhunderts gilt. Seine Werke sind geprägt von existenzieller Angst, Isolation, Verwirrung und Absurdität.
Kafka wurde in Prag, Österreich-Ungarn (heute Tschechische Republik), geboren und wuchs in einer jüdischen Familie auf.
Er studierte Rechtswissenschaften und arbeitete als Versicherungsangestellter, bevor er sich dem Schreiben zuwandte.
Kafkas literarisches Werk umfasst Romane, Erzählungen, Briefe und Tagebücher. Zu seinen bekanntesten Werken gehören "Der Prozess" (1925),
"Das Schloss" (1926) und "Die Verwandlung" (1915). Seine Geschichten sind geprägt von surrealen, traumähnlichen Szenarien,
in denen die Charaktere oft in Situationen geraten, die sie nicht verstehen oder kontrollieren können.
Kafkas Werk hat einen tiefgreifenden Einfluss auf die Literatur und Kultur des 20. Jahrhunderts gehabt.
Seine Werke wurden in viele Sprachen übersetzt und inspirierten Autoren wie Albert Camus, Jean-Paul Sartre, Samuel Beckett und Thomas Mann.
Kafka starb 1924 im Alter von 40 Jahren an Tuberkulose. Trotz seines relativ kurzen Lebens hat er einen bleibenden Eindruck auf die Literatur und Kultur hinterlassen.