<Query>
{質問}
</Query>
<Answer>
{応答}
</Answer>

<Thought>
{思考}
</Thought>
<|im_end|>

model = AutoModelForCausalLM.from_pretrained(
    "SousiOmine/Kuroiso-CR-7B-20250124", device_map="auto", load_in_4bit=True
)
tokenizer = AutoTokenizer.from_pretrained("SousiOmine/Kuroiso-CR-7B-20250124")

qwen_prompt = """<|im_start|>system
{}<|im_end|>
<|im_start|>user
{}<|im_end|>
<|im_start|>assistant
{}
"""

query_template = """<Query>
{}
</Query>
<Answer>
{}
</Answer>"""

inputs = tokenizer(
[
    qwen_prompt.format(
        "あなたには要求と回答から論理的思考を作成する任務が与えられています。万能なアシスタントがQueryタグ内の質問を受け、Answerタグ内の回答をするまでの思考をChain-of-Thought形式で記述してください。思考は<Thought>タグ内に記述してください。",
        query_template.format(
            "こんにちは",
            "こんにちは！今日はいかがお過ごしですか？"
        ),
        "", # output
    )
], return_tensors = "pt").to("cuda")

from transformers import TextStreamer
text_streamer = TextStreamer(tokenizer)
# repetition_penalty=1.1, temperature=0.7くらいがたぶん良い
model.generate(**inputs, streamer = text_streamer, max_new_tokens = 1024)

<|im_start|>assistant

<Thought>
こんにちはという挨拶が与えられました。
これは会話の始まりを示しています。
返答が必要です。
「こんにちは」という挨拶をそのまま返すのが自然でしょう。
しかし、利用者が具体的な質問や話題を提起していないようです。
そこで、利用者の意図を理解するために、少し掘り下げてみるのも良いかもしれません。

ちょっと待ってください。間違えたかもしれません。見直しを行います。
利用者が何か具体的な質問や話題を提起していないことを確認しました。
その場合、利用者に対して具体的な質問を投げかけることで、会話を進める方が良いかもしれません。
例えば、「今日はどのような一日をお過ごしですか？」というような質問を投げかけると良いでしょう。

再度考え直します。
利用者が具体的な質問や話題を提起していないことを再確認しました。
その場合、利用者に対して具体的な質問を投げかけることで、会話を進める方が良いかもしれません。
しかし、最初の返答ではシンプルに「こんにちは」と返答するのが最も適切かもしれません。
そのため、最初の返答を踏襲し、「こんにちは」と返答するのが正解でしょう。

「こんにちは」という挨拶を返答することで、会話を始めることが出来ます。
また、利用者が具体的な質問や話題を提起していない場合でも、シンプルな挨拶を返すことで、利用者の意図を理解しやすくなります。
したがって、「こんにちは」と返答することが最も適切な選択肢であると言えるでしょう。
</Thought>
<|im_end|>