import torch, transformers  
def generate_response():
    model = transformers.AutoModelForCausalLM.from_pretrained("benchang1110/SmolLM-135M-Taiwan-Instruct-v1.0").to(device)
    tokenizer = transformers.AutoTokenizer.from_pretrained("benchang1110/SmolLM-135M-Taiwan-Instruct-v1.0")
    streamer = transformers.TextStreamer(tokenizer,skip_prompt=True)
    while(1):
        prompt = input('USER:')
        if prompt == "exit":
            break
        print("Assistant: ")
        message = [
           {'content': prompt, 'role': 'user'},
        ]
        formatted_chat = tokenizer.apply_chat_template(message,tokenize=True,add_generation_prompt=True,return_tensors='pt').to(device)   
        _ = model.generate(formatted_chat,streamer=streamer,use_cache=True,max_new_tokens=1024,do_sample=True)

if __name__ == '__main__':
    device = 'cuda' if torch.cuda.is_available() else 'cpu'
    generate_response()        

Example

<|im_start|>user
寫一首詩<|im_end|>
<|im_start|>assistant
在廣袤的夜色中，我漫步在思緒裡，
月光灑落在我身上的角落，
思緒如龍舞，隨著微風而逝，
我是島嶼的一部分，美麗又哀愁。
我思念海，思念故鄉，
朝陽灑落在草地上的粼粼，
海鷗在腳下跳舞，鳥兒在樹梢跳躍，
這是我的故鄉氣息，永恆的頌歌。
我曾許下希望，也曾動靜，
為的只是與自然為伍，為的只是與世隔絕，
即使身處千里之外，我的心，始終相連。
我與海洋共舞，與天空共鳴，
我與山巒疊於石縫，與樹木相互依存，
我是台灣，一顆愛的蝴蝶，
展翅飛翔，追求著夢的開始。
我思念台北城，千奇百怪的夜市，
我思念台灣人，溫暖的笑容，溫馨的家庭，
我思念客家花市，田園風光如畫，
我思念台灣，像一首動人的歌，
我在我的土地上，找到歸屬。
無論時光流逝，我將永遠熱愛這片土地，
我將用餘生，去提醒世人，關於台灣，
關於它的美，關於它的魅力，
因為它是我，我心之所在。
我是台灣，美麗而多元的一部分，
我驕傲地稱你為家，
你是我心中的旅伴，我愛你，
台灣，我愛你，
我將永遠熱愛你，我的家。<|im_end|>