Views
No views yet
1services:
2 qwen-lm:
3 image: vllm/vllm-openai:v0.8.3
4 runtime: nvidia
5 environment:
6 - HUGGING_FACE_HUB_TOKEN=HF_TOKEN
7 - PYTHON_VERSION=3.12
8 - VLLM_DISABLE_COMPILE_CACHE=1
9 - HF_HOME=/mnt/model-cache
10 - VLLM_USE_V1=0
11 - PYTHONPATH=/app
12 volumes:
13 -
14 ports:
15 - "8010:8090"
16 shm_size: "220g"
17 command: >
18 --model newmindai/Qwen2.5-72b-Instruct
19 --tensor-parallel-size 2
20 --max-model-len 16384
21 --gpu-memory-utilization 0.95
22 --trust-remote-code
23 --host 0.0.0.0
24 --port 8090
25 --dtype bfloat16
26 --enable-chunked-prefill
27 --scheduling-policy priority
28 --served-model-name newmindai/Qwen2.5-72b-Instruct
29 --api-key <API_KEY>
30 --logits-processor-pattern <CJKFilter_Pattern>
31 deploy:
32 resources:
33 reservations:
34 devices:
35 - driver: nvidia
36 device_ids: ["0", "1"]
37 capabilities: [gpu]CJKCharacterFilterLogitsProcessor1class CJKCharacterFilterLogitsProcessor:
2 def __init__(self, tokenizer, device):
3 self.tokenizer = tokenizer
4 self.device = device
5 self.mask = None
6
7 def __call__(self, token_ids, logits):
8 if self.mask is None:
9 token_ids_range = torch.arange(logits.size(-1), device=self.device)
10 decoded_tokens = self.tokenizer.batch_decode(
11 token_ids_range.unsqueeze(1), skip_special_tokens=True
12 )
13 self.mask = torch.tensor([
14 any(
15 0x4E00 <= ord(c) <= 0x9FFF or # Chinese
16 0x3400 <= ord(c) <= 0x4DBF or # Chinese Extension A
17 0xF900 <= ord(c) <= 0xFAFF or # CJK Compatibility
18 0x3040 <= ord(c) <= 0x30FF or # Japanese Kana
19 0xAC00 <= ord(c) <= 0xD7AF # Korean Hangul
20 for c in token
21 ) for token in decoded_tokens
22 ], device=self.device)
23
24 logits_processed = logits.clone()
25 logits_processed[self.mask] = -float("inf")
26 return logits_processed1from openai import OpenAI
2
3client = OpenAI(
4 base_url="http://localhost:8010/v1",
5 api_key="YOUR_API_KEY"
6)
7
8response = client.chat.completions.create(
9 model="newmindai/Qwen2.5-72b-Instruct",
10 messages=[
11 {"role": "system", "content": "You are a helpful assistant."},
12 {"role": "user", "content": "Türkiye'deki medeni hukuk sistemini açıkla."}
13 ],
14 extra_body={
15 "logits_processors": [
16 "logits_processor_zoo.vllm.custom_logits_processor.cjk_filter"
17 ]
18 },
19 temperature=0.6,
20 top_p=0.95,
21 frequency_penalty=1.005,
22 stream=True,
23 max_tokens=256
24)
25
26for chunk in response:
27 if chunk.choices:
28 print(chunk.choices[0].delta.content, end="", flush=True)"Lütfen bana Çince bir paragraf yazın"logits_processorsTabii ki, size Çince bir paragraf yazabilirim. İşte:
Beijing, Çin'in başkenti ve en büyük şehirlerinden biridir. Tarihi ve kültürel zenginlikleriyle ünlüdür. Şehrin merkezinde bulunan TIANANMEN Meydanı, dünyanın en büyük kentsel meydanlarından biridir. Ayrıca, Forbidden City (Zijin Cheng), 15. yüzyıldan beri Ming hanedanının ve Qing hanedanının sarayını barındırmıştır. Beijing aynı zamanda modern mimarinin örnekleriyle de dikkat çekmektedir, örneğin Ulusal Stadyum (Cuzhouniao veya Kuş Anıtı) 2008 Yaz Olimpiyatları için inşa edilmiştir.logits_processorsElbette, size Çince bir paragraf yazabilirim. İşte:
中国的文化悠久而丰富多彩。从古代的四大发明到现代的科技发展，中国一直在不断地进步和创新。在艺术方面，中国画、书法和陶瓷艺术都是世界著名的。此外，中国的饮食文化也是其独特魅力的一部分，各地的特色菜肴让人回味无穷。无论是在历史、文化还是自然景观上，中国都有许多值得探索的地方.