Views
No views yet
1pip install -U vllm
2pip install -U datasets1from vllm import LLM, SamplingParams
2from vllm.lora.request import LoRARequest
3from huggingface_hub import snapshot_download
4from huggingface_hub.hf_api import HfFolder
5HfFolder.save_token('your hf token here')
6
7model_id = 'meta-llama/Llama-3.1-8B'
8lora_id = 'strongpear/Llama3.1-8B-QA_CoT-WIKI-Instruct-r64'
9
10model = LLM(
11 model=model_id,
12 enable_lora=True,
13 max_lora_rank=64,
14 gpu_memory_utilization=0.8,
15)
16sampling_params = SamplingParams(
17 temperature=0.5,
18 top_p=0.95,
19 max_tokens=1024,
20 min_tokens=2,
21 stop=['<|end_of_text|>'],
22 skip_special_tokens=False
23)
24lora_adapter = snapshot_download(repo_id=lora_id)1context = 'your context here'
2question = 'your question here'
3
4query = f'''Bạn là một chuyên gia kiến thức tổng hợp với khả năng suy luận logic. Nhiệm vụ của bạn là đọc kỹ ngữ cảnh, phân tích thông tin từ các lĩnh vực đa dạng, và trả lời câu hỏi một cách chính xác và khách quan. Hãy:
5- Phân tích và sử dụng thông tin phù hợp từ các ngữ cảnh để trả lời câu hỏi
6- Trình bày quá trình suy luận theo các bước rõ ràng
7- Liên kết các thông tin trong ngữ cảnh một cách hợp lý
8- Giải thích cách bạn đi đến câu trả lời cuối cùng
9- Trích dẫn nguồn cụ thể khi cần thiết
10- Thừa nhận khi không đủ thông tin hoặc không thể suy luận
11- Đảm bảo câu trả lời cuối cùng ngắn gọn và đầy đủ
12
13Hãy tuân theo format:
141. Phân tích thông tin trong ngữ cảnh
152. Suy luận từng bước để đi đến câu trả lời
163. Đưa ra câu trả lời cuối cùng rõ ràng
17
18Ngữ cảnh: {context}
19Câu hỏi: {question}
20'''
21
22response = model.generate(
23 query,
24 sampling_params,
25 lora_request=LoRARequest("adapter", 1, lora_adapter)
26)
27
28print(response[0].outputs[0].text)| context | question | CoT | answer |
|---|---|---|---|
Robert Hartwell và Robert P. Hymes đã chỉ trích mô hình giả thuyết trên, cho là nó quá chú trọng đến vai trò của gia đình hạt nhân, chỉ xem xét tới ba đời tổ tiên đằng nội của thí sinh mà bỏ qua thực tế nhân khẩu học thời nhà Tống rằng có một tỷ lệ đáng kể nam giới trong mỗi thế hệ không có con trai nối dõi, cũng như bỏ qua luôn vai trò của đại gia đình. Nhiều người cảm thấy như mình bị tước đoạt quyền lợi bởi họ cho là hệ thống quan liêu ủng hộ tầng lớp chủ đất, những người có khả năng chi trả cho dịch vụ giáo dục vượt trội. Một trong những nhà phê bình văn học nổi tiếng nhất bàn về vấn đề này là nhà thơ Tô Đông Pha. Tuy nhiên, Tô Đông Pha cũng chỉ là sản phẩm của thời đại mà ông đang sống, vì với sự chuyển giao từ thời nhà Đường sang thời nhà Tống, danh tính, thói quen hay thái độ của một sĩ đại phu đã trở nên ít quý tộc hơn và cũng quan liêu hơn. Vào đầu triều đại, chức vụ cao trong chính quyền do hai nhóm tinh hoa nắm giữ một cách không cân xứng: một nhóm công thần có ràng buộc với hoàng đế khai quốc và một nhóm thế gia, sử dụng địa vị thị tộc truyền đời, các mối quan hệ gia đình và liên minh hôn nhân để đảm bảo được bổ nhiệm. Cuối thế kỷ 11, nhóm công thần mất chỗ đứng. Trong khi đó, đảng phái chính trị và chủ nghĩa bè phái trong triều đình đã làm suy yếu chiến lược liên minh hôn nhân của nhóm thế gia, để rồi nhóm này không còn phân biệt được trong xã hội và bị thay thế bởi vô số gia tộc thân sĩ.\nDo tốc độ gia tăng dân số chóng mặt và bộ máy hành chính thì chấp nhận số lượng quan chức hạn chế (khoảng 2 vạn người trong thời nhà Tống), tầng lớp thân sĩ đông đảo hơn sẽ đảm nhận công việc cơ sở ở cấp địa phương. Không bao gồm sĩ đại phu tại chức, thân sĩ là các thí sinh đỗ đạt nhưng chưa được bổ nhiệm, gia sư địa phương và quan chức về hưu. Chính những người đàn ông có học thức này đã giám sát công việc địa phương và tài trợ cơ sở vật chất cần thiết cho cộng đồng; bất kỳ huyện lệnh nào được bổ nhiệm đều phải dựa vào sự hợp tác của một số ít hoặc nhiều thân sĩ trong khu vực. | Tầng lớp thân sĩ trong thời nhà Tống có vai trò gì trong xã hội? | ###begin_context###Do tốc độ gia tăng dân số chóng mặt và bộ máy hành chính thì chấp nhận số lượng quan chức hạn chế (khoảng 2 vạn người trong thời nhà Tống), tầng lớp thân sĩ đông đảo hơn sẽ đảm nhận công việc cơ sở ở cấp địa phương. Không bao gồm sĩ đại phu tại chức, thân sĩ là các thí sinh đỗ đạt nhưng chưa được bổ nhiệm, gia sư địa phương và quan chức về hưu. Chính những người đàn ông có học thức này đã giám sát công việc địa phương và tài trợ cơ sở vật chất cần thiết cho cộng đồng; bất kỳ huyện lệnh nào được bổ nhiệm đều phải dựa vào sự hợp tác của một số ít hoặc nhiều thân sĩ trong khu vực.###end_context### chỉ ra rằng tầng lớp thân sĩ đã đảm nhận nhiều công việc quan trọng ở cấp địa phương và giám sát các hoạt động cộng đồng. | Tầng lớp thân sĩ trong thời nhà Tống đảm nhận vai trò giám sát công việc địa phương, tài trợ cho cơ sở vật chất và hỗ trợ huyện lệnh trong việc quản lý cộng đồng, mặc dù họ không phải là sĩ đại phu tại chức. |