Views
No views yet
1import torch
2from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
3
4model_path = "protonx-models/protonx-legal-tc"
5
6tokenizer = AutoTokenizer.from_pretrained(model_path)
7model = AutoModelForSeq2SeqLM.from_pretrained(model_path)
8
9device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
10model.to(device)
11model.eval()
12
13examples = [
14 "Điều 10. Điều kiện bảo đảm an ninh mạng đối với thiết bị, phân cứng, phân m遮挡 thành phận hệ thống 1. Các thiết bị phàn cứng là thành phàn hệ thông phải được kiểm tra an ninh mạng để phát hiện diểm yếu, lỗ hỏng bảo mất, mã độc, thiết bị thu phát, phàn cứng độc hại bảo đảm sự tương thích với các thành phàn khác trong hệ thông thông tin quan trọng về an ninh quốc gia. Các thiết bị quản trị phải được cải đạt hệ điều hành, phàn mêm sạch, có các lóp tương lữa bảo vệ. Hệ thông thông tin xử lý bí mật nhà nước không được kết nối với mạng Internet.",
15]
16
17max_tokens = 160
18
19for text in examples:
20 inputs = tokenizer(
21 text,
22 return_tensors="pt",
23 truncation=True,
24 max_length=max_tokens
25 ).to(device)
26
27 with torch.no_grad():
28 outputs = model.generate(
29 **inputs,
30 num_beams=10,
31 num_return_sequences=1, # <- return all beams
32 max_new_tokens=max_tokens,
33 early_stopping=True,
34 return_dict_in_generate=True, # <- return full dict
35 output_scores=True # <- include beam scores
36 )
37
38 sequences = outputs.sequences
39 scores = outputs.sequences_scores
40
41 print(f"Inpput: {text}")
42
43 for i, (seq, score) in enumerate(zip(sequences, scores)):
44 decoded = tokenizer.decode(seq, skip_special_tokens=True)
45 # print(f"Beam {i+1} | Score: {float(score):.4f}")
46 print(f"Output: {decoded}")
47 print("-" * 40)| Metric | Score |
|---|---|
| ROUGE-L | 96.95% |
Điều 10. Điều kiện bảo đảm an ninh mạng đối với thiết bị, phân cứng, phân m遮挡 thành phận hệ thống 1. Các thiết bị phàn cứng là thành phàn hệ thông phải được kiểm tra an ninh mạng để phát hiện diểm yếu, lỗ hỏng bảo mất, mã độc, thiết bị thu phát, phàn cứng độc hại bảo đảm sự tương thích với các thành phàn khác trong hệ thông thông tin quan trọng về an ninh quốc gia. Các thiết bị quản trị phải được cải đạt hệ điều hành, phàn mêm sạch, có các lóp tương lữa bảo vệ. Hệ thông thông tin xử lý bí mật nhà nước không được kết nối với mạng Internet.Điều 10. Điều kiện bảo đảm an ninh mạng đối với thiết bị, phần cứng, phần mềm là thành phần hệ thống 1. Các thiết bị phần cứng là thành phần hệ thống phải được kiểm tra an ninh mạng để phát hiện điểm yếu, lỗ hổng bảo mật, mã độc, thiết bị thu phát, phần cứng độc hại bảo đảm sự tương thích với các thành phần khác trong hệ thống thông tin quan trọng về an ninh quốc gia. Các thiết bị quản trị phải được cài đặt hệ điều hành, phần mềm sạch, có các lớp tường lửa bảo vệ. Hệ thống thông tin xử lý bí mật nhà nước không được kết nối với mạng Internet.