PhoBERT Summarization (Vietnamese Extractive Summarization)

Giới thiệu

• Dữ liệu thu thập từ 67 chuyên mục trên vnexpress.net.
• Một phần dữ liệu được gán nhãn thủ công.
• Phần lớn dữ liệu được gán nhãn tự động bằng phương pháp cosine similarity.
• Chỉ cần 1 lệnh để train, 1 lệnh để chạy app.

Xử lý dữ liệu

1. Crawl dữ liệu:

• crawl_data.py

1. Làm sạch dữ liệu:

• clean_data.py

1. Tự động đánh nhãn:

• auto_label.py
• merge_file.py

Cài đặt

1. Clone repo:

• git clone https://huggingface.co/HieuNg05/PhoBert-Summarization
• cd PhoBert-Summarization

1. Cài dependencies:

• pip install -r requirements.txt

1. Huấn luyện mô hình:

• python train/train.py

1. Chạy ứng dụng:

• python app.py

license: mit