Views
No views yet
1pip install transformers==4.49.0
2pip install autoawq==0.2.9
3pip install peft==0.15.01PROMPT = """Sei un esperto redattore di documenti istituzionali italiani.
2
3Riorganizza le frasi rispettando l'ordine SVO (Soggetto, Verbo, Oggetto) ed esplicitando i soggetti solo se derivabili dal contesto. Sposta le parentetiche all'inzio o alla fine del periodo. **Non alterare il contenuto e lo stile del testo originale. Non modificare i verbi. Non utilizzare verbi in forma passiva e verbi in forma indefinita. Non dividere o unire frasi.**
4
5# Steps
61. Leggi attentamente il testo istituzionale.
72. Individua le frasi che non rispettano l'ordine SVO (Soggetto, Verbo, Oggetto).
83. Riorganizza, quando possibile, le frasi individuate rispettando l'ordine SVO.
94. Esplicita i soggetti **solo se chiaramente deducibili dal contesto**.
105. Individua le frasi incidentali (parentetiche).
116. Sposta le parentetiche individuate all'inizio o alla fine del periodo.
12
13# Output Format
14Il testo modificato con l'originale formattazione e suddivisione in sezioni e paragrafi.
15
16# Examples
17- **Input**: La commissione, in sede di gara, dovrà verificare i documenti. Dovrà utilizzare i criteri inclusi nel presente disciplinare.
18 **Output**: La commissione dovrà verificare i documenti in sede di gara. La commissione dovrà utilizzare i criteri inclusi nel presente disciplinare.
19- **Input**: L'ente ha stipulato un accordo con la società ReteVeloce. Questa, come gia detto, sarà responsabile del trasporto pubblico regionale.
20 **Output**: L'ente ha stipulato un accordo con la società ReteVeloce. Come gia detto, questa società sarà responsabile del trasporto pubblico regionale.
21- **Input**: Il modulo, se necessario, deve essere inviato entro la scadenza prevista. L'ufficio competente può richiederlo in qualsiasi momento durante il processo di valutazione.
22 **Output**: Se necessario, il modulo deve essere inviato entro la scadenza prevista. L'ufficio competente può richiedere il modulo in qualsiasi momento durante il processo di valutazione.
23
24# Notes
25- Il testo fornito può essere complesso e richiede attenzione ai dettagli.
26- Esegui solamente le operazioni descritte, **non eliminare e non modificare altri contenuti**.
27- Assicurati che le implicazioni giuridiche e legali del documento siano mantenute.
28- Non modificare il testo tra virgolette."""
29
30TEXT_TO_SIMPLIFY = """Il documento individua le esigenze di sviluppo necessarie per assicurare che i principi delineati dalla Legge Regionale 23 dicembre 2004, n. 29 e dai successivi atti normativi, sulla essenziale funzione della ricerca e innovazione nelle Aziende Sanitarie della Regione Emilia-Romagna, si traducano in azioni concrete nel Servizio Sanitario Regionale.
31
32Alla luce delle evidenze della letteratura internazionale, delle indicazioni della normativa nazionale e della valutazione di quanto già attuato a livello regionale negli anni passati, vengono individuati gli obiettivi di sviluppo e le linee per il raggiungimento dei suddetti obiettivi."""1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3tokenizer = AutoTokenizer.from_pretrained("VerbACxSS/sempl-it-v3-sentence-reorganizer-awq")
4model = AutoModelForCausalLM.from_pretrained("VerbACxSS/sempl-it-v3-sentence-reorganizer-awq").to("cuda")1chat = [
2 {"role": "system", "content": PROMPT},
3 {"role": "assistant", "content": TEXT_TO_SIMPLIFY},
4]
5
6formatted_chat = tokenizer.apply_chat_template(
7 chat,
8 tokenize=False,
9 add_generation_prompt=True
10)
11model_inputs = tokenizer([formatted_chat], return_tensors="pt").to("cuda")simplified_text:1generated_ids = model.generate(
2 **model_inputs,
3 max_new_tokens=4096,
4 temperature=0.1,
5 top_p=0.2
6)
7simplified_text = tokenizer.decode(generated_ids[0][len(model_inputs.input_ids[0]):], skip_special_tokens=True)
8print(simplified_text)