You can deploy this model and start earning money today!

SilvioLima/
absa_10_domains_large_lora

Name: absa_10_domains_large_lora
Availability: InStock

safetensors

SilvioLima/absa

apache-2.0

Views

No views yet

Load the tokenizer, model, and data collator

MODEL_NAME = "google/flan-t5-large"

model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

tokenizer = AutoTokenizer.from_pretrained(model_name)

data_collator = DataCollatorWithPadding(tokenizer=tokenizer) # do padding automatic according size of input_str

Configuração do LoRA

lora_config = LoraConfig(

task_type=TaskType.SEQ_2_SEQ_LM,

r=16,  # Exemplo de quantização para 8 bits

lora_alpha=32,

bias='none',

target_modules=['q', 'v'],  # Exemplo de módulos alvo para quantização

lora_dropout=0.01,

modules_to_save=['lm_head'],

)

Aplicar LoRA ao modelo base

model = get_peft_model(model, lora_config)

Configuração inicial do treinamento

num_train = 10500

num_valid = 1300

num_epochs = 10

max_length = 256

batch_size = 2

SilvioLima/absa_10_domains_large_lora

Load the tokenizer, model, and data collator

Configuração do LoRA

Aplicar LoRA ao modelo base

Configuração inicial do treinamento

SilvioLima/
absa_10_domains_large_lora