Views
No views yet
1 per_device_train_batch_size = 2, # 每个设备的训练批量大小
2 gradient_accumulation_steps = 4, # 梯度累积步数
3 warmup_steps = 5,
4 max_steps = 60, # 最大训练步数，测试时设置
5 # num_train_epochs= 5, # 训练轮数
6 logging_steps = 10, # 日志记录频率
7 save_strategy = "steps", # 模型保存策略
8 save_steps = 100, # 模型保存步数
9 learning_rate = 2e-4, # 学习率
10 fp16 = not torch.cuda.is_bf16_supported(), # 是否使用float16训练
11 bf16 = torch.cuda.is_bf16_supported(), # 是否使用bfloat16训练
12 optim = "adamw_8bit", # 优化器
13 weight_decay = 0.01, # 正则化技术，在损失函数中添加正则化项来减小权重的大小
14 lr_scheduler_type = "linear", # 学习率衰减策略
15 seed = 3407, # 随机种子1from huggingface_hub import snapshot_download
2snapshot_download(repo_id="basuo/llama-law", ignore_patterns=["*.gguf"]) # Download our BF16 model without downloading GGUF models.1import torch
2from unsloth import FastLanguageModel
3model, tokenizer = FastLanguageModel.from_pretrained(
4 model_name = "/Your/Local/Path/to/llama-law",
5 max_seq_length = 2048,
6 dtype = torch.float16,
7 load_in_4bit = True,
8)
9FastLanguageModel.for_inference(model)1alpaca_prompt = """
2下面是一项描述任务的说明，配有提供进一步背景信息的输入。写出一个适当完成请求的回应。
3
4### Instruction:
5{}
6
7### Input:
8{}
9
10### Response:
11{}
12"""
13
14inputs = tokenizer(
15[
16 alpaca_prompt.format(
17 "没有赡养老人就无法继承财产吗？", # instruction
18 "", # input
19 "", # output
20 )
21], return_tensors = "pt").to("cuda")
22
23outputs = model.generate(**inputs, max_new_tokens = 64, use_cache = True)
24tokenizer.batch_decode(outputs)['\n下面是一项描述任务的说明，配有提供进一步背景信息的输入。写出一个适当完成请求的回应。\n\n### Instruction:\n没有赡养老人就无法继承财产吗？\n\n### Input:\n\n\n### Response:\n\n不是的，根据《中华人民共和国继承法》规定，继承人应当履行赡养义务，未履行赡养义务的，应当承担赡养费用。因此，如果没有赡养老人，继承人可以继承财产，但需要承担']