Views
No views yet
QLoRA_french_dpo so it can be applied to any LLaMA-3.1-8B fine-tuned model but may affect performance.set CUDA_VISIBLE_DEVICES=0 && llamafactory-cli train --stage pt --do_train True --model_name_or_path NousResearch/Meta-Llama-3.1-8B-Instruct --preprocessing_num_workers 16 --finetuning_type lora --template alpaca --rope_scaling linear --flash_attn fa2 --dataset_dir data --dataset french-raw-pt --cutoff_len 8192 --learning_rate 5e-05 --num_train_epochs 3.0 --max_samples 10000000 --per_device_train_batch_size 1 --gradient_accumulation_steps 1 --lr_scheduler_type cosine --max_grad_norm 1.0 --logging_steps 10 --save_steps 1000 --warmup_steps 0 --neftune_noise_alpha 5 --optim adamw_8bit --packing True --report_to none --output_dir saves\LLaMA3.1-8B-Chat\lora\QLoRA_french_pt --bf16 True --plot_loss True --ddp_timeout 180000000 --include_num_input_tokens_seen True --quantization_bit 4 --quantization_method bitsandbytes --lora_rank 32 --lora_alpha 64 --lora_dropout 0.15 --create_new_adapter True --lora_target allset CUDA_VISIBLE_DEVICES=0 && llamafactory-cli train --stage sft --do_train True --model_name_or_path NousResearch/Meta-Llama-3.1-8B-Instruct --preprocessing_num_workers 16 --finetuning_type lora --template alpaca --rope_scaling linear --flash_attn fa2 --dataset_dir data --dataset Acquiesce_french_vigogne,novel17_train --cutoff_len 8192 --learning_rate 5e-05 --num_train_epochs 3.0 --max_samples 10000000 --per_device_train_batch_size 1 --gradient_accumulation_steps 1 --lr_scheduler_type cosine --max_grad_norm 1.0 --logging_steps 10 --save_steps 1000 --warmup_steps 0 --neftune_noise_alpha 5 --optim adamw_8bit --packing True --report_to none --output_dir saves\LLaMA3.1-8B-Chat\lora\QLoRA_french_sft --bf16 True --plot_loss True --ddp_timeout 180000000 --adapter_name_or_path saves\LLaMA3.1-8B-Chat\lora\QLoRA_french_pt --quantization_bit 4 --quantization_method bitsandbytes --lora_rank 32 --lora_alpha 64 --lora_dropout 0.15 --lora_target allllama3_lora_dpo.yaml1### model:
2model_name_or_path: NousResearch/Meta-Llama-3.1-8B-Instruct
3quantization_bit: 4
4use_adam_mini: true
5adapter_name_or_path: saves\LLaMA3.1-8B-Chat\lora\QLoRA_french_sft
6
7### method
8stage: dpo
9do_train: true
10finetuning_type: lora
11lora_target: all
12pref_beta: 0.1
13pref_loss: sigmoid # choices: [sigmoid (dpo), orpo, simpo]
14
15### dataset
16dataset: french_orca_rlhf-revised
17template: llama3
18cutoff_len: 4096
19max_samples: 10000
20overwrite_cache: true
21preprocessing_num_workers: 16
22
23### output
24output_dir: saves/LLaMA3.1-8B-Chat/lora/QLoRA_french_dpo
25logging_steps: 10
26save_steps: 1000
27plot_loss: true
28overwrite_output_dir: true
29
30### train
31per_device_train_batch_size: 1
32gradient_accumulation_steps: 1
33learning_rate: 5.0e-6
34num_train_epochs: 1.0
35lr_scheduler_type: cosine
36warmup_ratio: 0.1
37bf16: true
38ddp_timeout: 180000000
39flash_attn: fa2
40optim: paged_adamw_8bitdataset_info.json:1 "french_orca_rlhf-revised": {
2 "hf_hub_url": "jpacifico/french-orca-dpo-pairs-revised",
3 "ranking": true,
4 "columns": {
5 "prompt": "question",
6 "chosen": "chosen",
7 "rejected": "rejected",
8 "system": "system"
9 }
10 },
11 "novel17_train": {
12 "hf_hub_url": "Nekochu/novel17_train_alpaca_format",
13 "formatting": "alpaca"
14 },
15 "Acquiesce_french_vigogne": {
16 "file_name": "Acquiesce_french_vigogne.json",
17 "formatting": "alpaca",
18 "columns": {
19 "prompt": "instruction",
20 "query": "input",
21 "response": "output",
22 "system": "system",
23 "history": "history"
24 }
25 },
26 "french-raw-pt": {
27 "file_name": "french-raw-pt.json",
28 "columns": {
29 "prompt": "text"
30 }
31 },### Instruction:
Écrire un texte dans un style baroque sur la glace et le feu
### Response:
La glace, cette matière si froide, si pure, si immuable, semble s'opposer en tout point à la flamme ardente, à cette force qui embrase tout ce qui se trouve sur son passage. Et pourtant, c'est précisément cette opposition qui rend leur confrontation si fascinant.
Lorsque la glace rencontre le feu, elle semble se dresser en défense contre cette menace brûlante. Ses cristaux brillent alors comme des diamants éblouissants, refusant de céder à cette envahissante passion de feu. Mais le feu, impétueux, persévérant, continue de s'enflammer, déterminé à briser cette barrière glacée.
Cependant, cette lutte apparente trouve en réalité une harmonie cachée. Car en se confrontant, ces deux éléments opposés créent une symphonie de contraires, où la glace se transforme en une eau cristalline, purifiée par cette confrontation flamboyante. Cette fusion paradoxale donne naissance à une nouvelle réalité, où la froideur et la chaleur se mêlent en une danse éblouissante.
Ainsi, cette opposition apparente entre la glace et le feu nous rappelle que même les contraires peuvent trouver leur place dans un monde en constante évolution. Cette confrontation symbolique nous invite à considérer les aspects contradictoires de notre propre existence, à embrasser cette dualité inhérente à notre nature humaine. En acceptant cette dualité, nous découvrons enfin la véritable beauté de notre existence, où la lumière et l'obscurité se mêlent en une symphonie harmonieuseassistant.scalablytyped
SupportedContentEn explorant cette opposition fascinante entre la glace et le feu, nous découvrons une vérité profonde sur notre propre existence. Cette confrontation symbolique nous rappelle que nous sommes composés de forces contradictoires, que notre essence même repose sur cette dualité inhérente à notre nature humaine. En embrassant cette dualité, nous découvrons enfin la beauté harmonieuse qui réside en chacun de nous, où la lumière et l'obscurité se mêlent en une symphonie captivanteassistantQLoRA_french_sft is more stable to avoid any gibberi like ""harmonieuseassistant.scalablytyped"".