Views
No views yet
pip install transformers torch accelerate bitsandbytes1from transformers import AutoModelForCausalLM, AutoTokenizer
2model_name = "Aktraiser/model_test1"
3Chargement du modèle avec configuration optimisée
4model = AutoModelForCausalLM.from_pretrained(
5model_name,
6torch_dtype="auto",
7device_map="auto",
8load_in_4bit=True
9)
10tokenizer = AutoTokenizer.from_pretrained(model_name)
11Format de prompt recommandé
12prompt_template = """Tu es un expert en fiscalité.
13Texte principal:
14{texte}
15Question:
16{question}
17Réponse:
18Exemple d'utilisation
19texte = "Le régime micro-entrepreneur permet des démarches simplifiées pour la création, la déclaration, et le paiement des cotisations."
20question = "Qu'est-ce que le régime de la micro-entreprise ?"
21prompt = prompt_template.format(texte=texte, question=question)
22inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
23Génération avec paramètres optimisés
24generated_ids = model.generate(
25inputs,
26max_new_tokens=512,
27temperature=0.7,
28top_p=0.95,
29repetition_penalty=1.15,
30do_sample=True
31)
32response = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
33print(response)1generation_params = {
2"max_new_tokens": 512, # Longueur maximale de la réponse
3"temperature": 0.7, # Créativité de la réponse
4"top_p": 0.95, # Filtrage des tokens
5"repetition_penalty": 1.15, # Évite les répétitions
6"do_sample": True # Génération stochastique
7}1from huggingface_hub import InferenceClient
2client = InferenceClient("https://api-inference.huggingface.co/models/Aktraiser/model_test1")
3def query(payload):
4response = client.post(json=payload)
5return response.json()
6Exemple de requête
7payload = {
8"inputs": prompt,
9"parameters": generation_params
10}
11response = query(payload)
12print(response)1@misc{llm-fiscalite,
2author = {Aktraiser},
3title = {LLM Fiscalité - Assistant Expert en Fiscalité Française},
4year = {2024},
5publisher = {GitHub},
6journal = {GitHub repository},
7howpublished = {\url{https://huggingface.co/Aktraiser/model_test1}}
8}
9