You can deploy this model and start earning money today!

junghan/
Qwen3-8B-Event_Summary

Name: Qwen3-8B-Event_Summary
Availability: InStock

safetensors

Views

No views yet

인퍼런스 프롬프트 스타일

Inference 프롬프트 스타일 정의

inference_prompt_style = """Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request. Before answering, think carefully about the question and create a step-by-step chain of thoughts to ensure a logical and accurate response.

Instruction:

아래 뉴스를 읽고 중요한 키워드 중심으로 짧게 요약하세요.

Question:

{}

Response:

{} {}"""

인퍼런스 함수

THEME_HIST만 입력으로 받아서 요약 생성

def predict_label(text: str) -> str: # THEME_HIST(뉴스 본문)만 question에 넣습니다 question = text.strip() # inference_prompt_style에 question만 첫 번째 {}에, 나머지 두 자리는 빈 문자열("")로 채워줍니다 prompt = inference_prompt_style.format(question, "", "") + tokenizer.eos_token

inputs = tokenizer(
    prompt,
    return_tensors='pt',
    truncation=True,
    max_length=2048
).to('cuda')
outputs = model.generate(
    input_ids=inputs.input_ids,
    attention_mask=inputs.attention_mask,
    max_new_tokens=100,
    eos_token_id=tokenizer.eos_token_id,
    use_cache=True,
)
decoded = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]
# "### Response:" 뒤의 텍스트를 요약으로 가져옵니다
summary = decoded.split("### Response:")[-1].strip()
return summary

──────────────────────────────────────────────────────────────

직렬 루프 대신 ThreadPoolExecutor로 병렬 인퍼런스

import torch from concurrent.futures import ThreadPoolExecutor, as_completed

모든 THEME_HIST를 미리 프롬프트화

prompts = [ inference_prompt_style.format(row['THEME_HIST'].strip(), "", "") + tokenizer.eos_token for _, row in df.iterrows() ]

스레드 단위로 한 건씩 infer 실행

def infer_one(prompt: str) -> str: with torch.no_grad(): inputs = tokenizer( prompt, return_tensors='pt', truncation=True, max_length=2048 ).to('cuda') outputs = model.generate( input_ids=inputs.input_ids, attention_mask=inputs.attention_mask, max_new_tokens=100, eos_token_id=tokenizer.eos_token_id, use_cache=True, ) decoded = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0] return decoded.split("### Response:")[-1].strip()

최대 8개 스레드로 병렬 실행

summaries = [] with ThreadPoolExecutor(max_workers=8) as executor: futures = [executor.submit(infer_one, p) for p in prompts] for fut in tqdm(as_completed(futures), total=len(futures), desc="Parallel inference"): summaries.append(fut.result())

후처리 코드

summary 컬럼에서 태그 이후만 추출

df['summary'] = ( df['summary'] .astype(str) .str.split(r'', n=1) # 로 한 번만 분할 .str[-1] # 뒤쪽 부분 선택 .str.strip() # 앞뒤 공백 제거 )

junghan/Qwen3-8B-Event_Summary