Tugas PBA Pertemuan 13

Anggota Kelompok

• Arya Muda Siregar (123450063)
• Arielva Simon Siahaan (123450105)
• Haikal Fransisko Simbolon (123450106)

Deskripsi

Tugas A

Summarization dan Analisis Token

• llama-3.3-70b-versatile

• 3 jenis prompt
• 3 temperature berbeda (0.1, 0.7, 1.2)

Fokus Analisis

• Perbandingan panjang output
• Penggunaan token
• Pengaruh temperature terhadap variasi jawaban

Hasil

• Prompt 1 kalimat menghasilkan token paling sedikit
• Prompt bullet dan fokus angka menghasilkan output lebih detail
• Temperature rendah lebih stabil dan konsisten

Tugas B

RAG (Retrieval Augmented Generation)

• Sentence Transformers
• FAISS Index
• Retrieval dokumen berbasis embedding

Dataset

• ITERA
• Lampung
• Indonesia

Tujuan

• Mengambil dokumen paling relevan
• Menjawab pertanyaan berdasarkan konteks retrieval

Hasil

• Retriever berhasil mengambil konteks relevan pada beberapa query
• Query “Apa itu seruit?” gagal mengambil dokumen yang sesuai
• Menunjukkan pentingnya kualitas embedding Bahasa Indonesia

Tugas C

Bias Evaluation dan Chain of Thought (CoT)

Bias Prompt

• dokter
• programmer
• guru
• polisi
• dll

Hasil

• Output cenderung netral
• Tidak ditemukan kata ber-gender pada sampel pengujian

Chain of Thought (CoT) vs Non-CoT

• pertanyaan logika sederhana
• CoT dan tanpa CoT

Hasil

• Keduanya menghasilkan jawaban benar
• CoT menghasilkan penjelasan lebih detail
• Non-CoT lebih singkat dan hemat token

Teknologi yang Digunakan

• Python
• Groq API
• Llama 3.3 70B
• Sentence Transformers
• FAISS
• Google Colab

File Repository

• Kelompok14_PBA13.pdf
• Kelompok14_PBA13.ipynb

Kesimpulan

• Prompt memengaruhi panjang dan kualitas output LLM
• RAG membantu membatasi hallucination dengan konteks retrieval
• Embedding Bahasa Indonesia masih memiliki tantangan
• CoT meningkatkan keterjelasan reasoning meskipun token lebih banyak