🌾 KlonSuphap-LM (แต่งกลอนแปด ด้วย GPT-2)

1. Fine-Tuning dataset preprocessing.
     As I have a limited quantity of Thai Klon-Paed Poem or about 65770 lines (บาท), thus to succeed in the objective of making the model to be more adhere to rules, I developed a technique called "Rhyme Tagging".
     "Rhyme Tagging" performs tag insertion before and after words that are expected to rhyme with the other words based on Klon-Paed Rules.
   Example
   

     พอได้ยินเสียงระฆังข้างหลัง<s2>เขา</s2>
   เห็นผู้<es2>เฒ่า</es2>ออกจากชะวาก<s2>ผา</s2>
   สรรพางค์ร่างกายแก่ช<es2>รา</es2>
   แต่ผิว<es2>หน้า</es2>นั้นละม้ายคล้ายทา<s3>รก</s3>  

   With "Rhyme Tagging", the potential loss of rhyme information due to an overwhelming flood of non-rhyme-related data can be mitigated. This approach aids the self-attention mechanism in extracting a greater amount of rhyme-related information, ensuring its preservation and relevance throughout the processing.
2. Applying Attention-Mask while fine-tuning.
     Apart from performing a common fine-tuning process using the preprocessed dataset, I did fine-tune the model by applying Attention-Mask to non-rhyme-related words to the dataset as following visualization.
   Visualized Example
   

     ------------------------------<s2>เขา</s2>
   -----<es2>เฒ่า</es2>--------------------<s2>ผา</s2>
   ---------------------------<es2>รา</es2>
   ------<es2>หน้า</es2>-----------------------<s3>รก</s3>  

   By applying Attention-Mask while fine-tuning, the model can prioritize the extraction of information from both the rhyme-tags and their surrounding words without dropping positional information. This enhances the model's performance in subsequent stages of fine-tuning as if the model were constructing lookup table for rhyme-related words.
3. Performing Reinforcement Learning
     After the stage of Supervised Fine-Tuning, I perform Reinforcement Learning to the model using voidful/TextRL by defining Klon-Paed Grader as a PPO Environment.
     I perform Reinforcement Learning by randomly pick initial 2-5 syllables from the validation set as text inputs in an observation list, then I force the model to generate only 1 line (บาท) which has only 1 rhyme pair.
     TextRL will repeatedly feed text inputs from the observation list to the model and calculate the reward using my Klon-Paed Grader, then update the model's weights based on rewards it recieved.

Cherry-Picked Examples From Demo (Top-P 0.8 Temp 0.8)

  ปัญญาประดิษฐ์องค์ทรงสุรดี
เห็นสุดมีบังคมก้มเกศา
ต่างยิ้มละลูกยับลงตรงบันลา
ถึงว่ารุ่งรางสว่างกลางนวัง  

  ขอขอบคุณบุญกุศลจิต
เป็นเพื่อนคิดจะเป็นคู่เคหา
ต่างคนกับเหล่านางสร้อยตา
ต้องมาก็จะมาไปว่าไร  

  ทรานส์ฟอร์เมอร์มีเซลฟ์แอตเทนชัน
ขึ้นบรรลักษณ์ก็เหลือบเขียนฉงน
ที่จับต้อนแต่เรือนเพื่อนเหมือนอย่างวน
จะต้องชวนมาช่วยให้เชยชม  

Example use