本モデルは、総計
10.6B トークンに基づいて事前学習されており、標準的なマスク言語モデル（MLM）に加えて、
行単位マスキング（line-level masking） を組み合わせた学習戦略を採用しています。
行単位マスキングの詳細については
こちらのサイトをご確認ください
これにより、コード中の**局所的文脈（token-level）
とより大きな構造的文脈（line-level）**の両方を捉える能力が向上し、コード検索・コード補完など、さまざまなプログラミング言語処理タスクでの活用が期待できます。
