You can deploy this model and start earning money today!

ok230195/
llama3-japanese-confidential-tokenizer

Name: llama3-japanese-confidential-tokenizer
Availability: InStock

Views

No views yet

Llama3-Japanese-Confidential-Tokenizer

概要

Japanese Confidential Data Detectionに特化したカスタムTokenizerです。

特徴

ベースモデル: meta-llama/Meta-Llama-3-8B-Instruct
対象言語: Japanese
専門分野: Confidential Data Classification
作成者: 大阪国際工科専門職大学

専門機能

Japanese confidential data terminology
Personal information detection tokens
Corporate secret classification tokens
Financial data handling tokens

使用方法

python

from transformers import AutoTokenizer

# カスタムTokenizerを読み込み
tokenizer = AutoTokenizer.from_pretrained("your-username/tokenizer-name")

# 機密データを含むテキストをトークン化
text = "田中太郎さんの個人情報は機密扱いです。"
tokens = tokenizer.tokenize(text)
print(tokens)

# エンコード・デコード
input_ids = tokenizer.encode(text, return_tensors="pt")
decoded = tokenizer.decode(input_ids[0], skip_special_tokens=True)

カスタマイズ内容

追加された専門トークン

機密データカテゴリ: [機密データ], [個人情報], [企業秘密] など
判定結果: [機密:有], [機密:無], [要注意] など
日本語固有表現: [社外秘], [極秘], [取扱注意] など

特殊トークン

<|CONFIDENTIAL_START|> / <|CONFIDENTIAL_END|>
<|PERSONAL_INFO_START|> / <|PERSONAL_INFO_END|>
その他分類用特殊トークン

ライセンス

Llama 3 Community License

注意事項

このTokenizerは教育・研究目的で作成されました。実際の機密データ処理には適切なセキュリティ対策を講じてください。

Built with Llama 3 Community License

ok230195/llama3-japanese-confidential-tokenizer