You can deploy this model and start earning money today!

MucahitSylmz/
leakage-anatomy-bitcoin-aml

Name: leakage-anatomy-bitcoin-aml
Availability: InStock

Views

No views yet

🔬 Leakage Anatomy: Temporal Sızıntının Anatomisi

Yeni bir soru soruyoruz: Temporal sızıntı HER MODEL, HER ÖZELLİK ve HER OLAY için eşit mi?

📌 Neden Bu Çalışma Farklı?

Herkes Ne Biliyor?

"Temporal split kullanılmadığında performans yapay olarak artar." — Bu artık bilinen bir gerçek.

Kimse Ne Sormamış?

Sızıntı homojen bir fenomen mi, yoksa bir anatomisi var mı? Spesifik olarak:

Soru	Mevcut Cevap	Bizim Cevabımız
Sızıntı her model için eşit mi?	❓ Bilinmiyor	Hayır. LR %99 F1 enflasyonu alırken, LightGBM %30 alıyor
Sızıntı model sıralamasını değiştirir mi?	TabReD gözlemledi ama analiz etmedi	Evet. XGBoost ↔ LightGBM sıralaması tersine dönüyor
Hangi özellikler sızdırıyor?	❓ Kimse ölçmemiş	Local_9, Local_3, Agg_139 en çok sızdıran özellikler
Sızıntı her olay tipinde eşit mi?	❓ Kimse bakmamış	Hayır. Shutdown EVS=0.22, Normal EVS=0.03 (7x fark)
Sızıntı doğrusal mı?	❓ Varsayılıyor	Hayır. İllicit yoğunluğuyla negatif korelasyon (r=-0.89)

🧬 Literatürdeki 4 Açık ve Bizim Katkımız

Açık 1: Meyer et al. (2025)

"The magnitude of temporal leakage remains largely unknown"

— Rethinking Evaluation in the Era of TSFMs

Bizim cevabımız: Leakage Exploitation Index (LEI) ile ölçtük → %5.8 ile %8.8 AUROC arası

Açık 2: TabReD — Rubachev et al. (2024)

"Evaluation on time-based splits leads to different method ranking"

Bizim cevabımız: Model Ranking Inversion analizi → XGBoost ↔ LightGBM AUROC ve F1'de tersine dönüyor

Açık 3: Window Dilemma — Gower-Winter et al. (2026)

"We should move towards developing drift understanding: Where and How"

Bizim cevabımız: Feature Leakage Contribution (FLC) → Sızıntının %91'i Local özelliklerden geliyor

Açık 4: Solozobov (2026)

"Concept drift without feature change remains undetected"

Bizim cevabımız: Event Vulnerability Score (EVS) → Shutdown döneminde sızıntı 7x daha büyük

🔑 5 Yeni Kavram Tanıtıyoruz

1. Leakage Exploitation Index (LEI)

LEI(model) = (Performance_random - Performance_temporal) / Performance_temporal

Her modelin sızıntıyı ne kadar "sömürdüğünü" ölçer.

Sonuç:

Model	LEI (AUROC)	LEI (F1)	LEI (AUPRC)
Logistic Reg.	0.088	0.988 🔴	0.622
Random Forest	0.061	0.304	0.332
XGBoost	0.063	0.320	0.263
LightGBM	0.058	0.305	0.270

Logistic Regression F1'de %99 enflasyon alıyor! Basit modeller sızıntıdan en çok etkileniyor.

2. Model Ranking Inversion

Sızıntının model sıralamasını tersine çevirdiği durumlar.

Sonuç — AUROC sıralaması:

🔴 Random split: XGBoost > LightGBM (+0.0002)
🔴 Temporal split: LightGBM > XGBoost (+0.0042) ← TERSİNE DÖNDÜ!

F1 sıralaması da tersine döndü! Araştırmacı random split'e baksa XGBoost'u seçer, ama gerçek dünyada LightGBM daha iyi.

3. Feature Leakage Contribution (FLC)

FLC(feature) = PermutationImportance_random - PermutationImportance_temporal

Pozitif FLC = o özellik temporal bilgi sızdırıyor.

Sonuç: | Özellik Türü | Ortalama FLC | Toplam |FLC| | Sızdıran/Toplam | |-------------|-------------|------------|----------------| | Local (94 feat) | -0.0016 | 0.1633 | 22/94 (%23) | | Aggregated (72 feat) | -0.0002 | 0.0271 | 33/71 (%46) | | Network (3 feat) | -0.0000 | 0.0001 | 1/3 (%33) |

Local özellikler sızıntının %86'sını oluşturuyor!

4. Event Vulnerability Score (EVS)

EVS(event) = AUROC_random(event) - AUROC_temporal(event)

Sonuç:

Olay Tipi	RF EVS	XGB EVS	LGBM EVS
Shutdown	0.217 🔴	0.204 🔴	0.179 🔴
Post-shutdown	0.076	0.189 🔴	0.149 🔴
Recovery	0.083	0.055	0.060
Normal	0.031	0.040	0.036

Shutdown döneminde sızıntı normal dönemin 7x'i! Tam da en kritik anda en büyük yanılsama.

5. Leakage Amplification Curve

Sızıntı miktarının suç yoğunluğuyla ilişkisi.

Sonuç — Korelasyonlar:

Model	Pearson r
LightGBM	-0.890
XGBoost	-0.801
Random Forest	-0.620
Logistic Reg.	+0.477

Güçlü negatif korelasyon: İllicit oranı düşük timestep'lerde (kapanma sonrası) sızıntı daha büyük. Yani model, normal dönemlerde iyi çalışıyor gibi görünüp, kriz anında çöküyor — tam da sızıntının en tehlikeli olduğu senaryo.

📈 Görselleştirmeler

Figür 1: Leakage Exploitation Index

Figür 2: Model Ranking Inversion

Figür 3: Feature Leakage Contribution

Figür 4: Event Vulnerability Score

Figür 5: Leakage Amplification Curve

Figür 6: Composite Leakage Score

Figür 7: Sızıntının Zaman İçindeki Anatomisi

🧪 Deneysel Tasarım

Veri Seti

Elliptic Bitcoin Dataset — 203K Bitcoin işlemi, 234K kenar, 49 zaman adımı, 46K etiketli düğüm

Bölme Stratejileri

Rastgele: Standart train_test_split (stratified)
Temporal: İlk 39 TS eğitim, son 10 TS test

Modeller

Logistic Regression, Random Forest, XGBoost, LightGBM

Olay Tipleri

dark_market_peak (11 TS, %26.5 illicit)
shutdown (TS 43, %1.8)
post_shutdown (TS 44-46, %0.9)
recovery (TS 47-49, %6.4)
normal (31 TS, %7.0)

💡 Araştırmacılar İçin Çıkarımlar

Sadece "temporal split kullanın" demek yetmez — sızıntının anatomisini anlayın
Model karşılaştırmalarında sızıntı farklılığını raporlayın — LEI ile
Özellik mühendisliğinde FLC analizi yapın — hangi özellikler sızdırıyor?
Kritik olaylar için ayrı EVS raporlayın — genel metrikler shutdown'ı gizler
Sızıntının doğrusal olmadığını bilin — kriz anında en büyük yanılsama

📚 Bu Çalışmanın Dayandığı Açıklar

Makale	Açık (Future Work)	Bizim Cevabımız
Meyer et al. (2025)	"magnitude of temporal leakage remains largely unknown"	LEI ile ölçtük
TabReD (2024)	"time-based splits leads to different method ranking"	Ranking Inversion analizi
Window Dilemma (2026)	"move towards drift understanding: Where and How"	FLC decomposition
Solozobov (2026)	"concept drift without feature change remains undetected"	EVS per event type

📖 Atıf

bibtex

@misc{leakage_anatomy_2026,
  title={Leakage Anatomy: Dissecting Temporal Data Leakage in Bitcoin Anti-Money Laundering},
  author={Moco22},
  year={2026},
  howpublished={\url{https://huggingface.co/Moco22/leakage-anatomy-bitcoin-aml}},
  note={Introduces LEI, FLC, EVS, and Amplification Curve for systematic leakage analysis}
}

⚠️ Tek Cümle Sonuç

Temporal sızıntı homojen bir fenomen değildir — bir anatomisi vardır: bazı modeller %99 daha fazla sömürür, bazı özellikler 6x daha fazla sızdırır, ve kritik olaylarda sızıntı 7x büyür. "Temporal split kullanın" yetmez; sızıntının anatomisini anlayın.

🤗 Hugging Face ile oluşturulmuştur

MucahitSylmz/leakage-anatomy-bitcoin-aml