Çok kipli modeller: görsel ile metni aynı uzayda buluşturmak
CLIP'in çekirdeği burada gerçekten eğitiliyor. Üç sonucun ikisi beklendiği gibi çıkmıyor.
4 adım
225 XP
Ücretsiz hesap gerekiyor
Derse başla →
Kaynaklar
- Radford, A. et al. 2021 · Learning Transferable Visual Models From Natural Language Supervision · ICML 2021 · CLIP
- Liang, W. et al. 2022 · Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning · NeurIPS 2022
- Oord, A. van den, Li, Y. & Vinyals, O. 2018 · Representation Learning with Contrastive Predictive Coding · arXiv:1807.03748 · InfoNCE
ML Academy · tarayıcıda çalışan interaktif makine öğrenmesi kursu ·
Bütün dersler