Ne oldu?
Danial Sharifrazi, Saadat Behzadi ve yedi araştırma ortağının kaleme aldığı yeni bir çalışma, dang virüsü serotip 2 (DENV2) ile enfekte olmuş sivrisinekleri video görüntülerinden tespit eden bir yapay zeka modeli sundu. Araştırma, 13 Ağustos 2026 tarihinde arXiv üzerinde yayımlandı.
Sistem, önce YOLO nesne tespit modeliyle sivrisinekleri arka plandan ayıklıyor, ardından görüntü özelliklerini biyolojik açıdan anlamlı metin ifadeleriyle ortak bir gömme (embedding) uzayında eşleştiriyor. Bu eşleştirme, Contrastive Language-Image Pre-training (CLIP) adı verilen görsel-dilsel model mimarisiyle yapılıyor.
Neden önemli?
Sivrisineklerin küçük boyutu, düzensiz ve hızlı hareketleri ile aydınlatma, gölge gibi çevresel etkenler, video tabanlı analizde güvenilir özellik çıkarımını zorlaştırıyor. Araştırmacıların önerdiği model, denetimli çift yönlü kontrastif öğrenme (bidirectional contrastive learning) ile ince ayar yapılarak bu zorlukların üstesinden gelmeyi hedefliyor.
Modelin kare düzeyinde yüzde 98,54 doğruluk ve yüzde 99,91 duyarlılık elde etmesi, enfeksiyon kaynaklı davranış değişikliklerinin video verisinden otomatik olarak izlenebileceğini gösteriyor. Video karelerindeki bilgiler zaman içinde birleştirildiğinde model, tam video düzeyinde eksiksiz performansa ulaştı.
Bulgular
- YOLO tabanlı bölgeleme, sivrisinekleri arka plandan başarıyla ayırdı.
- CLIP tabanlı temsiller ve ince ayar, doğru sınıflandırma için belirleyici oldu.
- Metin bileşeni, doğruluğu artırmak yerine görüntü-metin arasında anlamsal hizalama sağladı.
- Model, kare düzeyinden video düzeyine geçişte performans kaybı yaşamadı.
Sırada ne var?
Araştırmacılar, bu görsel-dilsel çerçevenin diğer enfeksiyon kaynaklı biyolojik davranışların video verisinden analiz edilmesinde de kullanılabileceğini belirtiyor. Çalışmanın bundan sonraki aşamalarına veya klinik ya da saha uygulamalarına dair ayrıntılı bir takvim şu ana kadar paylaşılmadı.