Yapay zeka metni nasıl tespit ediliyor, neden zor?

Kısa cevap

Yapay zeka metni tespiti, bir cümleye bakıp "bunu makine yazdı" demek değil. Çalışan yöntemlerin hiçbiri kesinlik üretmiyor; hepsi olasılık üretiyor. Bu yüzden "gerçek mi sahte mi" sorusu, pratikte cevaplanabilir bir soru bile değil — daha yararlı olan soru bir metnin ne kadarının yapay zekadan geldiği.

Tespit girişimi Pangram'ın kurucu ortağı ve CEO'su Max Spero, TechCrunch'ın Equity programında tam olarak bunu anlatıyor: bir şeyi "yapay zeka" ya da "insan" diye etiketlemek yerine ne kadar yapay zeka girdiği hesaplamak hem daha zor hem de daha işe yarar. Şirket geçtiğimiz dönemde tespit sistemi için 9 milyon dolar topladı ve Substack ile ortaklık kurdu; platform artık okuyucularına takip ettikleri yazarlardan hangilerinin bültenlerini yapay zekayla yazdığını gösteriyor.

Aslında üç ayrı soru var

Tartışmanın büyük kısmı, birbirine karıştırılan üç soruyu tek soru sanmaktan çıkıyor:

• Bu metni bir model mi üretti? İkili bir sınıflandırma. En çok sorulan ama en az bilgi veren soru.
• Metnin ne kadarı modelden geliyor? Bir taslağı modele düzelttiren yazar ile komutu verip çıktıyı olduğu gibi yayımlayan kişi aynı yerde değil. Ölçek sorusu ikili etiketten daha bilgilendirici.
• Hangi model üretti? Telif, sözleşme ve uyum denetimlerinde asıl önemli olan bu; ama en zor cevaplananı da bu.

Bir kurumun hangi soruyu sorduğunu bilmeden hangi yöntemi seçeceğine karar vermesi mümkün değil. Aşağıdaki yöntem aileleri bu üç soruya farklı derecelerde cevap veriyor; hiçbiri üçünü birden iyi karşılamıyor. Bir okul için genellikle ikinci soru, bir yayıncı için birincisi, bir hukuk ekibi için üçüncüsü belirleyici oluyor — ve bu tercih, hangi hata türüne katlanabileceğinizi de baştan belirliyor.

Tespit yöntemleri: dört aile

Yöntem	Neye bakıyor	Zayıf noktası
İstatistiksel imza	Metnin bir dil modeline göre ne kadar "beklenebilir" olduğu; kelime seçimlerinin dağılımı ve tekdüzeliği	Düzenlenmiş, kısa ya da çeviri metinlerde çöküyor
Eğitilmiş sınıflandırıcı	İnsan ve model metinleriyle eğitilmiş ayrı bir modelin verdiği olasılık	Eğitim verisinde olmayan yeni bir modelin çıktısında kör kalabiliyor
Filigran	Üretim anında metne kasıtlı olarak gömülen, gözle görünmeyen istatistiksel iz	Yalnızca filigran koyan sağlayıcının modelinde çalışıyor; silinebiliyor
Kaynak künyesi	Dosyaya iliştirilen üretim bilgisi — kim, hangi araçla, ne zaman	Kopyala-yapıştır ile kayboluyor; metinde neredeyse hiç tutunmuyor

İlk ikisi metnin kendisine bakıyor ve her metinde çalışabiliyor; son ikisi metni üreten tarafın iş birliğini gerektiriyor. Bu ayrım pratikte belirleyici: bir üniversite ya da bir işveren, öğrencinin hangi modeli kullandığını seçme lüksüne sahip değil, dolayısıyla filigrana dayanan bir politika baştan eksik kalıyor.

Filigran neden tek başına yetmiyor?

Filigran fikri sağlam: model, çıktı üretirken kelime seçimlerindeki rastgeleliğin kaynağını, sonradan istatistiksel olarak tanınabilecek biçimde değiştiriyor. Anthropic bu yöntemi Claude metinleri için ayrıntılarıyla açıkladı ve bir algılama arayüzü açtı. Ama üç sınırı var.

Birincisi kapsam: yalnızca filigran koyan sağlayıcının modeli tanınıyor. Açık ağırlıklı bir modeli kendi donanımında çalıştıran biri filigranı hiç koymuyor. İkincisi dayanıklılık: Claude'un görünmez işaretini kaldıran kodun yayımlanması dört saat sürmüştü. Üçüncüsü ise görsel tarafında yaşandı — Google, üretilen görsellerdeki görünür filigranı kaldırılabilir hâle getirdi; yalnızca yasal zorunluluk olan ülkelerde zorunlu kaldı.

Filigran yine de değersiz değil. Sağlayıcının kendi ürününü tanıması gereken durumlarda — kötüye kullanım incelemesi, kurumsal uyum, ihlal soruşturması — işe yarıyor. Yalnızca "internetteki her metni etiketleyeceğiz" iddiasını taşıyamıyor.

Hangi modelin yazdığını bulmak

Üç sorudan en zoru buydu: metnin hangi modelden çıktığını söylemek. İstatistiksel imza yöntemleri burada kısmen işe yarıyor, çünkü her modelin kelime seçimlerinde kendine özgü bir eğilimi oluyor — aynı komuta verdiği cevabın "tadı" farklı. Ama bu eğilim modelin sürümüyle birlikte değişiyor; bir hafta önce doğru çalışan bir ayrım, yeni bir sürümden sonra tutmayabiliyor.

Filigran bu soruya en net cevabı veren yöntem, ama yalnızca filigran koyan sağlayıcı için. Yani "hangi model" sorusunun cevabı pratikte ikiye ayrılıyor: filigranlı sağlayıcılar için neredeyse kesin, geri kalan her şey için tahmin. Bu asimetri, açık ağırlıklı modellerin yaygınlaşmasıyla birlikte büyüyor.

Türkçe tarafında ek bir zorluk

Tespit araçlarının çoğu ağırlıklı olarak İngilizce metinle eğitiliyor ve başarım rakamları da genellikle İngilizce üzerinden bildiriliyor. Türkçe için bu iki yönlü bir sorun üretiyor: hem eğitim verisi daha az, hem de dilin yapısı istatistiksel imzayı zorlaştırıyor. Sondan eklemeli bir dilde aynı kök farklı eklerle onlarca biçime giriyor; kelime düzeyinde öngörülebilirlik ölçen bir yöntem, İngilizcedeki kadar temiz bir sinyal bulamıyor.

Pratik sonuç şu: İngilizce için bildirilen bir doğruluk oranını Türkçe metne olduğu gibi taşımak yanlış. Bir kurum Türkçe içerikte tespit aracı kullanacaksa, o aracın Türkçe başarımını ayrıca sorması gerekiyor — ve çoğu sağlayıcı bu rakamı paylaşmıyor.

Asıl mesele: yanlış pozitifin bedeli

Bir tespit aracının doğruluk oranı tek başına anlamlı değil; hangi yönde yanıldığı belirleyici. Yanlış negatif — yapay zeka metnini kaçırmak — çoğu durumda katlanılabilir. Yanlış pozitif ise bir insanı hile yapmakla suçlamak demek.

Bu asimetri, tespit araçlarının en çok kullanıldığı yerde en ağır sonuçları doğuruyor: eğitimde. Yabancı dilde yazan, sınırlı kelime dağarcığıyla ve düz bir cümle yapısıyla ilerleyen bir öğrenci, istatistiksel imza yöntemlerinde tam da modelin ürettiği metne benziyor — çünkü ikisinin de ortak özelliği öngörülebilirlik. Aynı sorun, üslubu bilinçli olarak sade tutan teknik yazarlar için de geçerli.

Spero'nun altını çizdiği başka bir nokta da hassas görsellerde yanlış pozitifin bedeli. Bir metin için "yapay zeka" damgası itibar sorunu üretiyor; kişisel bir görsel için aynı damga çok daha ağır bir iddiaya dönüşüyor.

Neden bu iş kolaylaşmıyor?

Tespit ile üretim arasında yapısal bir asimetri var. Üretim tarafı her sürümde daha az öngörülebilir, daha çeşitli ve daha "insansı" metin üretmeye çalışıyor — yani tespitin dayandığı sinyali bilerek zayıflatıyor. Tespit tarafı ise her yeni modelde yeniden kalibre olmak zorunda. Bu, savunanın her zaman bir adım geriden geldiği bir yarış: yeni bir model çıktığında tespit aracı onu tanımıyor ve tanıması için önce o modelin ürettiği metinden yeterince örnek toplanması gerekiyor.

Üstüne dört pratik zorluk biniyor:

• Kısa metin: İstatistiksel sinyal uzunlukla güçleniyor. Bir yorum ya da ürün değerlendirmesi çoğu zaman karar vermeye yetecek kadar veri taşımıyor.
• Yeniden yazım: Modelin çıktısını başka bir modele "kendi cümlelerinle yaz" diye vermek imzayı büyük ölçüde siliyor.
• Karma yazım: Şu anda en yaygın kullanım biçimi bu; taslağın insandan, düzeltmenin modelden geldiği metinlerde ikili etiket zaten anlamsız.
• Hedefli kaçınma: Tespit aracının nasıl çalıştığını bilen biri, çıktıyı o araçtan geçecek şekilde ayarlayabiliyor.

Pratikte ne yapmalı?

Tespit aracını tek başına bir karar mekanizması olarak kullanmak, aracın taşıyamayacağı bir yükü ona yıkmak oluyor. Daha savunulabilir bir düzen şöyle kuruluyor:

• Aracın çıktısını bir kanıt değil, bir işaret sayın; tek başına yaptırım gerekçesi olmasın.
• Eşiği kullanım alanına göre belirleyin: bir yayıncının içerik akışı ile bir üniversitenin disiplin süreci aynı yanılma payını kaldıramaz.
• İkili etiket yerine oran isteyin; "yüzde kaçı" sorusu "evet/hayır"dan hem daha dürüst hem daha kullanışlı.
• Süreci beyana dayandırın: kullanımın açıkça bildirildiği bir düzen, tespit etmeye çalışmaktan daha ucuz ve daha adil.
• Yanlış pozitife itiraz yolu bırakın; itiraz mekanizması olmayan bir tespit politikası er ya da geç birini haksız yere cezalandırır.

"Ölü internet" ne kadar yakın?

Spero'nun daha geniş iddiası şu: internet, birkaç yıl içinde "ölü internet teorisi"nin gerçeğe dönüşmesine tehlikeli biçimde yakın. Kastettiği şey, akışların yapay zeka içeriğiyle dolması değil yalnızca; iş başvurularına, ürün değerlendirmelerine, hatta sigorta taleplerine yapay zeka üretimi metin ve görsellerin girmesi. Bu durumda internetin ihtiyacı olan şey bir "güven katmanı" oluyor — Pangram gibi girişimlerin doldurmaya çalıştığı boşluk da bu.

Spero'nun iş tarafına dair öngörüsü ise iki yönlü: yazı işlerinin "alt basamağının" kalıcı olarak gittiğini, buna karşılık gerçekten iyi insan yazısının daha değerli hâle gelebileceğini düşünüyor. Bu ikinci yarı, tespit tartışmasının neden yalnızca teknik bir mesele olmadığını da gösteriyor: bir metnin kim tarafından yazıldığı sorusu, o metnin ne kadar değerli sayıldığı sorusundan ayrılmıyor.

Özetle

Tespit araçları çalışıyor ama kesinlik vermiyor; verdikleri şey olasılık ve o olasılığın nasıl kullanıldığı tamamen kurumun tercihi. Şimdilik en savunulabilir duruş, aracı bir kanıt makinesi gibi değil, insan kararını besleyen bir sinyal gibi kullanmak — ve yanlış pozitif ihtimalini politikanın merkezine koymak.

Uzun vadede tartışmanın tespitten beyana kayması muhtemel. Bir metnin makineyle yazılıp yazılmadığını dışarıdan ölçmek her geçen sürümde zorlaşırken, kullanımın baştan bildirildiği bir düzeni kurmak teknik olarak çok daha ucuz. Substack'in yazarların yapay zeka kullanımını okuyucuya göstermesi de tam olarak bu yönde bir hamle: sorunu tespit problemi olmaktan çıkarıp şeffaflık problemi hâline getiriyor.