Bir öğrenci ödevini iyi yapan şey nedir ve yapay zeka bunun hangi kısmını iyileştirebilir? Bocconi Üniversitesi'nde 1.053 birinci sınıf öğrencisiyle yapılan rastgele bir deney, GPT-4o'nun öğrencilere bir işletme ödevinde belirgin biçimde daha iyi not aldırdığını buldu.

Ama çalışmanın asıl ilginç bulgusu not artışı değil. Deney, puanlama ölçütünün neyi ödüllendirdiğini açığa çıkardı — ve orada rahatsız edici bir şey var.

Bu rehber deneyi, bulguyu ve neyin gösterilmediğini adım adım açıyor.

1. Deney nasıl kuruldu

Kasım 2025'te bir giriş düzeyi işletme dersinin 13 şubesi rastgele dört gruba ayrıldı:

  • Kontrol — hiçbir müdahale yok
  • Nedensel akıl yürütme dersi — kısa bir eğitim
  • GPT-4o erişimi
  • İkisi birden

Görev: üniversitenin ürün mağazası için en fazla 180 kelimelik pazarlama önerileri yazmak. Ders ise tutarlı nedensel mantığı, yanlışlanabilirliği ve önerilen bir eylemin istenen sonuca nasıl yol açabileceğini işliyordu.

2. Bu deney neden diğerlerinden ayrı duruyor

Yapay zekanın eğitimdeki etkisine dair iddiaların çoğu gözlem: "öğrencilerin notları yükseldi", "ödevler değişti". Gözlem, sebebi göstermez — notlar başka bir nedenle de yükselmiş olabilir.

Bu çalışma farklı bir sınıfta: rastgeleleştirilmiş bir deney. Aynı dersin şubeleri kura ile dört gruba ayrıldı, yani gruplar arasındaki fark öğrencilerin kendi seçiminden değil tasarımdan geliyor. Bu, sebep-sonuç iddiası kurmayı mümkün kılan tek yöntem.

İkinci sağlamlık noktası puanlamada: ana performans notunu, hangi metnin hangi gruba ait olduğunu bilmeyen insan değerlendiriciler verdi. Kör değerlendirme, "yapay zeka kullandığını bildiğim için farklı puanladım" etkisini ortadan kaldırıyor.

Üçüncüsü ölçek: 1.053 öğrenci, bu tür sınıf içi deneyler için büyük bir sayı.

Bu üçü, bulguyu ciddiye almak için yeterli sebep. Ama aynı titizlik sonucun sınırlarını da netleştiriyor — altıncı bölümde göreceğimiz gibi, iyi tasarlanmış bir deney bile yalnızca ölçtüğü şeyi gösterir. Burada ölçülen şey bu ödevdeki not.

3. GPT-4o notu ne yaptı

GPT-4o'ya erişimi olan öğrenciler 1–5 ölçeğinde neredeyse bir tam puan daha yüksek aldı. Yanıtları ortalama iki fikir daha fazla içeriyordu, mantıksal olarak daha tutarlıydı ve üç alan uzmanının önerilerine daha yakındı.

Araştırmacılar argüman kalitesi, fikir sayısı, fikir çeşitliliği ve metin özelliklerini denetledikten sonra bile ölçülebilir bir GPT-4o üstünlüğü kaldı. Yazarlar bunu daha yüksek içerik kalitesine bağlıyor — öğrencinin daha çok şey bilmesine değil.

4. Ders notu yükseltmedi ama düşünceyi değiştirdi

Nedensel akıl yürütme dersi geleneksel puanları yükseltmedi. Hatta o gruptaki işler ortalamada biraz daha düşük puan aldı.

Ama aynı öğrenciler:

  • Önerdikleri eylemin neden işe yaraması gerektiğini daha sık açıkladı,
  • Hangi koşullarda başarısız olabileceğini daha sık söyledi,
  • Akranlarının yazdıklarından ayrışan daha çeşitli fikirler üretti.

Dersi GPT-4o ile birleştirmek geleneksel puanlara ek bir katkı yapmadı. Nedensel akıl yürütme göstergelerinde ikisi birbirini tamamladı ve ders grubundan gelen fikir çeşitliliği korundu.

5. Asıl bulgu: ölçüt neyi cezalandırıyor

Burası çalışmanın en önemli kısmı. Puanla ilişkilendirilen özelliklere bakıldığında ortaya iki liste çıkıyor.

Puanı yükseltenler: daha çok fikir, daha tutarlı argümanlar, tek bir yanıt içinde daha fazla fikir çeşitliliği.

Puanı düşürenler: daha güçlü yanlışlanabilirlik, önerilen eylemlerin nasıl işleyeceğine dair daha ayrıntılı açıklamalar, diğer öğrencilerin fikirlerinden daha fazla ayrışma.

Yani "bu öneri şu koşulda çuvallar" diyen öğrenci, demeyen öğrenciden daha düşük puan alıyor. Özgünlük her durumda cezalandırılmıyor; ama bu ödevde geleneksel puan esas olarak beklenen çözüm alanının içinde kalan, iyi yapılandırılmış yanıtları ödüllendiriyordu.

Yazarların sonucu net: çeşitlilik ve özgünlük sayılacaksa, puanlama ölçütüne açıkça yazılmaları gerekiyor.

Bu bulgunun rahatsız edici tarafı, kusurun yapay zekada değil ölçütte olması. Ölçüt, yapay zeka ortada yokken de aynı şeyi yapıyordu — beklenen cevabı düzgün yazan öğrenciyi, beklenmedik ama derin düşünen öğrencinin önüne koyuyordu. Yapay zeka yeni bir sorun yaratmadı; var olan bir zaafı ucuza sömürülebilir hâle getirdi. Ödevin puanını yükseltmek için gereken beceriler, tam olarak modelin en iyi taklit ettiği beceriler. Başlıktaki cümlenin anlamı bu.

Ve buradan çıkan asıl cümle şu: mevcut puanlama sistemleri cilayı, yapıyı ve eksiksizliği ölçüyor; öğrenmeyi ve anlamayı değil. Yapay zekanın kopya aracı olarak kullanılmasını bu kadar kolaylaştıran şey de bu. Model, ölçütün ödüllendirdiği her şeyi zaten çok iyi yapıyor.

6. Çalışmanın göstermediği şeyler

Bu bölüm atlanmamalı, çünkü sonucu ciddi biçimde sınırlıyor.

Takip sınavı yok. Öğrencilerin ChatGPT olmadan ne anladıklarını ya da akıllarında ne kaldığını göstermeleri istenmedi. Yazarlar bunu açıkça kabul ediyor: GPT üstünlüğünün öğrencilerin gerçekten edindiği bilgiden mi geldiği, yoksa sadece yapay zeka destekli daha iyi çıktıyı mı yansıttığı belirsiz. Çalışma bu ödevdeki puanın yükseldiğini gösteriyor, öğrenmenin arttığını değil.

Kapsam dar. Tek bir üniversitede, birinci sınıf öğrencileriyle, dar bir pazarlama görevinde. Rastgeleleştirme 1.053 öğrencinin tamamı arasında bireysel olarak değil, 13 şube düzeyinde yapıldı.

Çıkar çatışması var. Ana performans puanı, hangi gruba ait olduğunu bilmeyen insan değerlendiricilerden geldi — bu iyi. Ama nedensel akıl yürütme ve fikir çeşitliliği gibi ek ölçütler OpenAI ve Anthropic modelleriyle değerlendirildi. Daha önemlisi: incelenen teknolojiyi OpenAI sağlıyor ve şirket araştırmaya dahil oldu. Yazarlardan birkaçı OpenAI'da çalışıyor ya da çalışma sırasında oradaydı.

7. Yapay zeka çekildiğinde ne kalıyor

Bu soruya cevap veren başka çalışmalar var ve tablo daha karanlık. Şimdiye kadarki araştırmalar açıkça şunu gösteriyor: önemli olan öğrencinin yapay zeka kullanıp kullanmadığı değil, aracın kendi düşünmesini desteklemesi mi yoksa yerine geçmesi mi. Yerine geçtiğinde öğrenci zarar görüyor.

  • 500 binden fazla ABD üniversite notunu kapsayan bir çalışma: ChatGPT'nin çıkışından sonra yüksek notlar en çok, ödev ağırlığı yüksek yazı ve programlama derslerinde arttı.
  • Denetimli deneyler: yapay zeka geri alındığında katılımcılar kontrol grubundan daha kötü performans gösterdi. Düşüş en sert, GPT'yi doğrudan cevap almak için kullananlardaydı.
  • Çin'de 26 binden fazla öğrenciyle 30 aylık bir çalışma: ödevler yapay zekayla daha iyi ve daha hızlı oldu, ama sınav notları düştü. Sonraki giriş sınavlarında sonuçlar uzun vadede yüzde 18 ila 24 daha düşük çıktı.

O son çalışmanın en öğretici ayrıntısı şu: yapay zekaya erişimi olduğu hâlde ödevlerine kullanmayanlarla aşağı yukarı aynı süreyi ayıran öğrencilerde benzer bir düşüş görülmedi. Yani zararı yaratan araç değil, aracın kazandırdığı zamanı düşünmekten çalmak.

8. Öğretmen ne yapabilir

Çalışmanın pratik karşılığı yasak değil, ölçüt. Yazarların önerisi doğrudan: çeşitlilik ve özgünlük sayılacaksa puanlama ölçütüne yazılmalı. Bu, ödevin kendisini değiştirmeden yapılabilecek bir iş.

Somut olarak üç ek ölçüt işe yarıyor gibi görünüyor. Yanlışlanabilirlik: "öneriniz hangi koşulda başarısız olur" sorusuna verilen cevap puanlanırsa, model çıktısının en zayıf olduğu yer ödüllendirilmiş olur. Mekanizma: "bu eylem sonucu nasıl doğuruyor" sorusu, listelenen fikir sayısını değil aralarındaki bağı ölçer. Ayrışma: sınıfın geri kalanından farklı bir yere gitmek cezalandırılmak yerine ödüllendirilirse, ortalamaya yakınsayan bir aracın avantajı azalır.

Üçünün ortak noktası şu: hepsi modelin iyi olduğu şeyi değil, öğrencinin kendi düşüncesini gerektiren şeyi ölçüyor. Ve üçü de mevcut ödevlere eklenebiliyor.

9. Öğrenci için

Çin'deki 30 aylık çalışmanın bulgusu burada en pratik rehber: zararı yaratan araç değil, aracın kazandırdığı zamanı düşünmekten çalmak. Aynı süreyi ödeve ayırmaya devam edenlerde düşüş görülmedi.

Yani sorulacak soru "kullanayım mı" değil, "kazandığım zamanla ne yapıyorum" olmalı. Bir taslağı modele yazdırıp üstüne düşünmek ile modelin çıktısını olduğu gibi teslim etmek arasındaki fark, notta değil sonraki sınavda görünüyor.

Ne izlemeli

Bu tartışma Türkiye'ye de aynı biçimde gelecek; modeller aynı modeller, ödevler aynı ödevler. Üç şey belirleyici olacak.

Birincisi, ölçütün kendisi. Çalışmanın en sağlam bulgusu yapay zeka hakkında değil, puanlama hakkında: cila ölçen bir sistem, cila üretmekte iyi olan bir araç karşısında savunmasız. Ölçüt değişmeden yasak koymak sorunu çözmüyor, sadece görünmez kılıyor.

İkincisi, kanıtın türü. Bundan sonra çıkacak her iddiada sorulacak soru şu: yapay zeka çekildikten sonra da ölçüldü mü? Ölçülmediyse o çalışma öğrenmeyi değil, çıktıyı ölçmüştür.

Üçüncüsü, kimin ölçtüğü. Ölçülen teknolojiyi sağlayan şirketin araştırmaya dahil olduğu bir çalışmada, sonucun çerçevelenişine dikkat etmek gerekiyor. Nitekim OpenAI bu sonuçları esas olarak puanlama sistemlerinin sorunu olarak sunuyor — ki bu, kendi ürünü için en az sorunlu okuma biçimi.