Black-Box Büyük Dil Modellerinde Çıktı Kalitesini Artırmak için Pre-Informing Yaklaşımı ve Mevcut İstem Tekniklerinin Sentezi (Üçüncü Sektör Sosyal Ekonomi Dergisi, 2026)
Bu çalışma, Büyük Dil Modellerinin (LLM) sentetik veri üretimindeki etkinliğinin yalnızca model kapasitesine değil, insan yönlendirmeli istem (prompt) yapısının niteliğine de bağlı olduğu kabulünden hareketle, literatürde yer alan yirmi üç istem yazım tekniğini incelemekte ve ana yönerge öncesinde yapılandırılmış bağlamsal hazırlık yoluyla çıktı kalitesini artırmayı amaçlayan pre-informing adlı hibrit bir yaklaşımı önermektedir. Çalışma, zero-shot ve pre-informing istemleme yaklaşımlarını, eğitim alanına ait 20 metin üretim görevi kapsamında ve 3 kapalı kutu LLM (ChatGPT 5.2 Standard, Gemini 3 Fast ve Claude Sonnet 2.6) kullanarak karşılaştırmalı olarak değerlendirmektedir. Bu tasarım toplam 120 çıktı üretmektedir.Üretilen çıktılar, Kelime Sayısı (Word Count), Benzersiz Kelime Sayısı (Unique Word Count), Ortalama Cümle Uzunluğu (Average Sentence Length) ve Teknik Terim Sayısı (Technical Terms Count) göstergelerinden oluşan ortak bir nicel çerçeve aracılığıyla değerlendirilmektedir. Bu gösterge setinin içsel tutarlılığı, .887’lik standartlaştırılmış Cronbach’s alpha katsayısı ile desteklenmektedir. Betimsel karşılaştırmalar, pre-informed koşulunun dört göstergenin tamamında daha yüksek değerler ürettiğini göstermektedir. Bu farklar ayrıca, dört ölçütün tamamında istatistiksel olarak anlamlı iyileşmelere işaret eden Wilcoxon işaretli sıralar testleri ile doğrulanmaktadır. Buna ek olarak, Friedman testi sonuçları iyileşme büyüklüğünün modeller arasında anlamlı biçimde farklılaştığını; Claude’un en yüksek genel kazanımları, Gemini’nin en sınırlı kazanımları gösterdiğini ve ChatGPT’nin genel olarak orta bir konumda yer aldığını ortaya koymaktadır.Bulgular, pre-informing yaklaşımının, ölçülebilir göstergelere yansıdığı biçimiyle daha yüksek çıktı kalitesiyle ilişkili olduğunu ve etkilerinin yalnızca tekil örneklerle sınırlı kalmayıp birden fazla görev türünde gözlemlenebildiğini göstermektedir. Aynı zamanda sonuçlar, pre-informing’in etkisinin kapalı kutu LLM’ler arasında eşit dağılmadığını ve kısmen modele duyarlı kaldığını ortaya koymaktadır. Çalışma, pre-informing’i kaliteyle ilişkili çıktı özelliklerini iyileştirmeye yönelik yapılandırılmış ve tekrarlanabilir bir istem temelli çerçeve olarak konumlandırmakta ve LLM çıktılarının şekillenmesinde insan yönlendirmesinin süregelen önemini vurgulamaktadır.
Keywords: Büyük Dil Modelleri; İstem Tasarımı; İstem Mühendisliği; Sentetik Veri Üretimi; Black-box LLM’ler