HTTP client, async akış, type/schema, test ve veri dönüşümünü üretim seviyesinde kullan.
Yol haritası 04 · Model tabanlı ürünler
Applied AI
Engineering
Demo değil, ölçülen ve kaynak gösteren bir AI ürünü.
Model çağrısını bir yazılım bileşeni gibi ele al: girdiyi sınırla, çıktıyı şemaya bağla, bilgiyi kaynağa dayandır, kaliteyi veri setiyle ölç ve riskli eylemleri onaya çıkar. Hedef en etkileyici cevap değil; izlenebilir biçimde yeterince doğru çalışan sistemdir.
Güncellik kontrolü: 20 Temmuz 2026 · NIST agent standartları girişimi, OWASP AISVS 1.0, LLMSVS 2.0 ve güncel agent benchmark çalışmaları incelendi.
Faz 01 · Hafta 1–3
Promptu API sözleşmesine çevir.
Model çıktısı olasılıksaldır; çevresindeki yazılım öyle olmak zorunda değildir. Girdi doğrulama, açık görev, structured output (şemaya bağlı çıktı) ve deterministik kontrollerle belirsizliği yönetilebilir bir sınıra al.
Kapı kuralı: Serbest metni doğrudan işleme; parse edilen şema, hata yolu ve fallback tanımla.
Prompt demosu mu, ürün sözleşmesi mi?
sınır
üretim
doğrulama
kanıt
Model hata yapabilir; sistem hatayı tanır, kaydeder ve güvenli yola düşer.
Demo etkileyicidir; ancak çıktının biçimi, doğruluğu ve hata davranışı ölçülemez.
Mesaj rolleri, token, context, sampling, rate limit ve hata türlerini öğren.
Amaç, bağlam, kısıt, örnek, çıktı biçimi ve başarısızlık davranışını açıkça tanımla.
JSON Schema ve runtime validation ile modeli diğer bileşenlere güvenli biçimde bağla.
Hesap, format, izin ve iş kuralını modele değil test edilebilir koda bırak.
Retry, timeout, circuit breaker, daha küçük model ve insan kuyruğu seçeneklerini ayır.
Faz 02 · Hafta 4–6
Cevabı kaynağa bağla.
RAG bir “PDF yükle ve sor” özelliği değildir. Belgenin edinilmesi, temizlenmesi, parçalanması, indekslenmesi, aranması ve cevabın gerçekten kaynak tarafından desteklenmesi ayrı kalite alanlarıdır.
Kapı kuralı: Her iddia kaynak pasajına dönebilsin; yeterli kanıt yoksa sistem cevap vermemeyi seçsin.
Sorudan doğrulanabilir cevaba
intent
top-k
grounding
kaynak
Retrieval kalitesi ve answer faithfulness ayrı ayrı ölçülür; tek “iyi cevap” skoru yetmez.
Kaynak sahipliği, güncellik, parse kalitesi, metadata ve silme politikasını belirle.
Belge yapısı, anlam sınırı, overlap ve bağlam kaybı trade-off'larını test et.
Vector, lexical ve hybrid retrieval seçeneklerini gerçek soru setiyle karşılaştır.
Getirilen adayların ilgisini ikinci aşamada sıralayıp context bütçesini koru.
Cevap cümlesini belge, bölüm ve pasaj kimliğiyle geri izlenebilir yap.
Kullanıcının görmemesi gereken belgeyi aramadan önce filtrele; cevaptan sonra değil.
“Belgelerinize göre cevaplar.”
Kaynak yanlış, eski veya yetkisiz olduğunda sistem yine ikna edici metin üretir.
“Bu cevap 3 pasajla destekleniyor.”
Kaynak görünür, retrieval ölçülür ve kanıt eşiği altında güvenli ret üretilir.
Faz 03 · Hafta 7–9
“İyi görünüyor” yerine ölç.
Model değişikliği klasik yazılımda olduğu gibi tek beklenen çıktıya sahip olmayabilir. Bu yüzden vaka seti, ölçüt, insan kalibrasyonu ve regresyon eşiği birlikte çalışır.
Kapı kuralı: Prompt veya model değişikliği, sürümlü eval setinde önceki kalite eşiğini geçmeden yayınlanmasın.
Kaliteyi dört katmanda doğrula
Vaka seti
Gerçek kullanım, uç durum, saldırı ve başarısızlık örneklerinden sürümlü bir test koleksiyonu kur.
Kanıt: Kapsam matrisi
“Kaliteli cevap” yerine görev, kullanıcı, hata maliyeti ve kabul eşiğini açıkça yaz.
Değişiklik öncesi/sonrası aynı veri setinde kalite, latency ve maliyeti karşılaştır.
Rubric'i örnekler üzerinde hizala; değerlendiriciler arası uyuşmayı kontrol et.
Harici içeriği talimat değil veri kabul et; tool ve retrieval izinlerini ayrı sınırla.
PII, retention, provider paylaşımı, redaction ve kullanıcı silme akışını tasarla.
Yetki aşımı, veri sızması, zararlı çıktı ve kaynak manipülasyonu senaryolarını çalıştır.
Faz 04 · Hafta 10–12
Eylemi yetki ve gözlemle sınırla.
Agent, modele daha uzun düşünme alanı vermek değil; araçlarla dünyada değişiklik yapma yetkisi vermektir. Bu yüzden plan, tool schema, izin, bütçe, insan onayı ve tam iz birlikte tasarlanır.
Kapı kuralı: Geri döndürülemez veya yüksek etkili her eylem açık onay ve audit kaydı gerektirsin.
Niyetten doğrulanmış eyleme
sınır
least privilege
yüksek etki
sonuç
Agent'ın söylediği değil, aracın sonucu ve bağımsız doğrulama kaydı kaynak kabul edilir.
Dar amaçlı, tipli, idempotent ve açık hata döndüren araçlar tasarla.
Read/write, environment, tenant ve veri kapsamını görev bazında en aza indir.
Onayı yalnızca göstermelik modal değil, etki ve geri dönüş bilgisiyle karar noktası yap.
Prompt, retrieval, tool call, output, token ve süreyi aynı çalışma kimliğinde izle.
Model routing, cache, batch, context bütçesi ve kalite eşiğini birlikte optimize et.
Görevi küçük değişikliklere böl; diff, test, static check ve review ile modeli denetle.
AI-native uygulama çıkış kontrolü
0 / 8 kanıt işaretlendi.
Gösterilebilir işler
Üç AI ürün seviyesi.
Chat arayüzünü proje sayma. Portfolyoda veri setini, eval sonucunu, hata örneğini, güvenlik sınırını ve neden bu mimariyi seçtiğini göster.
Structured Extractor
Dağınık belgeden tipli veri çıkaran, doğrulayan ve hatalı alanı insan kuyruğuna atan servis.
- JSON Schema
- Golden dataset
- Retry + fallback
Kaynak Gösteren Araştırma Asistanı
Yetkili dokümanlardan hybrid retrieval yapan ve her iddiayı destekleyen pasajı görünür kılan uygulama.
- Retrieval eval
- Citation trace
- Safe refusal
Değerlendirilen Agent
Dar bir iş akışını araçlarla yürüten, riskli adımda onay isteyen ve her çalışmayı izleyen sistem.
- Typed tools
- Approval + audit
- Cost/quality dashboard
Kaynak kontrolü · 20 Temmuz 2026
Güncel olanı, kanıt düzeyiyle oku.
Standartlar güvenlik kabul kriterlerini, kamu girişimleri yönü, benchmark ve vaka çalışmaları ise henüz gelişmekte olan agent pratiklerini gösterir.
Kanıt sınırı: Preprint ve vendor vaka çalışmaları yeni pratikleri anlamaya yardımcı olur; evrensel doğruluk iddiası taşımaz. Güvenlik kabul kriterlerinde OWASP, risk ve agent yönetişiminde NIST belgeleri önceliklidir.
Dört yol haritası, tek çalışma sistemi
Şimdi kanıt üretme zamanı.
Bir uzmanlık seç, ilk projeyi daralt ve her hafta çalışan çıktı ile doğrulama kanıtını birlikte yayınla. Dört alanın ortak dili budur.
Serinin tamamına dön