Yol haritası 04 · Model tabanlı ürünler

Applied AI
Engineering

Demo değil, ölçülen ve kaynak gösteren bir AI ürünü.

Model çağrısını bir yazılım bileşeni gibi ele al: girdiyi sınırla, çıktıyı şemaya bağla, bilgiyi kaynağa dayandır, kaliteyi veri setiyle ölç ve riskli eylemleri onaya çıkar. Hedef en etkileyici cevap değil; izlenebilir biçimde yeterince doğru çalışan sistemdir.

Sürüm 1.112 hafta4 quality gate3 AI ürünüModel çağrısı → ürün sistemi

Güncellik kontrolü: 20 Temmuz 2026 · NIST agent standartları girişimi, OWASP AISVS 1.0, LLMSVS 2.0 ve güncel agent benchmark çalışmaları incelendi.

Faz 01 · Hafta 1–3

Promptu API sözleşmesine çevir.

Model çıktısı olasılıksaldır; çevresindeki yazılım öyle olmak zorunda değildir. Girdi doğrulama, açık görev, structured output (şemaya bağlı çıktı) ve deterministik kontrollerle belirsizliği yönetilebilir bir sınıra al.

Kapı kuralı: Serbest metni doğrudan işleme; parse edilen şema, hata yolu ve fallback tanımla.

Aynı model, iki mimari

Prompt demosu mu, ürün sözleşmesi mi?

Typed input
sınır
Model
üretim
Schema
doğrulama
Rule check
kanıt
KONTROLLÜ

Model hata yapabilir; sistem hatayı tanır, kaydeder ve güvenli yola düşer.

Belirsiz prompt
Uzun cevap
String parse
Sessiz hata
RİSK

Demo etkileyicidir; ancak çıktının biçimi, doğruluğu ve hata davranışı ölçülemez.

Python veya TypeScript

HTTP client, async akış, type/schema, test ve veri dönüşümünü üretim seviyesinde kullan.

Model API temeli

Mesaj rolleri, token, context, sampling, rate limit ve hata türlerini öğren.

Görev sözleşmesi

Amaç, bağlam, kısıt, örnek, çıktı biçimi ve başarısızlık davranışını açıkça tanımla.

Structured output

JSON Schema ve runtime validation ile modeli diğer bileşenlere güvenli biçimde bağla.

Deterministik katman

Hesap, format, izin ve iş kuralını modele değil test edilebilir koda bırak.

Fallback tasarımı

Retry, timeout, circuit breaker, daha küçük model ve insan kuyruğu seçeneklerini ayır.

Faz 02 · Hafta 4–6

Cevabı kaynağa bağla.

RAG bir “PDF yükle ve sor” özelliği değildir. Belgenin edinilmesi, temizlenmesi, parçalanması, indekslenmesi, aranması ve cevabın gerçekten kaynak tarafından desteklenmesi ayrı kalite alanlarıdır.

Kapı kuralı: Her iddia kaynak pasajına dönebilsin; yeterli kanıt yoksa sistem cevap vermemeyi seçsin.

Grounded generation

Sorudan doğrulanabilir cevaba

Soru
intent
Retrieval
top-k
Model
grounding
Cevap
kaynak
HAZIR

Retrieval kalitesi ve answer faithfulness ayrı ayrı ölçülür; tek “iyi cevap” skoru yetmez.

Veri hazırlama

Kaynak sahipliği, güncellik, parse kalitesi, metadata ve silme politikasını belirle.

Chunking

Belge yapısı, anlam sınırı, overlap ve bağlam kaybı trade-off'larını test et.

Embedding ve arama

Vector, lexical ve hybrid retrieval seçeneklerini gerçek soru setiyle karşılaştır.

Reranking

Getirilen adayların ilgisini ikinci aşamada sıralayıp context bütçesini koru.

Kaynak gösterme

Cevap cümlesini belge, bölüm ve pasaj kimliğiyle geri izlenebilir yap.

Yetkili retrieval

Kullanıcının görmemesi gereken belgeyi aramadan önce filtrele; cevaptan sonra değil.

Gösterişli demo

“Belgelerinize göre cevaplar.”

Kaynak yanlış, eski veya yetkisiz olduğunda sistem yine ikna edici metin üretir.

Kanıtlı ürün

“Bu cevap 3 pasajla destekleniyor.”

Kaynak görünür, retrieval ölçülür ve kanıt eşiği altında güvenli ret üretilir.

Faz 03 · Hafta 7–9

“İyi görünüyor” yerine ölç.

Model değişikliği klasik yazılımda olduğu gibi tek beklenen çıktıya sahip olmayabilir. Bu yüzden vaka seti, ölçüt, insan kalibrasyonu ve regresyon eşiği birlikte çalışır.

Kapı kuralı: Prompt veya model değişikliği, sürümlü eval setinde önceki kalite eşiğini geçmeden yayınlanmasın.

Eval sistemi

Kaliteyi dört katmanda doğrula

Golden dataset

Vaka seti

Gerçek kullanım, uç durum, saldırı ve başarısızlık örneklerinden sürümlü bir test koleksiyonu kur.

Kanıt: Kapsam matrisi

Başarı tanımı

“Kaliteli cevap” yerine görev, kullanıcı, hata maliyeti ve kabul eşiğini açıkça yaz.

Offline eval

Değişiklik öncesi/sonrası aynı veri setinde kalite, latency ve maliyeti karşılaştır.

İnsan kalibrasyonu

Rubric'i örnekler üzerinde hizala; değerlendiriciler arası uyuşmayı kontrol et.

Prompt injection

Harici içeriği talimat değil veri kabul et; tool ve retrieval izinlerini ayrı sınırla.

Gizlilik

PII, retention, provider paylaşımı, redaction ve kullanıcı silme akışını tasarla.

Red team

Yetki aşımı, veri sızması, zararlı çıktı ve kaynak manipülasyonu senaryolarını çalıştır.

Faz 04 · Hafta 10–12

Eylemi yetki ve gözlemle sınırla.

Agent, modele daha uzun düşünme alanı vermek değil; araçlarla dünyada değişiklik yapma yetkisi vermektir. Bu yüzden plan, tool schema, izin, bütçe, insan onayı ve tam iz birlikte tasarlanır.

Kapı kuralı: Geri döndürülemez veya yüksek etkili her eylem açık onay ve audit kaydı gerektirsin.

Kontrollü agent

Niyetten doğrulanmış eyleme

Plan
sınır
Tool
least privilege
Approval
yüksek etki
Verify
sonuç
HAZIR

Agent'ın söylediği değil, aracın sonucu ve bağımsız doğrulama kaydı kaynak kabul edilir.

Tool contract

Dar amaçlı, tipli, idempotent ve açık hata döndüren araçlar tasarla.

İzin modeli

Read/write, environment, tenant ve veri kapsamını görev bazında en aza indir.

Human-in-the-loop

Onayı yalnızca göstermelik modal değil, etki ve geri dönüş bilgisiyle karar noktası yap.

Trace ve replay

Prompt, retrieval, tool call, output, token ve süreyi aynı çalışma kimliğinde izle.

Maliyet ve gecikme

Model routing, cache, batch, context bütçesi ve kalite eşiğini birlikte optimize et.

AI-assisted coding

Görevi küçük değişikliklere böl; diff, test, static check ve review ile modeli denetle.

0%kanıt oranı

AI-native uygulama çıkış kontrolü

0 / 8 kanıt işaretlendi.

Gösterilebilir işler

Üç AI ürün seviyesi.

Chat arayüzünü proje sayma. Portfolyoda veri setini, eval sonucunu, hata örneğini, güvenlik sınırını ve neden bu mimariyi seçtiğini göster.

01 · Sözleşme

Structured Extractor

Dağınık belgeden tipli veri çıkaran, doğrulayan ve hatalı alanı insan kuyruğuna atan servis.

  • JSON Schema
  • Golden dataset
  • Retry + fallback
02 · Bilgi

Kaynak Gösteren Araştırma Asistanı

Yetkili dokümanlardan hybrid retrieval yapan ve her iddiayı destekleyen pasajı görünür kılan uygulama.

  • Retrieval eval
  • Citation trace
  • Safe refusal
03 · Eylem

Değerlendirilen Agent

Dar bir iş akışını araçlarla yürüten, riskli adımda onay isteyen ve her çalışmayı izleyen sistem.

  • Typed tools
  • Approval + audit
  • Cost/quality dashboard

Kaynak kontrolü · 20 Temmuz 2026

Güncel olanı, kanıt düzeyiyle oku.

Standartlar güvenlik kabul kriterlerini, kamu girişimleri yönü, benchmark ve vaka çalışmaları ise henüz gelişmekte olan agent pratiklerini gösterir.

Kanıt sınırı: Preprint ve vendor vaka çalışmaları yeni pratikleri anlamaya yardımcı olur; evrensel doğruluk iddiası taşımaz. Güvenlik kabul kriterlerinde OWASP, risk ve agent yönetişiminde NIST belgeleri önceliklidir.

Dört yol haritası, tek çalışma sistemi

Şimdi kanıt üretme zamanı.

Bir uzmanlık seç, ilk projeyi daralt ve her hafta çalışan çıktı ile doğrulama kanıtını birlikte yayınla. Dört alanın ortak dili budur.

Serinin tamamına dön