Berat Aras

Software Engineer

Blog

Sadece Karar Veren Model: Jev Nedir ve Nasıl Kullanılır?

4 dk okuma

Bir support ticket geldiğinde kullanıcının ödeme problemi mi yaşadığını, teknik destek mi istediğini veya hesabıyla ilgili bir sorunu mu olduğunu anlamamız gerekiyor. Bunun için öncü bir LLM çağırdığımızda model önce metin üretiyor, ardından biz bu metni JSON'a çevirmeye çalışıyoruz. Format bazen bozuluyor, tanımlamadığımız bir kategori dönebiliyor ve birkaç kelimelik bir sınıflandırma için gereğinden fazla süre ve para harcanabiliyor.

TypeSafe AI tarafından geliştirilen Jev bu tip işleri doğrudan karar problemi olarak ele alıyor. Uygulamanın durumunu ve cevaplanmasını istediğin soruları gönderiyorsun; Jev de türü önceden belirlenmiş olasılıksal sonuçlar döndürüyor. Örneğin ticket'ın hangi kategoriye ait olduğunu, ne kadar acil göründüğünü ve kullanıcının ne kadar sinirli olduğunu tek istekte sorabiliyorsun. Modelin cevap alanı kod tarafında sınırlandığı için sonuçları ayrıca ayrıştırman gerekmiyor.

Bu yaklaşım Jev'i yazılımın içinde çağrılabilen akıllı bir fonksiyona benzetiyor. Gecikme ve maliyet avantajları önemli olsa da bence ürünü asıl farklılaştıran tarafı bu kullanım biçimi.

Jev nedir?

Jev'in üç temel soru türü var:

  • Choice: Tanımladığın seçeneklerden birini seçer.
  • Score: Bir durumu belirlediğin ölçek üzerinde puanlar.
  • Noul: Bir ifadenin doğru olma ihtimalini 0 ile 1 arasında döndürür.

Üç soru türü ilk bakışta kısıtlı görünebilir. Jev'in kullanım alanı da zaten yazılım içinde sürekli verdiğimiz küçük ve bulanık kararlarla sınırlı. Bu sınırlama sayesinde sonuçları daha hızlı, ucuz ve kontrol edilebilir biçimde uygulamaya bağlayabiliyorsun.

Kısa bir TypeScript örneği:

import { choice, noul, score, TypeSafeClient } from "@typesafe-ai/sdk";

const client = new TypeSafeClient();

const result = await client.systemOne({
  state: ticket,
  questions: {
    department: choice("Which team should handle this?", {
      billing: "Payment and refund issues",
      technical: "Bugs and integration problems",
      other: "Anything else",
    }),
    urgent: noul("The customer needs an urgent response"),
    frustration: score("How frustrated is the customer?", [
      "Calm",
      "Frustrated",
      "Very angry",
    ]),
  },
});

Bu örnekte üç farklı soru tek çağrıda ve paralel olarak değerlendiriliyor. Modelin döndürebileceği alanı prompt içinde tarif etmekle yetinmeyip kod tarafında da baştan sınırlandırıyorsun. Jev yine yanlış kategoriyi seçebilir ama tanımlamadığın dördüncü bir kategori uyduramaz. Halüsinasyon ihtimali böylece geçersiz bir çıktı üretmekten, geçerli seçeneklerden yanlış olanı seçmeye dönüşüyor.

Confidence değeri neden önemli?

Jev verdiği kararlarla birlikte bir confidence değeri de döndürüyor. Ürün tarafında bu değer oldukça önemli çünkü bütün kararlar aynı riski taşımıyor. Kullanıcının bakiye ekranını açmakla banka transferini onaylamak için aynı confidence eşiğini kullanamayız.

async function handleRequest(message: string) {
  const response = await client.systemOne({
    state: message,
    questions: {
      intent: choice("What should happen next?", {
        checkBalance: "Show the current balance",
        approveTransfer: "Approve a money transfer",
        other: "Anything else",
      }),
    },
  });

  const intent = response.answers.intent;

  if (intent.confidence < 0.5) return routeToHuman();
  if (intent.choice === "checkBalance") return showBalance();

  if (intent.choice === "approveTransfer" && intent.confidence < 0.9) {
    return askForConfirmation();
  }
}

Salt okunur bir işlemde daha düşük eşik kabul edilebilir. Para hareketinde ise daha yüksek confidence bekleriz veya kullanıcıdan tekrar onay alırız. Bu nedenle eşik belirlerken modelin genel başarı oranından önce, yanlış kararın ilgili aksiyondaki maliyetine bakmak gerekiyor.

Her şeyi Jev'e mi bırakalım?

Jev'in doğru kullanımı, hangi işleri modele bırakmamak gerektiğini bilmekle başlıyor. Tarih sıralama, öğe sayma ve kesin aritmetik gibi işlemlerde güvenilir değil; ayrıca metin, kod veya özet üretmiyor. Güvenlik kuralları, para hesapları ve tarih karşılaştırmaları normal kodda kalmalı. Jev'i kodla ifade edilmesi zor olan dar kapsamlı değerlendirmelerde kullanmak daha doğru.

Browser agent, drone veya otomatik işlem yapan bir bot geliştirdiğinde bu sınır daha da önemli hâle geliyor. Jev hangi aksiyonun daha mantıklı göründüğünü söyleyebilir; güvenlik refleksi, izin kontrolü ve kararın uygulanması yine kodun sorumluluğunda olmalı. Production'da yaşanacak bir hatanın sorumluluğu sonuçta modele ait olmayacak.

State ne kadar büyük olmalı?

LLM kullanırken daha fazla context vermenin sonucu her zaman iyileştireceğini düşünebiliyoruz. Jev yalnızca gönderdiğin state üzerinden karar veriyor ve bu alanı gereksiz veriyle doldurmak modelin dikkatini dağıtıp doğruluğu düşürebiliyor.

Bu yüzden doğru akış şu:

  1. İhtiyacın olan bilgiyi kodla veya arama sistemiyle getir.
  2. Gereksiz alanları filtrele.
  3. Jev'e yalnızca karar için gerekli state'i gönder.
  4. Düşük confidence durumunda insan veya daha güçlü bir model kullan.

Jev bu yapıda RAG'in veya arama sisteminin yerine geçmiyor; aramadan sonra çalışan ucuz bir karar katmanı oluyor. Zayıf bir kaynaktan doğru karar çıkmasını bekleyemezsin. Garbage in, garbage out hâlâ yaşıyor brom, yalnızca artık yanında bir confidence değeri var.

Nerede kullanırdım?

Ben Jev'i şu işlerde düşünürdüm:

  • Support ticket yönlendirme
  • İçerik moderasyonu
  • Doküman veya arama sonucu ilgililik kontrolü
  • LLM çıktısına guardrail uygulama
  • Çok yüksek hacimde etiketleme ve önceliklendirme
  • Bir saniyenin altında karar vermesi gereken request akışları

Şuralarda ise kullanmazdım:

  • Metin veya kod üretimi
  • Karmaşık ve açık uçlu reasoning
  • Aritmetik, tarih hesabı ve sayma
  • Denetçiye yazılı gerekçe sunulması gereken kararlar
  • Yanlış kararın doğrudan geri döndürülemez işlem yaptığı sistemler

TypeSafe'in paylaştığı rakamlara göre Jev, öncü LLM'lere kıyasla çok daha düşük maliyet ve gecikmeyle çalışıyor. Bu benchmark'ların şirketin kendi testlerine dayandığını ve henüz bağımsız olarak yeniden üretilmediğini unutmamak gerekiyor. “Yüzde sıfır structured output hatası” iddiası da her kararın doğru olduğu anlamına gelmiyor; yalnızca cevabın tanımlanan şemanın dışına çıkmadığını söylüyor. Production'a geçmeden önce kendi verinle eval çalıştırıp eşikleri bu sonuçlara göre belirlemelisin.

Sonuç

Jev'i yazılımın içine yerleştirilebilen hızlı ve olasılıksal bir karar primitive'i olarak değerlendirmek daha doğru olur. Her isteği büyük bir modele gönderip uzun metinler üretmek yerine, kapsamı belli sınıflandırma ve puanlama işlerinde doğrudan kullanabilirsin.

Yine de doğru state içeriğini hazırlamak, riskli aksiyonlara uygun eşikler koymak, kesin hesapları kodda tutmak ve düşük confidence durumunda sistemi güvenli biçimde durdurmak geliştiricinin sorumluluğunda. Kodun kesin olarak hesaplayabildiği işleri modelden istemeden, Jev'i kodla ifade edilmesi zor dar kararlar için kullandığında anlamlı bir mimari avantaj sağlıyor.

Kaynaklar