- Yapay zekâ araçları, ham LLM'leri işlevsel ajanlara dönüştüren temel altyapıyı (kum havuzları ve kalıcı durum dahil) sağlar.
- Jev, yapılandırılmış sınıflandırma için geleneksel LLM'lere kıyasla yüksek hızlı ve düşük maliyetli bir alternatif sunan System One karar modelini tanıtıyor.
- Jev'i LangChain ve LangGraph ile entegre etmek, geliştiricilerin akıl yürütmeyi karar verme sürecinden ayırarak 'tanrısal değil, üretim' sistemleri oluşturmalarına olanak tanır.
Yapay zekâ ajanlarından bahsettiğimizde, çoğu kişi beyne, yani Büyük Dil Modeline odaklanır. Ancak işin aslı şu: Model tek başına sadece gelişmiş bir metin tahmincisidir. Gerçek dünyada işleri gerçekten halletmek için, " bağlantı sistemi" olarak bilinen bir şeye ihtiyacınız vardır . Bağlantı sistemini, beynin dünyayla etkileşim kurmasını sağlayan, hafızadan kodun gerçek yürütülmesine kadar her şeyi yöneten vücut ve araçlar olarak düşünün.
Son zamanlarda, TypeSafe AI'dan Jev'in gelişiyle oyunun kuralları değişti . Her küçük kararı devasa bir LLM gerektiren felsefi bir tartışma gibi ele almak yerine, Jev yapılandırılmış, hızlı tempolu seçimleri yönetiyor. Bunu LangChain ve LangGraph ile birleştirerek , geliştiriciler nihayet pahalı, yavaş mimarilerden uzaklaşarak yalın, etkili ve üretime hazır bir yapıya geçebilirler.
Ajan Donanımı Mimarisini Anlamak
Eğer modeli eğiten kişi siz değilseniz, esasen bir donanım mühendisisiniz demektir. Donanım, bir modeli saran tüm kod, yapılandırma ve mantık koleksiyonudur . Ham bir LLM'yi durum, araç erişimi ve katı kısıtlamalar sağlayarak çalışan bir motora dönüştüren şeydir. Bu katman olmadan, bir model iki dakika önce ne yaptığını hatırlayamaz veya bir web sitesinde bir düğmeye gerçekten tıklayamaz.
Bir test ortamının en kritik parçalarından biri dosya sistemidir . Bir ajana çalışma alanı vererek, bağlam penceresine sığmayan verileri boşaltabilir ve farklı oturumlar arasında kalıcı bir durum sağlayabilir. Bu, bir ajanın konuşma çok uzadıkça konuyu kaybetmesi anlamına gelen yaygın "bağlam bozulması" sorununu önler. Gelişmiş test ortamları, en alakalı bilgileri ön planda tutarken geri kalanını diskte depolamak için sıkıştırma ve araç çağrısı boşaltma yöntemlerini kullanır.
Ajanları gerçekten otonom hale getirmek için, genellikle bir bash aracı ve güvenli sanal ortamlar içeren yazılımlar kullanılır . Her olası aracı kodlamak yerine, ajana bir terminal verilir. Bu, ajanın sorunları anında çözmek için kendi komut dosyalarını yazmasına olanak tanır. Bununla birlikte, ajan tarafından oluşturulan kodu çalıştırmak risklidir; bu nedenle, izole edilmiş yürütme ortamları, üretim seviyesindeki herhangi bir sistem için olmazsa olmazdır.
Jev ile tanışın: Sistem Bir Karar Modeli
Çoğu geliştirici her şey için gelişmiş LLM'ler kullanıyor, bu da posta kutusuna on metre gitmek için süper araba kullanmaya benziyor. Aşırıya kaçmak demek. Jev, System One modeli gibi davranarak bunu değiştiriyor . Metin üretmiyor; yazılı kararlar veriyor . İster evet/hayır (Noul), ister listeden bir seçim, ister sayısal bir puan olsun, Jev ilgili olasılıklarla birlikte cevaplar sunuyor.
Performans artışı gerçekten inanılmaz. Sınıflandırma için geleneksel LLM'lere kıyasla çıkarım hızlarında 200 kata kadar artış ve maliyetlerde 400 kat daha düşüklükten bahsediyoruz . Jev, aynı durum parçası için birden fazla soruyu paralel olarak değerlendirebildiği için , müşteri destek talebinin acil olup olmadığına karar vermek veya yasal bir belgedeki kişisel bilgileri belirlemek gibi önceliklendirme görevleri için mükemmeldir.
Jev'in LangChain Ekosistemi İçinde Uygulanması
Jev'i LangChain'e entegre etmek, TypeSafeClassifier aracılığıyla oldukça kolaydır . Sohbet yanıtı yerine, yapılandırılmış bir sınıflandırma elde edersiniz. Bu, ana ajanınızın önüne yerleştirilen bir karar katmanı oluşturmanıza olanak tanır. Örneğin, bir sorguyu analiz eden ve basit görevleri GPT-4o-mini gibi ucuz bir modele, karmaşık mimari görevlerini ise GPT-4o gibi güçlü bir modele gönderen bir İstek Yönlendirici uygulayabilirsiniz.
Bir diğer etkili kullanım örneği ise Araç Kapısı'dır . Bir ajan potansiyel olarak tehlikeli bir komutu (örneğin bir veritabanını silme) çalıştırmadan önce, sistem Jev'i kullanarak risk seviyesini değerlendirebilir . Risk çok yüksekse, sistem çağrıyı engelleyebilir veya insan müdahalesi gerektiren bir güvenlik önlemi tetikleyebilir. Bu, sistem uyarısında LLM'ye "dikkatli olun" demekten çok daha güvenilir bir güvenlik ağı oluşturur.
LangGraph ile Orkestrasyon ve Zekanın Ayrıştırılması
Jev kararları verirken, LangGraph orkestrasyonu sağlar . Ajanın akışını düğümler ve kenarlardan oluşan bir grafik olarak tanımlamanıza olanak tanır. Bu, yargının modelden geldiği, ancak akışın kodda kaldığı anlamına gelir; bu da sistemi gözlemlenebilir ve test edilebilir kılar. Bir işlemin başarısız olması durumunda, belirteçleri boşa harcamadan tam olarak kaldığı yerden devam edebilmesini sağlamak için kontrol noktaları kullanabilirsiniz .
Uzmanların " Zekanın Büyük Ayrışması " olarak adlandırdığı bu değişim , her şeyi yapan tek bir dev model yerine, "varsayılan olarak ucuz, istisnalarda sınır" modeline doğru ilerliyor. Bir tarayıcı otomasyon senaryosunda, Jev hangi öğeye tıklayacağını hızlıca seçebilir; güven puanı belirli bir eşiğin (örneğin, 0.7) altına düşerse , sistem görevi otomatik olarak derinlemesine akıl yürütme için daha yetenekli bir LLM'ye yönlendirir.
Sağlam bir altyapı, Jev gibi hızlı bir karar modeli ve LangGraph gibi yapılandırılmış bir çalışma ortamı arasındaki sinerji, uzun vadeli özerkliğe olanak tanır . Orijinal istemleri temiz bağlam pencerelerine yeniden enjekte eden Ralph Döngüsü gibi kalıpları kullanarak, ajanlar tutarlılığı kaybetmeden karmaşık, çok adımlı projeleri tamamlayabilirler. Nihai hedef, modelin zekayı sağladığı ve altyapının bu zekayı gerçek dünya uygulamaları için kullanışlı ve güvenli hale getirdiği bir sistemdir.
