ESP32 üzerinde yerel yapay zeka ajanları: çerçeveler, sesli asistanlar ve gerçek projeler

Ana Sayfa » Python » ESP32 üzerinde yerel yapay zeka ajanları: çerçeveler, sesli asistanlar ve gerçek projeler

ESP32 üzerinde yerel yapay zeka ajanları çalıştırmak artık bir bilim kurgu fantezisi veya donanım meraklıları için niş bir hobi değil. ESP-Claw, PycoClaw gibi çerçeveler, LangChain veya MCP kullanan hibrit sesli asistan yığınları ve gerçek dünya DIY projeleri arasında, ESP32 ekosistemi sessizce uç zeka için ciddi bir oyun alanına dönüştü. Artık fiziksel dünyada dinleyen, karar veren ve hareket eden cihazları sadece birkaç dolara mal ederek ve kesintili bağlantı koşullarında bile çalışarak oluşturabilirsiniz.

Bu kılavuz, ESP32 üzerinde yapay zeka ajanlarını barındırmanın gerçekte ne anlama geldiğine, ESP-Claw ve PycoClaw gibi çerçevelerin bu soruna nasıl yaklaştığına, bulut tabanlı arka uçların hala hangi alanlarda öne çıktığına ve bu kadar kısıtlı donanım üzerinde hangi kullanım durumlarının gerçekten mantıklı olduğuna derinlemesine değiniyor. Ayrıca, sesli asistanlar, ev otomasyonu, endüstriyel izleme ve hatta siber evcil hayvanlar ve taşınabilir karakterler gibi eğlenceli projeler için pratik mimarileri inceleyeceğiz; bunların hepsi küçük ama şaşırtıcı derecede yetenekli mikrodenetleyiciler tarafından desteklenmektedir.

Yapay zekânın buluttan uç noktalara geçmesinin nedenleri

Son birkaç yıldır yapay zeka, tamamen "bulutta" yaklaşımından, zekanın veri kaynağına çok daha yakın olduğu hibrit bir modele doğru kaymaya başladı. Nesnelerin İnterneti (IoT) alanında bu eğilim açıkça ortada: geliştiriciler gecikmeyi azaltmak, hassas verileri üçüncü taraf sunuculara göndermekten kaçınmak ve güç tüketimini kontrol altında tutmak istiyorlar. Buluta sürekli gidiş-dönüş işlemleri pahalı, yavaş ve bazı sektörlerde gizlilik veya uyumluluk açısından kabul edilemez.

Bu bağlamda, ESP32 sınıfı cihazlar, basit veri ileticileri olmaktan ziyade "akıllı uç düğümler" haline geliyor. Günümüzde tipik bir yaklaşım, mikrodenetleyicinin hafif modelleri ve kural tabanlı ajanları yerel olarak çalıştırmasına, sensör füzyonunu, eyleme geçirmeyi ve gerçek zamanlı kararları ele almasına izin vermek, ağır işleri (tam konuşma tanıma, büyük ölçekli akıl yürütme, üretken yanıtlar) ise yalnızca gerektiğinde bulut tabanlı LLM'lere devretmektir.

ESP-Claw ve PycoClaw gibi çerçeveler bu hibrit tabloya mükemmel bir şekilde uyum sağlıyor. Tam teşekküllü büyük bir dil modelini 520 KB RAM bütçesine sığdırmaya çalışmıyorlar; bunun yerine, cihaz üzerinde çalışabilen ve bir görev daha fazla işlem gücü gerektirdiğinde isteğe bağlı olarak bulut hizmetleriyle iletişim kurabilen küçük, odaklanmış modelleri ve deterministik mantığı yönetiyorlar. Bunun karşılığında daha düşük gecikme süresi, istikrarsız ağlarda daha sağlam çalışma ve cihazdan çıkan veriler üzerinde çok daha sıkı kontrol elde ediliyor.

Akıllı ev, hafif endüstriyel otomasyon veya tarım gibi kullanım alanları için bu uç nokta odaklı strateji özellikle caziptir. Işıkların harekete anında tepki vermesi, üretim hatlarının internet bağlantısı kesildiğinde durmaması ve uzak çiftliklerin 7/24 hücresel bağlantıya güvenememesi gerekir. ESP32 üzerindeki yerel yapay zeka ajanları, buluta erişilemediğinde bile bu sistemlerin çalışmaya devam etmesini ve çoğu zaman daha iyi çalışmasını sağlar.

ESP32 bir yapay zeka platformu olarak: güçlü yönleri ve ciddi sınırlamaları

ESP32 ailesi, Wi-Fi, Bluetooth ve yeterli işlem gücünü çok düşük bir fiyat noktasında birleştirerek hem hobi amaçlı kullanıcılar hem de profesyonel çevrelerde ün kazandı. Orta seviye bir ESP32, yaklaşık 240 MHz'e kadar çift çekirdekli Xtensa CPU, yaklaşık 520 KB SRAM, birkaç megabayt flash bellek ve bazı varyantlarda daha zorlu iş yükleri için kullanılabilir belleği genişleten ek PSRAM sunar.

Yapay zekâ açısından bakıldığında, bu donanım GPU'lara veya modern akıllı telefonlara kıyasla elbette mütevazı kalıyor, ancak yine de özenle optimize edilmiş modeller ve ajan mantığı için yeterli. Anahtar kelime tespiti, temel ses sınıflandırması, sensör verilerinde basit anormallik tespiti veya birden fazla girdiyi birleştiren basit karar politikaları gibi görevler için küçük sinir ağlarını rahatlıkla çalıştırabilirsiniz.

ESP32'nin bir diğer güçlü yönü de güç tüketimidir. Aktif modda genellikle 3.3 V'ta yaklaşık 80-260 mA (yaklaşık 0.3-0.85 W) akım çeker ve çip zengin bir uyku modu yelpazesi sunar. Yapay zeka yerel olarak çalıştığında, aksi takdirde ham verileri sürekli olarak buluta iletmek için kullanılacak enerjiden tasarruf edersiniz ve cihazı yalnızca bir model veya kural motoru ilginç bir şeyin olduğunu belirlediğinde uyandırabilirsiniz.

Maliyet en büyük engel olabilir: ESP32 tabanlı birçok kart 10 euro'nun altında satılıyor, hatta toplu alımlarda bazıları 5 dolara yakın fiyatlara geliyor. Bu sayede, bütçenizi zorlamadan evinizde, fabrikanızda, tarlanızda veya perakende alanınızda düzinelerce veya yüzlerce akıllı düğümü konuşlandırabilirsiniz. Uç ağ geçitlerine veya endüstriyel bilgisayarlara kıyasla, malzeme maliyeti önemli ölçüde daha düşüktür.

Öte yandan, bellek ve işlem gücü sınırı oldukça gerçek ve tüm tasarım kararlarınızı şekillendirecektir. Genel kurulumlarda modeller için 1 MB'tan daha az alan mevcut olduğundan, 8 bitlik niceleme, agresif budama, parametre azaltma ve artımlı yürütme gibi stratejileri benimsemeniz gerekir. Modern genel amaçlı bir LLM'ye benzeyen herhangi bir şey söz konusu bile olamaz; bunun yerine, gerektiğinde ağır mantık yürütme için harici hizmetleri çağıran dar, iyi tanımlanmış modeller ve ajan döngüleri barındırabilirsiniz.

ESP-Claw: ESP32 için hafif, cihaz üzerinde çalışan ajanlar

Espressif Systems tarafından geliştirilen ESP-Claw, yerel yapay zeka ajanlarını doğrudan ESP32 mikrodenetleyiciler üzerinde çalıştırmak için özel olarak tasarlanmış bir çerçevedir. ESP-Claw, cihazı her şeyi buluta ileten ince bir istemci olarak ele almak yerine, sensörleri okuyabilen, çıkarım yapabilen ve aktüatörleri kendi başına çalıştırabilen küçük bir karar verme motoruna dönüştürüyor.

ESP-Claw, teknik olarak üç ana yapı taşından oluşan modüler bir mimari kullanır: hafif bir çıkarım motoru, bir ajan yönetim katmanı ve sensörler ile aktüatörler için entegrasyon kancaları. Geliştiriciler, ajanları girdi alan, bunları kompakt bir model ve bir dizi kural aracılığıyla işleyen ve ardından röleleri açıp kapatma, uyarı gönderme veya kontrol ayar noktalarını ayarlama gibi eylemleri tetikleyen çıktılar üreten varlıklar olarak tanımlar.

RAM'in çok sınırlı olması nedeniyle, ESP-Claw büyük ölçüde küçük modellere ve klasik gömülü makine öğrenimi optimizasyonlarına dayanmaktadır. Tipik teknikler arasında 8 bitlik niceleme, parametre budama ve ara tamponların belleğe sığması için çıkarım işlemini küçük adımlarla çalıştırma yer alır. Pratik etkisi, temel sınıflandırma görevlerinde %80-90 doğruluk oranına ulaşan modelleri 1 MB'ın altında barındırabilmenizdir; bu da IoT senaryolarının büyük bir bölümü için yeterlidir.

Bu yerel yaklaşımın asıl avantajı gecikme süresinde ortaya çıkıyor. Tipik bir bulut çağrısı, ağa bağlı olarak 100-500 ms sürebilir; bu da hassas kontrol döngüleri veya hızlı yanıt veren kullanıcı arayüzleri için ölümcül olabilir. ESP-Claw ile basit çıkarımlar genellikle 10 ms'den kısa sürede tamamlanarak endüstriyel hatlarda, bina yönetim sistemlerinde veya etkileşimli kurulumlarda gerçek zamanlı otomasyonu mümkün kılar.

ESP-Claw ayrıca Wi-Fi ve Bluetooth üzerinden bağlantıyı da desteklediğinden, cihazlar ağ bağlantısı mevcut olduğunda özet raporları gönderebilir, günlükleri iletebilir veya güncellemeleri alabilir. Ancak asıl değer önerisi, bağlantı kesilse bile ajanın özerk bir şekilde çalışmaya devam etmesi, böylece gizliliğin ve dayanıklılığın korunmasıdır.

PycoClaw: MicroPython aracılığıyla ESP32 üzerinde OpenClaw tarzı ajanlar

ESP-Claw C/C++ ve minimal modellere odaklanırken, PycoClaw ise OpenClaw ajan mimarisini MicroPython ile ESP32'ye getirerek farklı bir yaklaşım benimsiyor. Hedef iddialı: Beş dolarlık bir mikrodenetleyicinin, modern bir arka uç yığınına çok benzeyen, ancak önemli ölçüde küçültülmüş bellek, araçlar ve çok kanallı orkestrasyon içeren, üretim kalitesinde ajanları çalıştırmasını sağlamak.

OpenClaw, merkez-çevre modeli kullanarak güvenilir ve kontrol edilebilir yapay zeka ajanları oluşturmak için tasarlanmış açık kaynaklı bir çerçevedir. Basit bir LLM'yi sarmak yerine, altı aşamalı yapılandırılmış bir işlem hattı sunar: veri alımı, yönlendirme, bağlam oluşturma, model çağrısı, araç yürütme ve yanıt teslimi. Her ajan, kişiliğini, kurallarını ve kullanıcı bağlamını açıklayan AGENTS.md, SOUL.md ve USER.md gibi düz metin dosyalarına sahip, izole edilmiş bir çalışma alanına sahiptir.

PycoClaw bu felsefeyi ESP32 üzerindeki MicroPython'a uyarlayarak, sınırlı kaynaklarla çok sayıda işlev sunuyor. Ürün yazılımı yükleme ve ortam kurulumunu yöneten, tarayıcı üzerinden erişilebilen bir IDE ile birlikte gelir; böylece uzman olmayan geliştiriciler, araç zincirleriyle veya Makefile'larla uğraşmadan bir kartı takıp bir düğmeye tıklayarak bir ajanı dağıtabilirler.

PycoClaw'ın en önemli özelliklerinden biri, ajan mantığı içinden donanım arayüzlerine doğrudan erişim sağlamasıdır. MicroPython'da çalışan ajanlar, GPIO, I2C, SPI ve PWM ile doğrudan iletişim kurabilir; bu da, iletişim kurabilen, araçları çağırabilen veya API'leri sorgulayabilen aynı varlığın, araya kırılgan bir köprü katmanı girmeden sensörleri okuyabileceği, motorları çalıştırabileceği, ekranları güncelleyebileceği veya röleleri açıp kapatabileceği anlamına gelir.

İletişim cephesinde, PycoClaw, OpenClaw'ın çok kanallı sohbet modelini mikrodenetleyici içinde yansıtıyor. Tek bir ESP32, Bluetooth, Wi-Fi, seri veya MQTT üzerinden mesajlaşmayı yönetebilir ve bunların tümünü aynı ajan çalışma zamanı üzerinden yönlendirebilir. Bu, her kanal için özel entegrasyon koduna gerek kalmadan, bir mobil uygulamayı, bir web kontrol panelini ve bir endüstriyel aracıyı aynı anda desteklemeyi çok daha kolay hale getirir.

PycoClaw ekosisteminde bellek, kalıcılık ve ScriptoHub

Klasik gömülü makine öğrenimi kütüphaneleri çıkarım aşamasında dururken, PycoClaw durum yönetimine ve kalıcı belleğe büyük önem veriyor. Ajan durumu (oturumlar, tercihler, notlar, persona detayları) SPIFFS veya LittleFS gibi dosya sistemleri kullanılarak ESP32 flash belleğinde saklanır, böylece cihaz yeniden başlatmalar, güç döngüleri ve ağ kesintileri boyunca bağlamını korur.

Bu süreklilik sadece hoş bir kullanıcı deneyimi özelliği değil; endüstriyel ve saha uygulamalarında olmazsa olmaz bir gereklilik haline geliyor. Operatörler, ajanların geçmiş alarmları, yapılandırma değişikliklerini ve yerel geçersiz kılmaları hatırlamasını beklerken, uyumluluk denetçileri de genellikle kararların net izlerini talep eder. Bunu bulut tabanlı bir arka uçtan her şeyi yeniden çekmek yerine cihaz üzerinde depolamak, bağlantı güvenilir olmadığında bile sistemin sağlam kalmasına yardımcı olur.

Geliştirme sürecini hızlandırmak için PycoClaw, önceden oluşturulmuş ajan komut dosyalarının bulunduğu bir topluluk pazarı olan ScriptoHub'a entegre olur. Orada ev otomasyonu, küçük robotlar, saha asistanları, telemetri panoları ve daha fazlası için modüller bulabilirsiniz. Ekipler bu becerileri içe aktarabilir, ürünlerine uyacak şekilde düzenleyebilir ve ardından iyileştirmelerle katkıda bulunarak çerçeve etrafında yavaş yavaş ortak bir ekosistem oluşturabilirler.

TensorFlow Lite Micro veya Edge Impulse gibi daha alt düzey çözümlerle karşılaştırıldığında, PycoClaw farklı bir niş işgal ediyor. Bu araçlar sensör akışlarını işlemede (örneğin titreşim sınıflandırması veya jest tanıma) mükemmeldir, ancak bellek, araçlar, çok kanallı sohbet veya üst düzey yönlendirme gibi döngüler sağlamazlar. Öte yandan, AWS IoT Greengrass gibi daha gelişmiş çözümler, cihaz başına daha yüksek fiyatlar ve sıkı bulut bağımlılığı pahasına zengin uç nokta yetenekleri sunar.

Akıllı ev, robotik veya düşük maliyetli otomasyon alanlarında ürün geliştiren erken aşama girişimler için PycoClaw yığını özellikle cazip. Düşük gecikme süresi, birinci sınıf donanım kontrolü ve sürekli yeniden yüklenen bellenim yerine düzenlenebilir metin dosyaları olarak ifade edilen davranış elde edersiniz; bu da deneme ve yineleme süreçlerini önemli ölçüde hızlandırır.

ESP32 üzerinde sesli asistanlar: LangChain, MCP ve bulut tabanlı LLM'lerle hibrit yığınlar

Genel "ajan" çerçevelerinin ötesinde, ESP32'nin en popüler pratik uygulamalarından biri de sesli asistanların ön yüzü olarak kullanılmasıdır. Bu tasarımlarda mikrodenetleyici ses giriş/çıkışını, temel kullanıcı arayüzünü ve donanım kontrolünü yönetirken, daha ağır bilişsel görevler – transkripsiyon, mantık yürütme, yüksek kaliteli konuşma sentezi – bulutta çalışır.

Yaygın bir mimari, I2S mikrofonu aracılığıyla ses yakalamak, basma düğmelerini veya dokunmatik sensörleri işlemek ve sesi bir I2S amplifikatörü ve hoparlörü aracılığıyla çalmak için ESP32'yi (daha iyi ses desteği için genellikle ESP32-S3) kullanır. Ham veya hafifçe işlenmiş ses, WebSockets üzerinden bir arka uç sunucusuna (çoğunlukla Node.js/TypeScript) aktarılır; bu sunucu, hizmetleri bir araya getirir: Otomatik konuşma tanıma (ASR) için Whisper veya benzer bir model, anlama ve yanıt oluşturma için LangChain aracılığıyla bir LLM ve ses çıkışı için bir metinden sese (TTS) motoru.

Arka uç daha sonra sentezlenmiş sesi küçük parçalar halinde ESP32'ye geri gönderir ve cihaz bunu neredeyse gerçek zamanlı olarak oynatır. Kullanıcı açısından bakıldığında, hızlı ve doğal bir şekilde yanıt veren "beyinli bir telsiz" gibi hissettirirken, karmaşık mantık ölçeklenebilir ve kolayca yükseltilebilir bir sunucu ortamında yer alıyor.

Bu tür sistemlerdeki karmaşık teknik detaylardan biri, bağlantının her iki ucundaki tampon bellek yönetimidir. Yanıt sürelerinde aksaklıkları ve uzun boşlukları önlemek için arabellek boyutlarını, örnekleme hızlarını ve öbekleme stratejilerini dikkatlice ayarlamanız gerekir. Doğru ayarlarla, bu projeler robotik ve gecikmeli olmak yerine, konuşma akıcılığına yakın geri dönüş sürelerine ulaşabilir.

Protokol tarafında ise MCP (Model Bağlam Protokolü) ve benzeri yaklaşımlar büyük rol oynamaya başladı. MCP, ajanların sensör okuma, röle çevirme, iş API'sinden sorgulama veya ışıkları kontrol etme gibi "araçları" bildirimsel bir şekilde duyurması ve çağırması için standart bir yol tanımlar. Bu, yapay zeka modeli seçimini temel donanım entegrasyon mantığından ayırır ve cihaz kontrol kodunu yeniden yazmaya gerek kalmadan model sağlayıcılarını değiştirmeyi çok daha kolay hale getirir.

Gerçek dünya projeleri: siber evcil hayvanlar, Wheatley replikaları ve kendin yap yardımcıları

Tüm bunlar soyut gelebilir, ancak insanların ESP32 üzerinde halihazırda çalıştırdığı somut cihazlara baktığınızda anlam kazanır. Öne çıkan örneklerden biri, ESP32-S3 ve 410x502 piksellik bir ekranla çalışan siberpunk tarzı bir masaüstü "kedi"dir. Bu küçük evcil hayvan, gerçek zamanlı dudak senkronizasyonu, ifadeler ve kişilik özellikleriyle sesle etkinleştirilen sanal bir arkadaş olarak işlev görür.

Bu yapıda, bir ajan (genellikle MCP tarzı orkestrasyon kullanılarak uygulanır) çeşitli yapay zeka modüllerini koordine eder. Oluşturulan sesten fonem çıkarılması, doğal görünümlü dudak hareketleri üretmek üzere ayarlanmış bir ağız animasyon hattını yönlendirirken, ayrı bir mantık yanıtları, boşta kalma davranışlarını ve kullanıcı etkileşimine verilen tepkileri ele alır. Sonuç olarak, yaratıcının tek başına oynadığı masa oyunları seanslarında "yoldaş" olarak çalışır halde bırakabileceği kadar canlı hissettiren bir karakter ortaya çıkar.

Bir diğer eğlenceli örnek ise, SenseCAP Watcher (8 MB PSRAM'li ESP32 tabanlı) üzerinde uygulanan, Portal 2'deki Wheatley'nin taşınabilir bir versiyonudur. Burada, ESP-IDF ile oluşturulan bellenim, dahili bir mikrofondan gelen sesi arka uçtaki bir işlem hattına aktarmak için WebRTC kullanıyor: Transkripsiyon için Whisper, Wheatley tarzı yanıtlar oluşturmak için GPT-4o ve ikonik sesi üretmek için ElevenLabs. Ses WebRTC üzerinden geri geliyor ve ESP32 oynatmayı üstlenerek cihazı konuşkan, karakter odaklı bir aksesuara dönüştürüyor.

Daha pratik bir yaklaşımla bakıldığında, ESP32'nin ses ve kontrol merkezi olarak görev yaptığı ve Node.js, LangChain ve OpenAI arka uç sistemleriyle çalışan sayısız kendin yap sesli asistanı bulunmaktadır. Tipik kurulumlarda, dinlemeyi başlatmak/durdurmak için bir düğme, WebSockets aracılığıyla bulut hattına ses akışı ve cihazda oynatılan gerçek zamanlı ses yanıtları bulunur. Açık kaynak kodlu depolar genellikle eksiksiz bağlantı şemaları, bellenim ve sunucu kodu içerir; bu da bu projeleri hem tekrarlanabilir hem de eğitici kılar.

Bu örnekler temel noktayı vurguluyor: ESP32 artık sadece "GPIO'lu bir Wi-Fi modülü" değil. Doğru mimariyle, fiziksel dünyada yaşayan ve şaşırtıcı derecede insana benzer şekillerde konuşan, dinleyen ve tepki veren etkileşimli, animasyonlu ve bağlam duyarlı ajanların çekirdeği haline gelir.

ESP32-S3, Dify, Xiaozhi ve Home Assistant ile çalışan Sesli Yapay Zeka yığınları

Akıllı ev meraklıları ve entegratörleri için, SenseCAP Watcher, Xiaozhi ESP32 arka uç sistemi ve Dify AI platformu gibi ESP32-S3 cihazları etrafında oluşturulmuş özellikle ilgi çekici bir ekosistem bulunmaktadır. Bu yazılım paketi, Watcher'ı Home Assistant için eller serbest bir ses arayüzüne dönüştürüyor; yapay zeka ajanı bağlamı anlayabiliyor, cihaz durumlarını sorgulayabiliyor ve MCP araçları aracılığıyla komutları yürütebiliyor.

Genel mimari şu şekilde: Dify yapay zeka "beyni" görevi görüyor, Xiaozhi-ESP32-sunucu donanım ve yapay zeka arasında köprü görevi görüyor ve SenseCAP Watcher insan arayüzünü sağlıyor. Dify, bir LLM sağlayıcısına (OpenAI, Azure OpenAI, Volcano Engine, MiniMax, vb.) bağlı bir Ajan tipi uygulamayı barındırırken, Xiaozhi ESP32'den ses segmentlerini alır, konuşma tanıma işlemini gerçekleştirir ve elde edilen metni Dify ajanına iletir.

Dify tarafında, platform ayarlarında en az bir model sağlayıcı yapılandırıyorsunuz, ardından akıllı asistanınız gibi davranan bir Agent uygulaması oluşturuyorsunuz. Siz, Xiaozhi'nin kullanıcı ifadelerini doğru Dify uygulamasına iletebilmesi ve yanıtları alabilmesi için kullandığı bir uygulama API anahtarı oluşturursunuz. Bu, gizli bilgileri mikrodenetleyici yazılımına kodlamadan tüm süreci birbirine bağlar.

Xiaozhi arka uç sistemi genellikle tam modül dağıtımı kullanılarak Docker üzerinde çalışır. Kurulumdan sonra, aşağıdaki gibi parametreleri yapılandırabilirsiniz. server.secret ve harici URL'ler, Xiaozhi konteynerinin Docker ağı üzerinden Dify API konteynerine ulaşabildiğinden emin olun (genellikle şu adreste: http://dify-api-1:5001/v1Ardından yapılandırmayı uygulamak için yeniden başlatın. Konsol, aracıları ve cihazları yönetebileceğiniz 8002 gibi bir portta web arayüzü sağlar.

Son olarak, cihazın giriş portalında OTA sunucu adresini yapılandırarak SenseCAP Watcher'ı Xiaozhi'ye kaydedersiniz (örneğin, 192.168.101.109:8002), cihazın yeniden başlatılmasına ve doğrulama kodunu okumasına izin verin ve bu kodu Xiaozhi cihaz yönetim ekranına ekleyin. Bu noktadan itibaren, Gözlemci OTA güncellemeleri talep edebilir, WebSocket bağlantıları açabilir ve sesli asistan iş akışına tam olarak katılabilir.

Dify ajanlarını MCP araçları aracılığıyla Home Assistant'a bağlama

Dify aracısının akıllı ev cihazlarını gerçekten kontrol edebilmesi için, Home Assistant ile iletişim kuran MCP tabanlı bir araçla onu genişletmeniz gerekir. Dify'nin "Araçlar" bölümünde, MCP SSE eklentisini bulun, kurun ve Home Assistant örneğinize nasıl ulaşılacağını ve kimlik doğrulamasının nasıl yapılacağını açıklayan bir JSON yapılandırması sağlayın.

Bu yapılandırma genellikle Home Assistant için bir MCP sunucusuna işaret eden bir URL ve uzun süreli bir erişim belirteci içerir. Tokeni Home Assistant kullanıcı profilinde "Uzun Süreli Erişim Tokenleri" altında oluşturursunuz, ardından doğru SSE URL'siyle birlikte JSON dosyasına eklersiniz; bu genellikle şöyle bir şey olabilir: http://YOUR_HA_IP:8123/api/mcp MCP sunucusunun nasıl yapılandırıldığına bağlı olarak.

Kaydedildikten sonra, Dify MCP yapılandırmasını doğrular ve Home Assistant aracını temsilcinize sunar. Bundan sonra, komut isteminiz kilit nokta haline gelir: Ajanın komut istemi bölümünde rolünü açıklarsınız, cihazları açıp kapatmak, sensör durumlarını okumak vb. için MCP aracını çağırabileceğini açıklarsınız ve komutlar belirsiz olduğunda açıklayıcı sorular sorması için talimat verirsiniz.

Çalışma zamanında iş akışı doğal hissettiriyor: SenseCAP Watcher ile konuşuyorsunuz, Xiaozhi sesi metne dönüştürüyor, Dify'nin ajanı isteği yorumluyor ve gerekirse Home Assistant ile etkileşim kurmak için MCP aracını çağırıyor. Ortaya çıkan cihaz eylemleri ve yanıtları, kullanıcı için sözlü geri bildirime dönüştürülerek, yapay zeka ajanı tarafından yönlendirilen ancak yerel akıllı ev ekosistemiyle derinlemesine entegre edilmiş eksiksiz bir konuşma döngüsü oluşturur.

Bu mimari, ağır yapay zeka mantığını Dify'da tutarken, ESP32-S3 ve Xiaozhi arka uç sistemlerinin düşük gecikmeli ses işleme ve güvenli cihaz yönetimine odaklanmasını sağlar. Bu, özellikle karmaşık ev otomasyonu senaryolarında bulut ve uç bilişimin rekabet etmek yerine birbirini nasıl tamamlayabileceğine dair iyi bir örnektir.

OpenAI Realtime, ElatoAI ve ESP32-S3 üzerinde uzun metinli konuşmalar

ESP32 tabanlı yapay zeka ajanlarına yönelik bir diğer modern yaklaşım ise OpenAI'nin Gerçek Zamanlı API'sini kullanan ElatoAI referans uygulamasından geliyor. Buradaki amaç, ESP32-S3, Güvenli WebSocket'ler ve Deno Edge Fonksiyonları kullanarak, küresel olarak düşük gecikme süresiyle on dakikadan uzun kesintisiz konuşmadan konuşmaya görüşmeleri desteklemektir.

ElatoAI üç ana bileşenden oluşmaktadır: Yapay zeka karakterlerini yönetmek ve tarayıcıdan onlarla iletişim kurmak için kullanılan bir Next.js ön yüzü (genellikle Vercel üzerinde konuşlandırılır), WebSocket bağlantılarını ve OpenAI çağrılarını işlemek için Deno tabanlı uç işlevler ve uç sunucuya ses akışı sağlayan bir ESP32 Arduino istemcisi. Supabase, kimlik doğrulama, cihaz yönetimi ve konuşma kayıtları ile yapılandırma verileri için depolama hizmeti sağlar.

Donanım bileşenleri kasıtlı olarak minimal tutulmuştur: bir ESP32-S3 geliştirme kartı, INMP441 gibi bir I2S mikrofon, küçük bir hoparlöre sahip MAX98357A gibi bir I2S amplifikatör, etkileşim için bir basma düğmesi veya dokunmatik sensör ve görsel geri bildirim için bir RGB LED. Opus ses sıkıştırma ve akış teknolojisinin verimli kullanımı sayesinde PSRAM'e kesinlikle gerek duyulmaz; bu da malzeme maliyetini düşük tutarken temiz ses kalitesi sunmaya devam eder.

Ağ tarafında, ESP32, kullanıcının Wi-Fi kimlik bilgilerini yapılandırabilmesi için bir giriş portalı açar, ardından yeniden bağlanır ve cihazı MAC adresi ve kullanıcı tanımlı bir kod kullanarak Supabase'e kaydeder. Ürün yazılımı, geliştirme ortamında yerel IP adresleri veya üretim ortamında tam nitelikli alan adları ile tanımlanan Deno uç sunucusuna ve Next.js ön ucuna, tüm bunlar güvenli WSS bağlantıları üzerinden bağlanır.

Kullanıcı deneyimi açısından bakıldığında, ElatoAI farklı yapay zeka karakterleri arasından seçim yapmanıza, özel kişilikler oluşturmanıza ve bunları ESP32 cihazına göndermenize olanak tanır. Ses seviyesi web uygulamasından kontrol edilebilir, ürün yazılımı kablosuz olarak güncellenebilir ve konuşma kayıtları daha sonra incelenmek üzere Supabase'e kaydedilir. Tarayıcı içi konuşmaları desteklemek için WebRTC kullanılırken, cihaz iletişimi WebSockets ile sağlanır ve tutarlı bir çoklu uç nokta deneyimi sunulur.

Yerel ESP32 aracılarının öne çıktığı alanlar: temel kullanım örnekleri

ESP32'nin yalnızca küçük modelleri değil, tam ajan döngülerini de barındırabileceğini kabul ettiğinizde, çok çeşitli gerçek dünya uygulamalarının önü açılır. Ev otomasyonunda, yerel ajanlar kullanım kalıplarını öğrenebilir, varlık durumuna ve günün saatine bağlı olarak ışıkları kısabilir veya aydınlatabilir ya da her sıcaklık okumasını buluta göndermeden termostatı akıllıca ayarlayabilir.

Bant genişliğinin kısıtlı ve pahalı olabildiği tarım ve kırsal IoT uygulamalarında, ESP32 ajanları yerel hava durumu sensörlerine ve geçmiş verilere dayanarak sulama, havalandırma veya sera pencereleri hakkında kararlar verebilir. Merkezi bir sunucuya yalnızca toplu istatistikler veya önemli uyarıların gönderilmesi gerekir; bu da veri faturalarını önemli ölçüde azaltır ve sistemi kesintili ağlarda bile dayanıklı hale getirir.

Hafif sanayi ortamları da bir diğer ideal kullanım alanıdır. İvmeölçer ve sıcaklık sensörleriyle donatılmış ESP32 kartları, öngörücü bakım düğümleri olarak işlev görebilir; yerel olarak küçük anormallik tespit modelleri çalıştırarak olağandışı titreşimleri veya aşırı ısınmayı işaretleyebilir ve makineler arızalanmadan önce erken uyarı bildirimleri tetikleyebilir. Çıkarım işlemi cihaz üzerinde çalıştığı için, kritik bir üretim penceresi sırasında bağlantı kesilse bile sistem çalışmaya devam eder.

Eğitim ve robotik alanları da bu ajan tabanlı çerçevelerden faydalanmaktadır. Örneğin PycoClaw ile okullar, davranışların sadece önceden kodlanmış değil, aynı zamanda etkileşimlerin temel hafızasına ve muhtemelen basit ses arayüzlerine sahip, uyarlanabilir olduğu düşük maliyetli robotlar veya etkileşimli kurulumlar oluşturabilirler. Donanım o kadar ucuz ki, tüm sınıflar uygulamalı erişime sahip olabilir.

Perakende veya halka açık ortamlarda, ESP32 destekli asistanlar kiosk, bilgi noktası veya erişilebilirlik yardımcısı olarak hizmet verebilir. Ziyaretçileri karşılayabilir, sözlü talimatlar verebilir, sensörlere (hareket veya yakınlık gibi) tepki verebilir ve hassas veriler açıkça gerekli olmadıkça tesis dışına çıkmadan çevrimdışı olarak çalışmaya devam edebilirler.

Sınırlamalar, zorluklar ve dikkat edilmesi gerekenler

Tüm umut vadeden kullanım alanlarına rağmen, ESP32 üzerindeki yerel yapay zeka ajanları, uymanız gereken ciddi kısıtlamalarla birlikte gelir. İşlem gücü ve bellek kısıtlı olduğundan, küçük ve odaklanmış modellerin ötesindeki her şey bir bulut hizmetine devredilmelidir. Uygulamanız zengin doğal dil çıkarımına dayanıyorsa, neredeyse kesinlikle bir yerde bir LLM'ye (Dilsel Öğrenme Modeli) ihtiyacınız olacaktır.

Model boyutu başlıca darboğazlardan biridir: birçok yapılandırmada yapay zeka için 1 MB'tan daha az flash bellek mevcuttur; bu da dikkatli mimari ve optimizasyonu vazgeçilmez bir gereklilik haline getirir. Bellek yetersizliğinden kaynaklanan çökmeler olmadan işlerin sorunsuz bir şekilde yürümesi için büyük olasılıkla niceleme, budama, katman azaltma ve akıllı zamanlama yöntemlerini birleştirmeniz gerekecektir.

Ajanları ve modelleri büyük ölçekte güncellemek de bir diğer zorlu sorundur. PycoClaw gibi sistemler, düzenlenebilir metin dosyaları aracılığıyla ajan kişiliğini ve kurallarını ayarlamaya olanak tanırken, onlarca veya yüzlerce cihazdaki temel modeli değiştirmek, özellikle bağlantı kesintili olduğunda veya cihazlar zorlu ortamlarda konuşlandırıldığında, sağlam bir OTA (kablosuz güncelleme) hattı ve iyi bir operasyonel hijyen gerektirir.

Ajanlarınız değerli veya potansiyel olarak tehlikeli herhangi bir şeye erişim sağladığı anda güvenlik konusuna özel önem verilmelidir. Endüstriyel ortamlarda güvenli önyükleme, şifrelenmiş flash bellek, imzalı bellenim, karşılıklı TLS, rol tabanlı yetkilendirme ve kapsamlı günlük kaydı gibi özellikler isteğe bağlı değildir. Yapay zeka ajanları araçları çalıştırabileceği ve dinamik mantık yürütebileceği için, ne yapabilecekleri ve ne yapamayacakları konusunda çok açık olmalısınız.

Son olarak, daha gelişmiş ekosistemlerin bazıları hala nispeten gençtir. PycoClaw, ScriptoHub ve bazı Xiaozhi/Dify entegrasyon modelleri hızla gelişiyor; dokümantasyon yeni özelliklerin gerisinde kalabilir ve erken benimseyenlerin hızla değişen API'ler ve topluluk odaklı araçlarla çalışmaya alışkın olmaları gerekir. Karşılığında, pazarın geri kalanı yetişmeden önce ürününüzü farklılaştırabilecek özelliklere erken erişim elde edersiniz.

Tüm bunları bir araya getirdiğimizde, ortaya çıkan tablo, ESP32'nin "ucuz bir Wi-Fi modülü" olmaktan çıkıp, fiziksel dünyada algılama, hatırlama, akıl yürütme (yerel olarak veya bulut üzerinden) ve eylemde bulunma yeteneğine sahip, gerçekten akıllı uç düğümler için bir temel haline geldiğini gösteriyor. ESP-Claw ve PycoClaw gibi çerçeveler, LangChain, MCP veya OpenAI Realtime kullanan hibrit ses yığınları ve siber evcil hayvanlar, Wheatley replikaları ve Home Assistant tarafından yönetilen uşaklar gibi gerçek dünya örnekleriyle, ESP32 üzerindeki yerel yapay zeka ajanları zaten pratik, güçlü ve IoT, robotik ve akıllı çevre ürünlerinin bir sonraki dalgasını desteklemeye hazır durumda.