12 Faktörlü AI Aracısı: Ölçeklenebilir ve Etkili AI Sistemleri Kurmak

Etkili Bir AI Aracısını Ne Oluşturur?

Faktörlere geçmeden önce, “AI aracıları”ndan ne kastettiğimizi netleştirelim. Temelde, bunlar doğal dil taleplerini yorumlayabilen, bağlama göre karar alabilen ve araçlar ya da API’ler üzerinden belirli eylemleri gerçekleştirebilen; bunları yaparken de tutarlı ve sürekliliği olan etkileşimler sürdürebilen sistemlerdir.

En güçlü aracı sistemler, dil modellerinin akıl yürütme yeteneklerini deterministik kodun güvenilirliğiyle birleştirir. Ancak bu dengeyi kurmak, dikkatli tasarım seçimleri gerektirir ve bu faktörler tam olarak bunu hedefler.

Sağlam AI Aracıları Kurmak İçin 12 Faktör

1. Doğal Dilden Araca Çağrı Dönüşümünde Usta Olun

Doğal dildeki talepleri yapılandırılmış araç çağrılarına dönüştürebilmek, bir aracının temel işlevselliğidir. Bu, “Şubat AI Tinkerers buluşması için Terri’ye 750 $’lık bir ödeme bağlantısı oluştur” gibi basit bir komutu, düzgün biçimlendirilmiş bir API çağrısına dönüştürmeyi sağlar.

Resim URL’si

{
  "function": {
    "name": "create_payment_link",
    "parameters": {
      "amount": 750,
      "customer": "cust_128934ddasf9",
      "product": "prod_8675309",
      "price": "prc_09874329fds",
      "quantity": 1,
      "memo": "Hey Jeff - see below for the payment link for the February AI Tinkerers meetup"
    }
  }
}

Bunun güvenilir şekilde çalışmasını sağlamanın anahtarı, dil modelinizden gelen yapılandırılmış çıktıyı işlemek için deterministik kod kullanmaktır. Hataları önlemek için API yüklerini her zaman yürütmeden önce doğrulayın ve LLM’inizin güvenilir şekilde ayrıştırılabilir, tutarlı JSON formatı döndürdüğünden emin olun.

2. İstemlerinize Tamamen Sahip Olun

İstemler, uygulamanız ile dil modeli arasındaki arayüzdür—onları birinci sınıf kod olarak ele alın. İstemleri soyutlayan çerçeveler kullanışlı görünebilir ancak çoğu zaman talimatların LLM’e nasıl iletildiğini gizler ve ince ayar yapmayı zorlaştırır hatta imkânsız hale getirir.

Bunun yerine, istemlerinizi açıkça yazarak doğrudan kontrol edin:

function DetermineNextStep(thread: string) -> DoneForNow | ListGitTags | DeployBackend | DeployFrontend | RequestMoreInformation {
  prompt #"
    {{ _.role("system") }}
    You are a helpful assistant that manages deployments for frontend and backend systems.
    ...
    {{ _.role("user") }}
    {{ thread }}
    What should the next step be?
  "#
}

Bu yaklaşım size şu avantajları sunar:

• Belirli kullanım senaryonuza özel, hassas talimatlar yazma kontrolü
• İstemler için diğer kodlar gibi değerlendirme ve test oluşturabilme
• LLM’in tam olarak ne aldığını görebilme şeffaflığı
• Performans metriklerine göre yineleme özgürlüğü

3. Bağlam Penceresini Stratejik Olarak Tasarlayın

Bağlam penceresi, istemleri, konuşma geçmişini ve harici verileri kapsayan LLM’in girişidir. Bu pencereyi optimize etmek, performansı ve token verimliliğini artırır.

Resim URL’si

Standart mesaj tabanlı formatların ötesine geçip, bilgi yoğunluğunu en üst düzeye çıkaran özel yapılar kullanın:

<slack_message>
    From: @alex
    Channel: #deployments
    Text: Can you deploy the backend?
</slack_message>
<list_git_tags>
    intent: "list_git_tags"
</list_git_tags>
<list_git_tags_result>
    tags:
      - name: "v1.2.3"
        commit: "abc123"
        date: "2024-03-15T10:00:00Z"
</list_git_tags_result>

Bu yaklaşımın sunduğu faydalar şunlardır:

• Kompakt formatlarla azaltılmış token kullanımı
• Hassas verileri LLM’e göndermeden önce daha iyi filtreleme
• LLM’in anlamasını artıran formatlarla deneme esnekliği

4. Araçları Yapılandırılmış Çıktı Olarak Uygulayın

Temelde, araçlar yalnızca LLM’den çıkan ve kodunuzda deterministik eylemleri tetikleyen JSON çıktılardır. Bu, AI karar alma ile yürütme mantığı arasında net bir ayrım sağlar.

Araç şemalarını net olarak tanımlayın:

class CreateIssue {
  intent: "create_issue";
  issue: {
    title: string;
    description: string;
    team_id: string;
    assignee_id: string;
  };
}

class SearchIssues {
  intent: "search_issues";
  query: string;
  what_youre_looking_for: string;
}

Ardından LLM JSON çıktıları için güvenilir ayrıştırma oluşturun, deterministik kodla eylemleri yürütün ve sonuçları yinelemeli iş akışları için tekrar bağlama ekleyin.

5. Yürütme ve İş Durumunu Birleştirin

Pek çok aracı çerçevesi, yürütme durumunu (ör. süreçteki mevcut adım) iş durumundan (ör. araç çağrıları ve sonuçlarının geçmişi) ayrı tutar. Bu ayrım, gereksiz karmaşıklık ekler.

Bunun yerine, tüm durumu doğrudan bağlam penceresinde tutun ve yürütme durumunu olaylar dizisinden çıkarın:

<deploy_backend>
    intent: "deploy_backend"
    tag: "v1.2.3"
    environment: "production"
</deploy_backend>
<error>
    error running deploy_backend: Failed to connect to deployment service
</error>

Bu birleşik yaklaşım şu avantajları sağlar:

• Durum için tek bir gerçek kaynağı ile sadelik
• Tüm geçmişin bir yerde olmasıyla daha iyi hata ayıklama
• İstenilen noktadan başlatarak kolay kurtarma

AI Aracılarını Üretime Almak

6. Başlat, Duraklat ve Devam Ettirmek İçin API’ler Tasarlayın

Üretim düzeyinde aracıların, harici sistemlerle sorunsuz entegre olması, uzun süren görevler için duraklayabilmesi ve webhook veya diğer olaylarla tetiklendiğinde devam edebilmesi gerekir.

Ajanları başlatan, duraklatan ve devam ettiren; işlemler arasında sağlam durum depolaması sunan API’ler uygulayın. Bu sayede:

• Asenkron iş akışları için esnek destek
• Webhook ve diğer sistemlerle temiz entegrasyon
• Kesintilerden sonra yeniden başlatmadan güvenilir devam sağlanır

7. Araç Çağrılarıyla İnsan İş Birliğini Etkinleştirin

AI aracıları, yüksek riskli kararlar veya belirsiz durumlar için sıkça insan girdisine ihtiyaç duyar. Yapılandırılmış araç çağrılarıyla bu etkileşim sorunsuz olur:

class RequestHumanInput {  
  intent: "request_human_input";  
  question: string;  
  context: string;  
  options: {  
    urgency: "low" | "medium" | "high";  
    format: "free_text" | "yes_no" | "multiple_choice";  
    choices: string[];  
  };  
}

Resim URL’si

Bu yaklaşım, etkileşim türü ve aciliyetini açıkça belirtir, birden fazla kullanıcıdan girdi almayı destekler ve kalıcı iş akışları için API’lerle iyi bir şekilde birleşir.

8. Aracınızın Akışını Kontrol Edin

Özel kontrol akışı, insan onayı için duraklatma, sonuçları önbelleğe alma veya oran sınırlaması uygulama imkanı sunar—aracınızın davranışını özel ihtiyaçlarınıza göre şekillendirin:

Resim URL’si

async function handleNextStep(thread: Thread) {
  while (true) {
    const nextStep = await determineNextStep(threadToPrompt(thread));
    if (nextStep.intent === 'request_clarification') {
      await sendMessageToHuman(nextStep);
      await db.saveThread(thread);
      break;
    } else if (nextStep.intent === 'fetch_open_issues') {
      const issues = await linearClient.issues();
      thread.events.push({ type: 'fetch_open_issues_result', data: issues });
      continue;
    }
  }
}

Bu yaklaşımla şu avantajlara sahip olursunuz:

• Kritik eylemlerden önce insan incelemesi için duraklatabilme
• Günlük kaydı, önbellekleme veya özetleme için özelleştirme seçenekleri
• Uzun süren görevlerde güvenilir yönetim

9. Hataları Kendi Kendini İyileştirecek Şekilde Bağlama Ekleyin

Hataları doğrudan bağlam penceresine eklemek, AI aracılarının başarısızlıklardan öğrenmesini ve yaklaşımını ayarlamasını sağlar:

try {
  const result = await handleNextStep(thread, nextStep);
  thread.events.push({ type: `${nextStep.intent}_result`, data: result });
} catch (e) {
  thread.events.push({ type: 'error', data: formatError(e) });
}

Bunun etkili olması için:

• Sonsuz döngüleri önlemek için tekrar denemeleri sınırlayın
• Tekrarlanan başarısızlıklarda insanlara yönlendirin
• Hataları LLM’in neyin yanlış gittiğini anlayacağı şekilde açıkça biçimlendirin

Mimari En İyi Uygulamalar

10. Küçük ve Odaklı Aracılar Kurun

3–20 adımlı küçük aracı sistemler, yönetilebilir bağlam pencereleriyle LLM performansını ve güvenilirliğini artırır. Bu yaklaşım şu avantajları sağlar:

• Her aracı için iyi tanımlanmış kapsam ile açıklık
• Aracının odağını kaybetme riskinin azalması
• Belirli işlevlerin daha kolay test ve doğrulaması

Resim URL’si

LLM’ler gelişmeye devam ettikçe, bu küçük aracıların kapsamı büyüyebilir ve kalite korunarak uzun vadeli ölçeklenebilirlik sağlanır.

11. Birden Fazla Kaynaktan Tetiklemeyi Etkinleştirin

Aracılarınıza Slack, e-posta veya olay sistemlerinden tetikleme imkanı sunarak, kullanıcıların zaten çalıştığı yerlerde erişilebilirliğini artırın.

Çeşitli kanallardan aracı başlatan ve aynı ortamdan yanıt veren API’ler uygulayın. Bu sayede:

• Kullanıcıların tercih ettiği platformlara entegre olarak daha iyi erişilebilirlik
• Olay tabanlı otomasyon iş akışları desteği
• Yüksek öneme sahip işlemler için insan onay iş akışları

12. Aracıları Durumsuz Azaltıcılar Olarak Tasarlayın

Aracıları, giriş bağlamını çıktı eylemlerine dönüştüren durumsuz fonksiyonlar gibi ele almak; durum yönetimini basitleştirir, öngörülebilirliği ve hata ayıklamayı kolaylaştırır.

Resim URL’si

Bu kavramsal yaklaşım, aracıları hiçbir iç durum tutmayan saf fonksiyonlar olarak görür ve şunları sağlar:

• Belirli girişler için öngörülebilir davranış
• Bağlam geçmişi üzerinden sorunların kolayca izlenmesi
• Daha basit test ve doğrulama

Geleceğe Hazır Sistemler Kurmak

AI aracıları alanı hızla evrilse de, bu temel ilkeler, alttaki modeller gelişse bile geçerliliğini koruyacaktır. Bu uygulamaları takip eden küçük ve odaklanmış aracılarla başlayarak, bugün değer sunan ve gelecekteki gelişmelere uyum sağlayan sistemler oluşturabilirsiniz.

En etkili AI aracılarının, dil modellerinin akıl yürütme yeteneğini deterministik kodun güvenilirliğiyle birleştirdiğini unutmayın—ve bu 12 faktör, bu dengeyi kurmanıza yardımcı olur.

FlowHunt 12 Faktör Metodolojisini Nasıl Uyguladı?

FlowHunt olarak, bu ilkeleri müşterilerimiz için otomatik iş akışları oluşturan kendi AI aracımızı geliştirerek pratiğe döktük. İşte, güvenilir ve üretime hazır bir sistem oluşturmak için 12 faktör metodolojisini nasıl uyguladık: