12-Faktorin AI-agentti: Tehokkaiden ja skaalautuvien AI-järjestelmien rakentaminen

Mikä tekee AI-agentista tehokkaan?

Ennen kuin syvennytään tekijöihin, selvennetään mitä tarkoitetaan “AI-agenteilla”. Pohjimmiltaan nämä ovat järjestelmiä, jotka pystyvät tulkitsemaan luonnollisen kielen pyyntöjä, tekemään päätöksiä kontekstin perusteella ja suorittamaan tiettyjä toimintoja työkalujen tai API-rajapintojen kautta — säilyttäen samalla johdonmukaisen, jatkuvan vuorovaikutuksen.

Tehokkaimmat agentit yhdistävät kielimallien päättelykyvyn deterministisen koodin luotettavuuteen. Tämän tasapainon saavuttaminen vaatii huolellisia suunnitteluratkaisuja, joihin juuri nämä tekijät pureutuvat.

12 tekijää vankkojen AI-agenttien rakentamiseen

1. Hallitse luonnollisen kielen muuntaminen työkalukutsuiksi

Luonnollisten kielen pyyntöjen muuntaminen jäsennellyiksi työkalukutsuiksi on agentin toiminnallisuuden ydin. Tämä mahdollistaa sen, että agentti ymmärtää yksinkertaisen komennon, kuten “luo maksulinkki 750 dollarille Terrille helmikuun AI Tinkerers -tapaamiseen”, ja muuntaa sen oikein muotoilluksi API-kutsuksi.

Image URL

{
  "function": {
    "name": "create_payment_link",
    "parameters": {
      "amount": 750,
      "customer": "cust_128934ddasf9",
      "product": "prod_8675309",
      "price": "prc_09874329fds",
      "quantity": 1,
      "memo": "Hey Jeff - see below for the payment link for the February AI Tinkerers meetup"
    }
  }
}

Tämän toiminnan luotettavuuden avain on käyttää determinististä koodia käsittelemään kielimallin jäsenneltyä ulostuloa. Vahvista aina API-payloadit ennen suoritusta virheiden estämiseksi ja varmista, että LLM palauttaa johdonmukaiset JSON-muodot, jotka voidaan varmasti jäsentää.

2. Omista kehoteisi täysin

Kehotteesi ovat sovelluksesi ja kielimallin välinen rajapinta — käsittele niitä ensiluokkaisena koodina. Vaikka kehoteabstraktiota tarjoavat kehykset voivat tuntua käteviltä, ne usein hämärtävät, miten ohjeet välitetään LLM:lle, tehden hienosäädöstä vaikeaa tai mahdotonta.

Sen sijaan pidä kehoteista suora kontrolli kirjoittamalla ne eksplisiittisesti:

function DetermineNextStep(thread: string) -> DoneForNow | ListGitTags | DeployBackend | DeployFrontend | RequestMoreInformation {
  prompt #"
    {{ _.role("system") }}
    You are a helpful assistant that manages deployments for frontend and backend systems.
    ...
    {{ _.role("user") }}
    {{ thread }}
    What should the next step be?
  "#
}

Tämä lähestymistapa antaa sinulle useita etuja:

• Täysi kontrolli tarkkojen ohjeiden kirjoittamiseen omaan käyttötapaukseesi
• Mahdollisuus rakentaa kehote-evaluointeja ja testejä kuten mitä tahansa muuta koodia
• Läpinäkyvyys ymmärtää tarkalleen, mitä LLM vastaanottaa
• Vapaus iterointiin suorituskykymittareiden perusteella

3. Suunnittele kontekstikkuna strategisesti

Kontekstikkuna toimii LLM:n syötteenä, sisältäen kehotteet, keskusteluhistorian ja ulkoisen datan. Tämän ikkunan optimointi parantaa suorituskykyä ja tokenien tehokkuutta.

Image URL

Siirry vakiomuotoisista viestipohjaisista formaateista räätälöityihin rakenteisiin, jotka maksimoivat informaatiotiheyden:

<slack_message>
    From: @alex
    Channel: #deployments
    Text: Can you deploy the backend?
</slack_message>
<list_git_tags>
    intent: "list_git_tags"
</list_git_tags>
<list_git_tags_result>
    tags:
      - name: "v1.2.3"
        commit: "abc123"
        date: "2024-03-15T10:00:00Z"
</list_git_tags_result>

Tämä tuo useita hyötyjä:

• Vähentynyt tokenien käyttö kompakteilla formaateilla
• Parempi arkaluontoisen datan suodatus ennen LLM:lle välittämistä
• Joustavuus kokeilla formaatteja, jotka parantavat LLM:n ymmärrystä

4. Toteuta työkalut jäsenneltyinä ulostuloina

Pohjimmiltaan työkalut ovat vain LLM:n tuottamia JSON-ulostuloja, jotka käynnistävät deterministisiä toimintoja koodissasi. Tämä luo selkeän jaon AI-päätöksenteon ja suorituksen logiikan välille.

Määrittele työkalujen skeemat selkeästi:

class CreateIssue {
  intent: "create_issue";
  issue: {
    title: string;
    description: string;
    team_id: string;
    assignee_id: string;
  };
}

class SearchIssues {
  intent: "search_issues";
  query: string;
  what_youre_looking_for: string;
}

Rakenna sitten luotettava jäsentäminen LLM:n JSON-ulostuloille, käytä determinististä koodia toimintojen suorittamiseen ja syötä tulokset takaisin kontekstiin iteratiivisia työnkulkuja varten.

5. Yhdistä suoritus- ja liiketoimintatila

Monet agenttikehykset erottavat suorituskykytilan (esim. prosessin nykyinen vaihe) liiketoimintatilasta (esim. työkalukutsujen ja niiden tulosten historia). Tämä erottelu lisää tarpeetonta monimutkaisuutta.

Tallenna sen sijaan kaikki tila suoraan kontekstikkunaan, päätellen suorituskykytila tapahtumien järjestyksestä:

<deploy_backend>
    intent: "deploy_backend"
    tag: "v1.2.3"
    environment: "production"
</deploy_backend>
<error>
    error running deploy_backend: Failed to connect to deployment service
</error>

Tämä yhtenäinen lähestymistapa tarjoaa:

• Yksinkertaisuutta yhdellä totuuden lähteellä tilalle
• Parempaa debuggausta, kun koko historia on yhdessä paikassa
• Helpon palautuksen jatkamalla mistä tahansa kohdasta lataamalla säie

AI-agenttien vieminen tuotantoon

6. Suunnittele API:t käynnistystä, tauotusta ja jatkamista varten

Tuotantotason agenttien on integroiduttava saumattomasti ulkoisiin järjestelmiin, tauottava pitkäkestoisia tehtäviä varten ja jatkettava, kun webhookit tai muut tapahtumat käynnistävät sen.

Toteuta API:t, joiden avulla agentit voidaan käynnistää, tauottaa ja jatkaa, säilyttäen tila luotettavasti toimintojen välillä. Tämä mahdollistaa:

• Joustavan tuen asynkronisille työnkuluille
• Siistin integraation webhookien ja muiden järjestelmien kanssa
• Luotettavan jatkamisen keskeytysten jälkeen ilman uudelleenkäynnistystä

7. Mahdollista ihmisen yhteistyö työkalukutsujen kautta

AI-agentit tarvitsevat usein ihmisen panosta kriittisiin päätöksiin tai epäselviin tilanteisiin. Käyttämällä jäsenneltyjä työkalukutsuja tämä vuorovaikutus onnistuu saumattomasti:

class RequestHumanInput {  
  intent: "request_human_input";  
  question: string;  
  context: string;  
  options: {  
    urgency: "low" | "medium" | "high";  
    format: "free_text" | "yes_no" | "multiple_choice";  
    choices: string[];  
  };  
}

Image URL

Tämä lähestymistapa mahdollistaa vuorovaikutuksen tyypin ja kiireellisyyden selkeän määrittelyn, tukee useiden käyttäjien syötteitä ja yhdistyy hyvin API-rajapintoihin kestäviä työnkulkuja varten.

8. Kontrolloi agenttisi kulkua

Räätälöity ohjausvirta mahdollistaa tauotuksen ihmisen hyväksyntää varten, tulosten välimuistin tai rajoituksen toteutuksen — räätälöiden agentin käyttäytymistä tarpeisiisi:

Image URL

async function handleNextStep(thread: Thread) {
  while (true) {
    const nextStep = await determineNextStep(threadToPrompt(thread));
    if (nextStep.intent === 'request_clarification') {
      await sendMessageToHuman(nextStep);
      await db.saveThread(thread);
      break;
    } else if (nextStep.intent === 'fetch_open_issues') {
      const issues = await linearClient.issues();
      thread.events.push({ type: 'fetch_open_issues_result', data: issues });
      continue;
    }
  }
}

Näin saat:

• Keskeytettävyyden tauottaa ihmisen tarkastelua varten ennen kriittisiä toimia
• Räätälöintimahdollisuudet lokitukselle, välimuistille tai yhteenvedolle
• Luotettavan käsittelyn pitkäkestoisille tehtäville

9. Tiivistä virheet kontekstiin itsestäänkorjaavuuden mahdollistamiseksi

Virheiden sisällyttäminen suoraan kontekstikkunaan mahdollistaa AI-agenttien oppimisen epäonnistumisista ja toimintatapojen säätämisen:

try {
  const result = await handleNextStep(thread, nextStep);
  thread.events.push({ type: `${nextStep.intent}_result`, data: result });
} catch (e) {
  thread.events.push({ type: 'error', data: formatError(e) });
}

Jotta tämä toimii tehokkaasti:

• Rajoita uudelleenyrityksiä estääksesi loputtomat silmukat
• Eskaloi ihmiselle toistuvien epäonnistumisten jälkeen
• Muotoile virheet selkeästi, jotta LLM ymmärtää, mikä meni vikaan

Arkkitehtuurin parhaat käytännöt

10. Rakenna pieniä, fokusoituja agentteja

Pienet agentit, jotka hoitavat 3–20 vaihetta, ylläpitävät hallittavia kontekstikkunoita, mikä parantaa LLM:n suorituskykyä ja luotettavuutta. Tämä tuo:

• Selkeyttä, kun jokaisella agentilla on hyvin määritelty rajaus
• Pienemmän riskin agentin keskittymisen menetykselle
• Helpomman testauksen ja tiettyjen toimintojen validoinnin

Image URL

LLM:ien kehittyessä nämä pienet agentit voivat laajentaa laajuuttaan laadun säilyessä, varmistaen pitkäaikaisen skaalautuvuuden.

11. Mahdollista laukaisut useista lähteistä

Tee agenteistasi helposti saavutettavia sallimalla laukaisut esimerkiksi Slackista, sähköpostista tai tapahtumajärjestelmistä — kohtaa käyttäjät siellä, missä he jo työskentelevät.

Toteuta API:t, jotka käynnistävät agentit eri kanavista ja vastaavat saman välineen kautta. Tämä mahdollistaa:

• Parempi saavutettavuus integroimalla käyttäjäalustoihin
• Tuki tapahtumapohjaisille automaatiotyönkuluille
• Ihmishyväksyntäprosessit riskialttiille operaatioille

12. Suunnittele agentit tilattomina reduktoreina

Käsittele agentteja tilattomina funktioina, jotka muuntavat syötekontekstin ulostulotoiminnoiksi — tämä yksinkertaistaa tilanhallintaa, tehden niistä ennustettavia ja helpommin debugoitavia.

Image URL

Tämä konseptuaalinen lähestymistapa näkee agentit puhtaina funktioina ilman sisäistä tilaa, tarjoten:

• Ennustettavaa käyttäytymistä tietyillä syötteillä
• Helpomman virheiden jäljittämisen kontekstihistorian kautta
• Yksinkertaisemman testauksen ja validoinnin

Rakentaen tulevaisuutta varten

AI-agenttien ala kehittyy nopeasti, mutta nämä perusperiaatteet pysyvät olennaisina mallien parantuessa. Aloittamalla pienistä, fokusoiduista agenteista, jotka noudattavat näitä käytäntöjä, voit luoda järjestelmiä, jotka tuottavat arvoa tänään ja sopeutuvat tulevaisuuden kehitykseen.

Muista, että tehokkaimmat AI-agentit yhdistävät kielimallien päättelykyvyn deterministisen koodin luotettavuuteen — ja nämä 12 tekijää auttavat sinua saavuttamaan tuon tasapainon.

Näin FlowHunt sovelsi 12-faktorin metodologiaa

FlowHuntilla olemme ottaneet nämä periaatteet käyttöön kehittämällä oman AI-agenttimme, joka luo automaattisesti työnkulkuautomaatioita asiakkaillemme. Näin sovelsimme 12-faktorin metodologiaa rakentaaksemme luotettavan, tuotantovalmiin järjestelmän