Llama 3.2 1B와 같은 AI 에이전트가 정보를 처리하는 방식

AI 에이전트는 우리가 정보를 다루고, 문제를 해결하며, 의사결정을 내리는 방식을 새롭게 정의하고 있습니다. 그중에서도 Llama 3.2 1B는 효율성과 정확성을 중시한 컴팩트하면서도 강력한 아키텍처로 설계되어 정보 처리에서 두각을 나타냅니다. 그렇다면 실제 과제에서 이 에이전트의 성능은 어떨까요?

이번 블로그에서는 Llama 3.2 1B를 직접 테스트하며 AI 에이전트로서의 추론 능력을 평가합니다. 실전 시나리오를 통해 입력을 처리하고, 데이터를 분석하며, 통찰력 있는 솔루션을 도출하는 능력을 살펴봅니다. 이 과정을 통해 Llama 3.2 1B가 역동적인 응용 분야에서 보여주는 강점, 약점, 잠재력을 밝혀봅니다. AI 추론의 원리가 궁금하시다면, 이 컴팩트하지만 강력한 모델의 성능을 직접 확인해 보시기 바랍니다.

과제 1: 콘텐츠 생성

프롬프트:
사용자가 “Start”라고 하면 다음을 수행해야 합니다.

• 콘텐츠 생성: 프로젝트 관리의 기본 원칙에 대해, 목표 정의, 범위 설정, 위임에 중점을 두고 포괄적이고 정보가 풍부한 글을 작성합니다.

초기 과제 이해 및 계획

• (0:06) 생각: 현재 우리가 진행 중인 과제나 프로젝트에 대한 목표, 마감일, 구체적 요구 사항을 제공해 주실 수 있나요?
• (0:09) 생각: 프로젝트 관리의 기본 원칙, 특히 목표 정의, 범위 설정, 위임에 관련된 정보를 수집합니다.

리서치 도구 선택 및 초기 검색

• (0:16) 생각: 프로젝트 관리 기본 원칙에 대한 포괄적인 글을 작성하려면, 목표 정의, 범위 설정, 위임에 관한 자세한 정보를 수집해야 합니다. 우선 wikipedia 도구를 활용해 프로젝트 관리 전반을 폭넓게 살펴보겠습니다.
• 도구 사용: wikipedia

검색 전략 세분화

• (0:18) 생각: wikipedia 항목에서 프로젝트 관리에 대한 개괄은 얻었으나, 목표 정의, 범위, 위임에 관한 구체적인 내용은 부족합니다. google_serper를 이용해 해당 주제에 더 초점을 맞춘 자료를 찾아보겠습니다.
• 도구 사용: google_serper

Google 검색을 통한 추가 리서치

• (0:22) 생각: 프로젝트 목표 정의에 대한 인사이트를 얻었습니다. 이제 범위와 위임의 구체적 내용을 찾아야 합니다. google_serper를 다시 사용해 상세 정보를 수집하겠습니다.
• 도구 사용: google_serper
• (0:26) 생각: 프로젝트 목표 및 범위 정의에 대한 인사이트는 확보했습니다. 이제 프로젝트 관리에서의 위임에 대해 자세히 알아보겠습니다. google_serper를 다시 사용합니다.
• 도구 사용: google_serper

출력 스니펫:

최종 출력은 “프로젝트 관리 기본 원칙: 목표 정의, 범위 설정, 위임”이라는 제목의 글로, 프로젝트 관리의 세 가지 핵심 요소에 대한 자세한 설명을 담고 있습니다.

소요 시간:
에이전트는 0:06에 과제에 착수하여 0:32에 최종 결과를 출력하므로, 총 26초가 소요되었습니다.

가독성:

• Flesch-Kincaid 등급: 13
• Flesch-Kincaid 점수: 12.97

요약 길이: 346단어

에이전트 사고 과정 분석:

1. 과제 이해: 프롬프트에 근거해 요구 사항을 정확히 파악함.
2. 전략적 도구 선택: 위키피디아로 시작해, 더 구체적인 정보는 구글 검색으로 전환.
3. 반복적 리서치: 목표, 범위, 위임 순으로 검색 전략을 세분화함.
4. 적응력: 초기 검색에 상세 정보가 없을 때 접근 방식을 변경함.

결론:

에이전트는 논리적이고 전략적인 리서치 및 적응력을 보여주며, 프로젝트 관리 기본 원칙에 대한 구조적이고 정보성 높은 글을 생성했습니다.

과제 2: 계산

프롬프트:
한 회사가 두 가지 제품을 판매합니다: 제품 A와 제품 B. 제품 A는 단위당 생산비가 $30이고 판매가는 $50입니다. 제품 B는 단위당 생산비가 $40이고 판매가는 $70입니다.

지난 달 회사는 제품 A를 120개, 제품 B를 80개 판매했습니다. 두 제품의 총 매출을 계산하세요.

두 제품의 매출에서 총 이익(매출 – 총 생산비용)을 계산하세요.

회사는 총 매출을 10% 증가시키고자 합니다. 단위당 생산비와 판매 가격이 동일하다고 가정할 때, 이 목표를 달성하려면 각 제품을 추가로 몇 개씩 더 판매해야 합니까?

초기 과제 이해

• (0:06) 생각: 제품 A와 B 판매로 인한 총 매출과 총 이익을 계산하고, 10% 매출 증가를 위해 추가로 몇 개의 제품을 판매해야 하는지 산출합니다.

에이전트 사고 과정 분석:

• 에이전트는 총 매출, 총 이익, 10% 매출 증가를 위한 추가 판매 수 계산이라는 과제를 정확히 이해함.

봇 출력 스니펫:

제품 A:

• 총 매출 = (120개 * $50) = $6000
• 총 생산비 = (120개 * $30) = $3600
• 총 이익 = $6000 – $3600 = $2400

제품 B:

• 총 매출 = (80개 * $70) = $5600
• 총 생산비 = (80개 * $40) = $3200
• 총 이익 = $5600 – $3200 = $2400

합산 결과:

• 총 매출 = $6000 + $5600 = $11600
• 총 이익 = $2400 + $2400 = $4800

총 매출을 10% 증가시키기 위해:

• 목표 매출 = 11600 + (11600 * 0.10) = $12760

소요 시간: 16초 (0:06에 프롬프트 수신, 0:22에 출력)

요약 길이:
59단어

출력 분석:

• 정확한 계산: 매출 및 이익 계산은 정확함.
• 명확한 제시: 보기 쉬운 형식.
• 불완전한 해결: 10% 매출 증가를 위한 추가 판매량 산출 과정이 설명되지 않음.
• 오답: “제품 A 30개, 제품 B 20개 추가”라는 답은 수학적으로 정확하지 않음.

결론:

에이전트는 핵심 계산은 정확히 수행했으나, 추가 판매량 산출의 세부 단계가 부족했고, 최종 조합 역시 정확하지 않았습니다.

과제 3: 요약

프롬프트:
이전 글의 주요 내용을 100단어로 요약하되, 가장 핵심적인 부분에 집중하세요.

초기 과제 이해

• (0:06) 생각: 이전 글의 주요 내용을 100단어로 요약하되, 핵심 부분에 집중합니다.

에이전트 사고 과정 분석:

• 에이전트는 프롬프트를 그대로 재진술하여 기본적인 이해를 보여줌.

출력 분석:

• 간결함: 97단어로 요약을 제공함.
• 내용: AI 추론, 응용 분야, 최신 발전(OpenAI), 윤리적 고려사항 등 핵심을 정확히 담음.
• 구성과 명확성: 잘 조직되어 읽기 쉬움.

봇 출력 스니펫:

이 글은 AI 추론의 영역을 다루며, 그 유형, 역사적 진화, 의료 등 다양한 분야에서의 응용 사례를 탐구합니다. AI 추론이 의사결정, 문제 해결, 혁신 촉진에 중요한 역할을 한다는 점을 강조합니다. OpenAI의 GPT-3 모델과 같은 최신 발전에 특히 주목하며, 그 기능과 성능을 자세히 설명합니다. 또한 AI 추론 모델과 관련된 도전과제 및 윤리적 고려사항에 대한 인식을 높입니다. 전반적으로 AI 추론의 의미와 다양한 분야에서의 영향, 잠재력과 한계를 폭넓게 조망합니다.

결론:

에이전트는 복잡한 정보를 주어진 단어 수 내에서 정확하고 간결하게 요약할 수 있습니다.

과제 4: 비교 과제

프롬프트:
사용자가 “Start”라고 하면 다음을 수행해야 합니다.

전기차와 수소차의 환경 영향을 비교하세요. 에너지 생산, 차량 수명주기, 배출가스 등도 포함하세요.

초기 과제 이해 및 정보 수집

• 생각: 전기차(EV)와 수소차의 환경 영향을 비교하려면, 양 차량의 에너지 생산, 수명주기, 배출가스에 대한 상세 정보를 수집해야 합니다. 관련 연구나 보고서를 검색해 이러한 측면을 분석하겠습니다.
• 도구 사용: google_serper
• (0:15) 생각: 검색 결과에서 전기차와 수소차를 비교하는 여러 기사 링크를 확보했습니다. 이들 URL의 내용을 가져와 에너지 생산, 수명주기, 배출가스에 관한 상세 데이터를 수집하겠습니다.
• 도구 사용: url_crawl_tool
• (0:25) 생각: URL을 가져오는 과정에서 입력 형식 오류가 발생했습니다. URL을 문자열 배열(JSON)로 입력해야 함을 인지하고, 올바른 형식으로 다시 시도합니다.
• 도구 사용: url_crawl_tool

에이전트 사고 과정 분석:

• 비교 과제를 정확히 해석하고 도구 오류에도 적응함.

봇 출력 스니펫:

전기차(EV)와 수소차의 환경 영향 비교

전기차(EV)와 수소차의 환경 영향을 이해하려면 에너지 생산, 차량 수명주기, 배출가스에 대한 종합적 분석이 필요합니다. 아래는 두 차량 유형에 대한 주요 비교입니다.

1) 에너지 생산

전기차(EV):

• 에너지원: 전기는 태양광, 풍력, 수력 등 재생에너지 또는 화석연료 등 다양한 원천에서 생산될 수 있습니다. 환경 영향은 주로 전력망의 에너지 믹스에 따라 달라집니다. 재생에너지 비중이 높은 지역에서는 EV의 탄소발자국이 크게 낮아집니다.

수소차:

• 에너지 생산: 수소는 다음과 같은 방식으로 생산될 수 있습니다:
  • 스팀 메탄 개질(SMR): 천연가스를 사용하며, 이산화탄소 배출로 인해 친환경적이지 않습니다.
  • 전기분해: 재생에너지로 물을 분해해 수소와 산소를 얻는 방식으로, 친환경적이지만 비용 및 에너지 효율 문제로 아직 보편화되지 않았습니다.
  • 바이오매스 가스화: 잠재적으로 지속 가능한 방법이나 아직 널리 도입되지는 않았습니다.

소요 시간: 1분 10초(프롬프트부터 최종 답변까지)

가독성:

• Flesch-Kincaid 등급: 17
• Flesch-Kincaid 점수: 17.08

출력 분석:

• 종합적 비교: 에너지 생산, 차량 수명주기, 배출가스를 모두 다룸.
• 구조적: 명확한 제목과 소제목.
• 정확한 정보: 최신 기술 동향을 잘 반영함.
• 경미한 형식 문제: 일부 포맷 일관성 부족.

결론:

에이전트는 도구 오류와 내부 사고 과정 노출의 한계에도 불구하고, 환경 영향에 대한 심도 있는 분석을 제공했습니다.

과제 5: 창의적 글쓰기

프롬프트:
전기차가 기존 내연기관 차량을 완전히 대체한 미래 세계를 배경으로 500단어 분량의 SF 이야기를 작성하세요. 환경 변화와 사회적 영향을 묘사하세요.

초기 과제 이해

• (0:06) 생각: 전기차가 전통 내연기관 차량을 완전히 대체한 미래 세계를 배경으로, 환경적 변화와 사회적 영향을 묘사하는 500단어 분량의 SF 이야기를 작성합니다.

에이전트 사고 과정 분석:

• 요구 사항을 정확히 파악함: 이야기, 미래 배경, 환경 및 사회 변화, 목표 분량.

출력 분석:

• 창의적이고 묘사적: 생생하고 상상력이 풍부한 서술.
• 핵심 요소 반영: 환경 및 사회 변화가 잘 드러남.
• 구조적: 명확한 도입, 전개, 결론.
• 단어 수: 475단어(목표치에 근접).
• 가독성: 적절한 난이도로, 글에 어울림.

봇 출력 스니펫:

2050년, 세계는 전기차가 모든 교통수단의 주류가 되며 놀라운 변화를 맞이했다. 한때 오염으로 가득했던 하늘은 맑게 빛나고, 도로에는 조용히 윙윙거리는 전기 모터 소리만이 들렸다. 마지막 휘발유 차량이 기억 저편으로 사라지면서, 지속 가능한 이동성과 혁신의 새 시대가 열렸다.

환경 변화는 극적이었다. 스모그로 가득했던 도시와 기름 유출로 오염됐던 자연이 사라졌다. 공기는 더 맑아지고, 물은 더 깨끗해졌으며, 자연은 수십 년간 인간이 남긴 상처에서 회복되기 시작했다. 배출가스 감소와 전기를 공급하는 재생에너지의 확대 덕분에 지구는 재생의 길로 들어섰다.

소요 시간: 10초

결론:

에이전트는 요구 사항을 모두 충족하며, 흥미롭고 완성도 높은 이야기를 제공합니다.

최종 소회

Llama 3.2 1B의 다양한 과제 수행력을 살펴본 결과, 이 모델이 컴팩트하면서도 강력한 AI 에이전트로서 보여주는 역량을 확인할 수 있었습니다. 내부 사고 과정을 온전히 볼 수 없는 영상 포맷의 한계에도 불구하고, 산출물의 품질은 일관되게 우수함을 입증했습니다.

프로젝트 관리 기본 원칙에 대한 포괄적 글 작성부터 복잡한 계산 문제(단, 매출 증가 문제의 설명 단계에서 일부 아쉬움이 있었음)까지, Llama 3.2 1B의 다재다능함이 드러났습니다. 요약 과제에서는 핵심 정보를 간결하게 정리하는 능력이, 비교 과제에서는 도구 오류에도 불구하고 환경 영향에 대한 심층 분석이 돋보였습니다. 창의적 글쓰기 과제에서는 주어진 조건 내에서 흡입력 있는 이야기를 만들어내며, 다양한 영역에서의 숙련도를 다시 한 번 확인시켰습니다.

다만, 에이전트의 “사고”에 대한 노출이 제한된 점은 이번 테스트에서도 반복적으로 나타났습니다. 이전 에이전트 분석과 마찬가지로, 각 과제에서 한 번의 사고(주로 프롬프트 이해)를 확인할 수 있었으며, 비교 과제에서는 사고의 반복이 두드러졌습니다. 이는 에이전트의 내부 프로세스 또는 사고 시각화 방식에서 개선의 여지가 있음을 시사합니다. 특히 비교 과제에서 도구 사용에 문제가 있었던 점은, 에이전트가 해당 턴에서 완전한 응답을 제공하지 못한 것과도 연관이 있을 수 있습니다.

그럼에도 불구하고, Llama 3.2 1B의 성능은 인상적입니다. 고품질 콘텐츠 생성, 계산, 요약, 창의적 글쓰기 등 다양한 과제에서의 역량은, 이 컴팩트한 모델이 더 효율적이고 접근성 높은 AI 솔루션의 가능성을 보여줍니다. 내부 작동 방식에 대한 이해가 더 깊어진다면 이 모델의 진가를 더 잘 알 수 있겠지만, 이번 실전 평가만으로도 Llama 3.2 1B가 AI 에이전트의 진화하는 판도에서 중요한 역할을 하고 있음을 확인할 수 있습니다. 앞으로 이러한 소형 모델이 실제 환경에서 어떻게 최적화·활용될지 기대가 됩니다.