LLM을 활용한 컴퓨터 및 브라우저 사용 탐구

대형 언어 모델에서 GUI를 사용하는 AI로의 진화

이번 대화는 텍스트 기반 처리에서 인간처럼 컴퓨터를 사용하는 AI 시스템으로의 놀라운 발전을 조명하는 것으로 시작되었습니다. 과거의 AI가 단순히 언어를 처리하는 데 그쳤다면, 이제는 대형 언어 모델과 AI 자동화 기술의 진보로 시스템이 클릭, 입력, 스크롤 등 실제 컴퓨터 사용을 모방하며 배우고 있습니다.

FlowHunt의 실험은 AI가 얼마나 정교해지고 있는지 잘 보여줍니다. 과거에는 단순히 코드를 작성하던 것에서 벗어나, Anthropic의 Claude와 같은 시스템은 이제 컴퓨터의 그래픽 사용자 인터페이스(GUI)와 상호작용하도록 훈련되고 있습니다. 디지털 계산기로 산술 문제를 푸는 것부터 웹 탐색 중 쿠키 팝업을 처리하는 일까지, 이런 AI 모델은 일상적인 작업을 수행하며 실제 환경에서의 문제를 극복해가고 있습니다.

컴퓨터 상호작용의 허들을 극복하다

팟캐스트에서 FlowHunt 팀은 AI를 인터랙티브 컴퓨터 테스트로 시험에 들게 했던 경험을 공유했습니다. 예를 들어, Claude의 컴퓨터 사용 능력을 평가할 때는 계산기 사용이나 웹 검색과 같은 일상적인 작업이 주어졌는데, 이는 AI의 한계를 드러내는 대표적인 도전 과제입니다. 인간 평균 75점에 비해 약 70점을 기록했지만, 제한된 API 접근 등 여러 컴퓨팅 제약과 관련된 주요 학습 곡선을 확인할 수 있었습니다.

이러한 실험은 적합한 도구에 신뢰성 있게 접근하는 것이 얼마나 중요한지 보여줍니다. AI가 예기치 않은 문제(예: 쿠키 팝업에 막힘 등)를 겪을 때, 화면 레이아웃과 사용자 인터페이스가 빠르게 변하는 환경에 적응해야만 효율적으로 작동할 수 있음을 알 수 있습니다. “AI 컴퓨터 인터페이스”, “GUI 자동화”와 같은 키워드는 이런 새로운 AI 역량의 정교함을 강조합니다.

두 모델의 브라우저 사용 평가

논의의 주요 부분은 서로 다른 AI 모델이 실제 작업을 어떻게 처리하는지 살펴보는 데 초점이 맞춰졌습니다. FlowHunt 팀은 Anthropic의 Claude와 OpenAI 모델을 온라인에서 저렴한 항공권을 검색하는 시나리오 등 실제 여행사 업무와 유사한 환경에서 벤치마킹했습니다.

OpenAI 모델은 Google 검색 결과를 탐색하고 쿠키 동의 다이얼로그 등 대화형 요소를 처리하는 데 강점을 보이며 브라우저 자동화에서 뛰어난 역량을 입증했습니다. 하지만 안티봇 방어를 우회하는 과정에서는 도전이 있었으며, AI와 웹사이트 보안 프로토콜 간의 ‘무기 경쟁’이 진화하고 있음을 보여줍니다.

반면, Anthropic의 모델은 더 신중하고 신뢰성 있는 접근 방식을 취해 우선순위를 신중히 따져가며 행동했습니다. 이는 보다 인간적인 추론 과정을 연상시켰으나, 예약 최종 단계 등에서는 역시 한계에 부딪히기도 했습니다. “AI 추론 모델”, “브라우저 자동화”와 같은 키워드는 이 분야에서의 도전과 혁신을 명확히 보여줍니다.

AI가 이끄는 미래의 방향성

FlowHunt 팟캐스트는 우리에게 강렬한 질문을 던집니다. AI가 점점 더 복잡한 컴퓨터 작업을 수행하고 인간처럼 추론할 수 있게 되는 세상에서 우리의 역할은 무엇일까요? AI가 우리의 일과 기술 활용 방식을 혁신할 잠재력은 막대하지만, 동시에 신중한 규제, 윤리적 가이드라인, 협력적 접근이 반드시 필요합니다.

대형 언어 모델에서 AI 컴퓨터 인터페이스에 이르기까지 이러한 기술 혁신에 꾸준히 호기심을 갖고 참여하는 것이 그 어느 때보다 중요합니다. 개발자, 연구자, 혹은 단순한 기술 애호가라 하더라도, 이번 팟캐스트에서 다룬 AI의 진화는 모두에게 기술이 empowering한 미래를 함께 만들어갈 것을 도전하고 있습니다.