실습 노트

Claude Browser Use Tool: 컴퓨터 조작과 웹 자동화를 나누는 기준

Anthropic의 Browser Use Tool이 접근성 트리·요소 참조·탭·폼 입력을 이용해 웹 에이전트를 구성하는 방식을 정리합니다.

보일러플레이트Claude · 브라우저 자동화 · AI 에이전트 · 웹 자동화

웹 에이전트가 화면을 클릭하는 것만으로는 안정적인 자동화를 만들기 어렵습니다. 페이지 구조를 읽고, 폼 값을 직접 넣고, 탭을 관리하며, 민감한 동작 앞에서 멈출 수 있어야 합니다. Anthropic의 Browser Use Tool 공식 문서는 이 기능을 애플리케이션이 실행하는 브라우저용 클라이언트 도구 집합으로 설명합니다.

Browser Use Tool의 실행 구조

애플리케이션은 Messages API 요청에 browser_toolset_20260801을 도구로 추가합니다. Claude가 navigate, read_page, left_click, type, screenshot 같은 멤버 도구를 반환하면, 애플리케이션의 실행기가 브라우저에서 순서대로 실행하고 결과를 다시 Claude에 전달합니다.

기본 도구 집합에는 27개 멤버가 포함되며, 설정에 따라 JavaScript 실행·파일 업로드·콘솔·네트워크 읽기도 활성화할 수 있습니다. 브라우저 세션과 다운로드 파일은 Anthropic의 서버가 아니라 애플리케이션이 실행하는 환경에 남습니다.

컴퓨터 사용과 다른 점

Anthropic 문서가 구분하는 기준은 조작 범위입니다.

  • Browser Use Tool: 웹페이지의 접근성 트리, 요소, 폼, 탭과 픽셀을 함께 사용
  • Computer Use Tool: 전체 데스크톱을 스크린샷과 좌표 중심으로 조작
  • Web Search·Web Fetch: 브라우저를 조작하지 않고 읽기만 하는 작업에 사용

페이지 안에서 검색하고 입력하고 여러 탭을 오가는 업무라면 Browser Use Tool이 더 직접적인 경로입니다. 데스크톱 애플리케이션이나 브라우저 밖의 창까지 건드려야 하면 Computer Use Tool의 범위를 검토해야 합니다. 단순한 원문 수집이라면 브라우저 에이전트보다 읽기 전용 도구가 가볍습니다.

요소 참조가 주는 안정성

공식 예시에서 read_page는 링크·버튼·입력창에 참조 번호를 부여합니다. Claude는 다음 턴에 화면 좌표를 추측하는 대신 해당 참조를 사용해 링크를 클릭할 수 있습니다. 폼 입력도 요소에 직접 값을 지정하는 방식으로 처리할 수 있습니다.

이 방식은 좌표 기반 자동화를 없애지는 않습니다. 페이지가 동적으로 바뀌거나 요소가 사라지면 참조가 더 이상 유효하지 않을 수 있습니다. 따라서 실행기는 각 호출의 성공 여부를 확인하고, 실패한 호출 뒤에 같은 턴의 후속 호출을 중단해야 합니다.

웹 자동화 설계 순서

Browser Use Tool을 실제 업무에 붙일 때는 기능보다 실행 경계를 먼저 정하는 편이 안전합니다.

  1. 읽기 전용 페이지 탐색으로 시작
  2. 필요한 도메인과 탭을 허용 목록으로 제한
  3. read_page로 구조를 확인한 뒤 요소 참조로 상호작용
  4. 로그인·결제·전송·삭제는 사람 승인 단계로 분리
  5. 콘솔과 네트워크 기록을 필요한 경우에만 활성화
  6. 성공·실패·중복 실행을 작업 ID로 기록

특히 페이지가 제공하는 텍스트와 링크는 신뢰할 수 없는 입력으로 취급해야 합니다. 페이지 안의 지시가 에이전트의 원래 목표를 바꾸지 않도록 프롬프트 주입 방어, 자격 증명 격리, 외부 전송 전 확인을 실행기 쪽에서 함께 설계해야 합니다.

적용 판단

Browser Use Tool은 웹페이지를 읽는 새 검색 기능이라기보다, 애플리케이션이 소유한 브라우저를 Claude의 도구 호출 루프에 연결하는 방식입니다. 웹 내부 작업을 구조적으로 처리해야 할 때는 좌표 클릭 중심의 자동화보다 관리하기 쉽지만, 실제 브라우저를 움직이는 만큼 권한과 승인 설계가 기능 구현과 같은 수준으로 중요합니다.