매일 들여다보던 사이트, AI가 대신 봅니다

매일 아침 경쟁사 가격, 공고 게시판, 리뷰를 하나씩 열어 보고 엑셀에 옮겨 적고 있나요? 공식 API가 없는 사이트도 화면은 읽을 수 있습니다. 이번 수업에서는 세미클래스 안에 만든 연습용 쇼핑몰에서 로컬 AI 에이전트(Claude Code 또는 Codex)와 함께 웹 화면을 표로 바꾸고, 지난주와 오늘을 비교하는 리포트까지 만듭니다. 코드는 AI가 짜고, 무엇을 어떻게 모을지와 해도 되는지는 내가 판단합니다. [직접 해 봅니다] · 상품 목록 한 페이지와 전체 페이지·상세 정보를 표로 만들기 (HTTP 요청) · 화면에는 보이는데 HTML에는 없는 상품을 두 가지 방법으로 모으기 — 브라우저 자동화(Playwright)와 숨은 데이터 주소 · AI가 직접 브라우저를 조작하는 방법(Computer Use) 시연과 언제 쓰는지 · 속도 제한(429)과 robots.txt 를 지키는 예의 있는 수집 · 지난주 대비 가격 변동 리포트를 만들고 스킬로 저장하기 [이런 분께 맞습니다] · 매일 같은 사이트를 열어 확인하고 옮겨 적는 일이 있는 분 · 크롤링이 무엇이고 어디까지 해도 되는지 알고 싶은 분 · Claude Code 또는 Codex로 로컬 작업을 시작한 분 [준비물] 노트북, Claude Code 또는 Codex를 쓸 수 있는 환경, 크롬 브라우저. 터미널 명령어와 설치는 복사 프롬프트를 받은 에이전트가 처리합니다. 실습은 수업용 가상 데이터로만 합니다. 실제 사이트는 공식 방법·약관·robots.txt·개인정보를 확인하는 판정 순서를 함께 배웁니다.