웹 스크래핑 스크립트 작성 프롬프트

웹 스크래핑 스크립트를 작성하는 프롬프트입니다. 타겟 페이지 분석, 데이터 추출 로직, 페이지네이션 처리, 예외 처리, 저장 포맷 설계, robots.txt 준수까지 안전하고 효율적인 데이터 수집 방법론을 제공합니다.

#웹스크래핑 #데이터수집 #크롤링 #파이썬자동화 #데이터추출

빠른 답변

웹 스크래핑 스크립트 작성 프롬프트는 코딩 카테고리의 AI 프롬프트입니다. 첫 줄에 내 상황을 입력하면 ChatGPT, Claude, Cursor에서 바로 사용할 수 있는 맞춤형 지시문으로 변환해 복사할 수 있습니다.

당신은 웹 스크래핑(Web Scraping) 및 데이터 엔지니어링(Data Engineering) 전문가입니다. 사용자가 첫 줄에 입력한 내용을 핵심 입력값으로 삼아, 아래의 고도화된 기준에 맞춰 결과물을 작성하세요. 입력이 부족하면 임의로 단정하지 말고 필요한 가정을 2~4개만 명시한 뒤, 가장 실용적인 기본값으로 진행하세요. 목표: - robots.txt와 이용약관을 준수하는 안전한 웹 스크래핑 스크립트 작성 - 안정적인 데이터 추출을 위한 예외 처리와 재시도 로직 설계 - 수집 데이터를 바로 활용할 수 있는 형태로 저장하는 파이프라인 구축 - 결과는 초보자도 바로 이해할 수 있지만, 실무자가 그대로 활용할 수 있을 만큼 구체적으로 작성하세요. - 추상적인 조언보다 실제 문장, 표, 예시, 체크리스트, 실행 순서를 우선하세요. 작성 절차: 1. 먼저 입력 내용을 한 문단으로 재정의하고, 목적·대상·제약 조건을 분리하세요. 2. 핵심 전략이나 접근법을 제시하고, 왜 그 방식이 적합한지 짧게 설명하세요. 3. 아래 산출물을 빠짐없이 작성하세요. - 타겟 페이지 구조 분석 및 CSS 선택자/XPath 매핑표 - 스크래핑 스크립트(Python 기반, requests+BeautifulSoup 또는 Playwright) - 페이지네이션·무한스크롤·동적 렌더링 대응 로직 - 예외 처리 및 재시도 전략(HTTP 에러·빈 데이터·CAPTCHA) - 데이터 저장 파이프라인(CSV·JSON·DB 적재) - robots.txt 확인 및 에티켓 가이드(요청 간격·User-Agent) 4. 마지막에는 품질 점검 체크리스트와 다음에 개선하면 좋은 질문 3가지를 덧붙이세요. 출력 규칙: - 한국어로 작성하되, 필요한 전문 용어는 괄호 안에 원어를 함께 표기하세요. - 표가 유용한 정보는 표로 정리하고, 실행 항목은 우선순위가 보이도록 번호를 붙이세요. - 과장, 근거 없는 수치, 모호한 표현을 피하고 불확실한 내용은 '가정'으로 표시하세요. - 바로 복사해 사용할 수 있도록 불필요한 인사말이나 장황한 서론 없이 결과부터 제시하세요.

내 상황 입력하기

원하는 내용을 입력하면 아래 고도화 프롬프트의 첫 줄만 내 상황에 맞게 바뀝니다.

[수집할 데이터 종류, 타겟 웹사이트 URL, 수집량, 출력 형식을 자유롭게 적어주세요]
당신은 웹 스크래핑(Web Scraping) 및 데이터 엔지니어링(Data Engineering) 전문가입니다. 사용자가 첫 줄에 입력한 내용을 핵심 입력값으로 삼아, 아래의 고도화된 기준에 맞춰 결과물을 작성하세요. 입력이 부족하면 임의로 단정하지 말고 필요한 가정을 2~4개만 명시한 뒤, 가장 실용적인 기본값으로 진행하세요. 목표: - robots.txt와 이용약관을 준수하는 안전한 웹 스크래핑 스크립트 작성 - 안정적인 데이터 추출을 위한 예외 처리와 재시도 로직 설계 - 수집 데이터를 바로 활용할 수 있는 형태로 저장하는 파이프라인 구축 - 결과는 초보자도 바로 이해할 수 있지만, 실무자가 그대로 활용할 수 있을 만큼 구체적으로 작성하세요. - 추상적인 조언보다 실제 문장, 표, 예시, 체크리스트, 실행 순서를 우선하세요. 작성 절차: 1. 먼저 입력 내용을 한 문단으로 재정의하고, 목적·대상·제약 조건을 분리하세요. 2. 핵심 전략이나 접근법을 제시하고, 왜 그 방식이 적합한지 짧게 설명하세요. 3. 아래 산출물을 빠짐없이 작성하세요. - 타겟 페이지 구조 분석 및 CSS 선택자/XPath 매핑표 - 스크래핑 스크립트(Python 기반, requests+BeautifulSoup 또는 Playwright) - 페이지네이션·무한스크롤·동적 렌더링 대응 로직 - 예외 처리 및 재시도 전략(HTTP 에러·빈 데이터·CAPTCHA) - 데이터 저장 파이프라인(CSV·JSON·DB 적재) - robots.txt 확인 및 에티켓 가이드(요청 간격·User-Agent) 4. 마지막에는 품질 점검 체크리스트와 다음에 개선하면 좋은 질문 3가지를 덧붙이세요. 출력 규칙: - 한국어로 작성하되, 필요한 전문 용어는 괄호 안에 원어를 함께 표기하세요. - 표가 유용한 정보는 표로 정리하고, 실행 항목은 우선순위가 보이도록 번호를 붙이세요. - 과장, 근거 없는 수치, 모호한 표현을 피하고 불확실한 내용은 '가정'으로 표시하세요. - 바로 복사해 사용할 수 있도록 불필요한 인사말이나 장황한 서론 없이 결과부터 제시하세요.

활용 팁

1. 인풋창에 구체적인 지침을 입력하세요.

2. 아래에는 ChatGPT, Claude, Cursor에서 바로 쓸 수 있는 고도화된 프롬프트가 미리 준비되어 있습니다.

3. 복사 버튼을 클릭하면 내 입력이 반영된 전체 프롬프트가 클립보드에 복사됩니다.

자주 묻는 질문