robots.txt는 홈페이지 가장 바깥 폴더에 두는 작은 글자 파일로, 검색 로봇에게 "여기는 읽어도 되고, 여기는 들어오지 마세요"를 알려줍니다. 홈페이지 주소 뒤에 /robots.txt를 붙이면 누구나 볼 수 있습니다.
기본 모양
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://www.example.com/sitemap.xml
- User-agent — 어떤 로봇에게 하는 말인지. *는 모든 로봇입니다.
- Allow — 읽어도 되는 곳
- Disallow — 들어오지 말아야 할 곳 (관리자 페이지, 로그인 페이지 등)
- Sitemap — 사이트맵 주소. 적어 두면 검색엔진이 사이트맵을 찾아갑니다.
가장 흔한 실수
- Disallow: / 한 줄 — 홈페이지 전체를 막는다는 뜻입니다. 만드는 동안 막아 두었다가 오픈 후 풀지 않아 검색에 안 나오는 경우가 생각보다 많습니다.
- 이미지 폴더를 막아 둠 — 이미지 검색이나 공유 미리보기에 사진이 안 나올 수 있습니다.
- 파일 위치가 틀림 — 반드시 홈페이지 가장 바깥 폴더에 있어야 합니다.
robots.txt는 "부탁"일 뿐 보안 장치가 아닙니다. 남에게 보이면 안 되는 페이지는 로그인이나 비밀번호로 막아야 합니다.
AI 검색 로봇은 어떻게 할까요
ChatGPT, Claude, Perplexity 같은 AI 서비스도 저마다 이름이 붙은 로봇으로 홈페이지를 읽어 갑니다. AI 답변에 우리 회사가 나오길 바란다면 이 로봇들을 막지 않는 게 좋습니다. 반대로 막고 싶다면 로봇 이름별로 Disallow를 적으면 됩니다.
잘 됐는지 확인하기
- 네이버 서치어드바이저 → 검증 → robots.txt
- 구글 서치콘솔 → 설정의 robots.txt 보고서
네로웹은 검색엔진과 AI 로봇이 모두 읽을 수 있도록 robots.txt를 정리해 드립니다. 우리 홈페이지 robots.txt가 맞게 되어 있는지 궁금하시면 대표번호 1688-8214로 문의해 주세요.
