블로거 설정 완벽 정리: 크롤러 및 색인 생성으로 SEO 최적화하기
블로그를 운영하면서 가장 중요한 것 중 하나가 바로 검색엔진 최적화(SEO)입니다. 아무리 좋은 글을 써도 구글이 내 블로그를 제대로 읽지 못하면 검색 결과에 노출되지 않습니다. 오늘은 Blogger(블로거)의 크롤러 및 색인 생성 설정을 완벽하게 정리해 드립니다.
크롤러 및 색인 생성이란?
구글은 크롤러(Googlebot)라는 로봇을 이용해 전 세계 웹페이지를 수집합니다. 이 로봇이 내 블로그를 방문해서 글을 읽고, 구글 검색 데이터베이스에 저장(색인)하는 과정이 바로 크롤링과 색인 생성입니다.
Blogger 설정에서는 이 과정을 직접 제어할 수 있습니다.
설정 위치
Blogger 관리자 → 설정 → 크롤러 및 색인 생성
1. 맞춤 robots.txt 사용 설정
robots.txt는 크롤러에게 "어떤 페이지를 수집해도 되고, 어떤 페이지는 수집하지 말라"고 알려주는 파일입니다.
권장 설정값
User-agent: *
Allow: /
Sitemap: https://본인블로그주소/sitemap.xml
User-agent: *→ 모든 크롤러에 적용Allow: /→ 전체 페이지 수집 허용Sitemap:→ 사이트맵 위치 알려주기
✅ 반드시 켜고 위 내용을 입력하세요. 사이트맵 URL은 본인 블로그 주소로 변경해야 합니다.
2. 맞춤 로봇 헤더 태그 사용 설정
각 페이지 유형별로 구글에게 색인 여부를 직접 지시할 수 있습니다. 이 설정이 SEO에서 가장 중요합니다.
홈페이지 태그 → all 설정
all = 색인 허용 + 링크 수집 허용
홈페이지는 블로그의 얼굴입니다. 반드시 구글이 읽을 수 있도록 all로 설정합니다.
자료실 및 검색 페이지 태그 → noindex 설정
noindex = 이 페이지는 색인하지 마세요
블로거의 검색·라벨 페이지는 아래와 같은 URL을 생성합니다.
/search?q=키워드
/search/label/철학?updated-max=2026-04-11
이런 페이지들은 원본 포스트 내용을 그대로 보여주는 중복 페이지입니다. 구글은 중복 콘텐츠를 싫어하고, 이런 페이지가 색인되면 오히려 원본 포스트의 순위가 낮아질 수 있습니다. noindex로 설정해서 색인을 막아야 합니다.
글 및 페이지 태그 → all 설정
개별 포스트와 페이지는 핵심 콘텐츠입니다. all로 설정해서 구글이 완전히 수집할 수 있게 합니다.
최종 권장 설정 요약
| 항목 | 설정값 | 이유 |
|---|---|---|
| robots.txt | 켜기 + Allow:/ | 전체 허용 |
| 홈페이지 | all | 대표 페이지 노출 |
| 자료실/검색 | noindex | 중복 콘텐츠 방지 |
| 글 및 페이지 | all | 핵심 콘텐츠 노출 |
설정 후 꼭 해야 할 것
설정을 마쳤다면 Google Search Console에서 사이트맵을 제출하세요.
Search Console → Sitemaps → 새 사이트맵 추가
→ sitemap.xml 입력 → 제출
사이트맵을 제출해야 구글이 내 블로그의 모든 포스트를 빠르게 발견하고 색인할 수 있습니다.
마치며
크롤러 및 색인 생성 설정은 한 번만 제대로 해두면 그 이후 블로그 전체 SEO에 지속적으로 긍정적인 영향을 줍니다. 특히 noindex 설정으로 중복 콘텐츠 문제를 해결하는 것이 핵심입니다. 오늘 바로 설정해 보세요! 인생의 분깃점도 결국은 실행에 달려있습니다. let's GO!!