서치콘솔 페이지 색인 생성 보고서에서 크롤링됨 – 현재 색인이 생성되지 않음 상태를 보고 이 글을 찾았다면, “색인 생성 요청” 버튼부터 누르기 전에 잠깐만 멈춰도 좋다. 이 블로그에도 그 상태의 URL이 33개 있었는데, 하나씩 열어 보니 33개 중 30개는 애초에 글이 아니었다.
이 글은 필자가 운영하는 블로그 3곳(워드프레스·티스토리·블로그스팟)의 16개월치 서치콘솔 데이터를 직접 열어, 이 상태가 정확히 무슨 뜻인지, 어떤 URL이 여기에 걸리는지, 무엇부터 고쳐야 하는지를 순서대로 정리한 기록이다. 결론부터 말하면 목록을 분류하는 것이 먼저고, 콘텐츠 수정과 색인 요청은 그다음이다.
크롤링됨 – 현재 색인이 생성되지 않음, 정확히 무슨 뜻인가
구글 Search Console 페이지 색인 생성 보고서 도움말에는 이 상태가 이렇게 설명되어 있다. 구글이 페이지를 크롤링했지만 색인은 생성하지 않았고, 나중에 색인될 수도 있고 아닐 수도 있으며, 크롤링을 위해 URL을 다시 제출할 필요는 없다. 즉 오류 메시지가 아니라 “읽어 봤는데 지금은 검색 결과에 넣지 않겠다”는 구글의 판단이다.
자주 헷갈리는 비슷한 상태와 나란히 놓으면 차이가 분명해진다.
| 상태 | 구글이 한 일 | 주로 의심할 것 |
|---|---|---|
| 발견됨 – 현재 색인이 생성되지 않음 | URL은 알지만 아직 크롤링하지 않음 | 크롤링 예산, 서버 과부하, 내부 링크 부족 |
| 크롤링됨 – 현재 색인이 생성되지 않음 | 크롤링해서 내용을 읽었지만 색인하지 않기로 함 | 색인할 필요 없는 주소, 오래됐거나 흔한 내용, 사이트 신호 |
| noindex 태그에 의해 제외됨 | 페이지가 스스로 “색인하지 말라”고 함 | 의도한 설정인지 확인 |
| 적절한 표준 태그가 포함된 대체 페이지 | 다른 URL을 대표 주소로 인정함 | 대부분 정상(모바일 주소, 파라미터 주소 등) |
정리하면 “발견됨”은 아직 안 읽은 것, “크롤링됨”은 읽고 나서 보류한 것이다. 그래서 크롤링됨 쪽은 서버나 속도보다 “그 URL이 색인될 만한 주소인가, 그 내용이 검색 결과에 새로 보탤 게 있는가”와 더 직접적으로 연결된다.
블로그 3곳, 16개월 서치콘솔 데이터로 본 실제 모습
2025년 5월부터 2026년 9월까지, 필자가 운영하는 블로그 3곳의 서치콘솔을 같은 기준으로 비교했다. 주제도 플랫폼도 다르지만 결과는 비슷한 방향을 가리켰다.
| 블로그 | 클릭 | 노출 | 색인 상태 요약 |
|---|---|---|---|
| 워드프레스 (이 블로그, N잡·AI 도구) | 73 | 약 1.3만 (CTR 0.6%) | 색인 82 · 미색인 67 (크롤링됨-미색인 33, noindex 23, 대체 페이지 8, 404 3) |
| 티스토리 (재활의학) | 81 | 1,510 (평균 순위 14.6) | 노출 대비 클릭은 가장 좋음 |
| 블로그스팟 (클래식 음악) | 0 | 7 | 색인 2개뿐 (크롤링됨-미색인 7, 리디렉션 오류 7, noindex 4, 대체 페이지 2) |
워드프레스는 노출이 가장 많았지만 CTR이 0.6%로 낮았다. 클릭이 가장 많이 나온 글은 ChatGPT 에이전트 모드 초보자 가이드처럼 실제 조작 순서를 따라가는 글이었고, 비교·개론형 글은 노출만 쌓이고 클릭이 거의 없었다.
티스토리는 노출은 적어도 클릭이 꾸준했다. 클릭이 나온 글은 기구 사용 후기, 직접 만든 인지기능 검사 도구, 약물검사 양성처럼 구체적인 질문 하나에 답하는 글이었다. 반대로 의사 진로나 군의관 월급 같은 개론형 검색어는 노출만 있고 클릭은 0이었다.
블로그스팟은 사실상 검색에 잡히지 않는 상태였다. “비 오는 날 듣기 좋은 클래식” 같은 상황별 추천 목록형 글이 대부분인데, 이런 목록은 이미 비슷한 글이 넘쳐나는 영역이다. 게다가 리디렉션 오류 7건이 같이 있어 콘텐츠 문제와 기술 문제가 겹쳐 있었다.
워드프레스의 페이지 색인 생성 보고서를 열면 이렇게 보인다. 초록색이 색인된 82개, 회색이 색인되지 않은 67개다. 회색 막대가 7월 이후 조금씩 두꺼워진 것이 눈에 띈다.
필자의 기록: 처음 이 표를 봤을 때
솔직히 처음에는 “33개나 버림받았구나” 싶었다. 이 블로그에 올린 글이 50여 개인데 그중 33개가 색인에서 빠졌다면 블로그 절반이 쓸모없다는 뜻이니까. 콘텐츠를 전부 갈아엎어야 하나 고민하면서 해당 사유를 클릭해 URL 목록을 펼쳤다.
그런데 목록을 위에서부터 읽어 내려가자 이상한 점이 보였다. /tag/부모수당/, /tag/wordpress/feed/, /category/ted-talk-review/page/2/, /wp-json/… 내가 쓴 글 주소가 거의 없었다. 그래서 33개를 하나씩 종류별로 세어 봤다.
33개 URL을 직접 분해해 보니: 30개는 글이 아니었다
- 태그 페이지 19개 —
/tag/심리학/,/tag/청년-취업-장려금/처럼 글 한두 개만 묶여 있는 태그 목록. 본문은 이미 원래 글로 색인돼 있으니 구글 입장에서는 중복에 가깝다. - RSS 피드 9개 — 태그·카테고리·검색·댓글 피드. 사람이 읽는 페이지가 아니라 구독용 파일이다.
- 카테고리 2쪽 1개, REST API 주소 1개 — 페이지 넘김 주소와
/wp-json/. 역시 검색 결과에 나올 이유가 없다. - 실제 글·페이지 3개 — “2023년 청년 일자리 도약 장려금 조건 및 혜택”, “종합소득세 환급”, 그리고 면책 고지 페이지.
즉 33개 중 30개(91%)는 워드프레스가 자동으로 만들어 내는 보조 주소였다. 이런 주소가 색인되지 않는 건 문제가 아니라 오히려 정상이다. 구글이 “이건 굳이 검색 결과에 넣을 필요 없다”고 제대로 판단한 셈이다. 워드프레스 블로그라면 이 보고서의 숫자를 그대로 믿고 겁먹기 전에 먼저 이렇게 분해해 볼 것을 권한다.
남은 3개 중 면책 고지 페이지는 색인되지 않아도 상관없다. 결국 진짜 살펴봐야 할 글은 2개였다. 하나는 “2023년 청년 일자리 도약 장려금” 글로, 제목부터 시간이 지나 낡은 정보였다. 같은 내용을 정부 사이트와 수많은 블로그가 더 최신으로 다루고 있으니 구글이 이 페이지를 굳이 추가할 이유가 없다.
다른 하나인 종합소득세 환급 글은 사정이 조금 달랐다. 이 글은 올해 6월에 이미 2026년 기준으로 고쳐 두었는데, 구글의 마지막 크롤링 날짜는 5월 3일이었다. 구글은 고치기 전의 옛 버전을 보고 판단한 채로 멈춰 있었던 셈이다. 글을 고쳐도 구글이 다시 오지 않으면 결과는 바뀌지 않는다.
의외의 발견: 구글이 사이트맵을 읽지 못하고 있었다
분류를 끝내고 남은 글 하나를 URL 검사 도구로 열어 봤다. 상태는 역시 크롤링됨 – 현재 색인이 생성되지 않음이었는데, 그 아래 한 줄이 더 신경 쓰였다.
“감지된 참조 사이트맵이 없습니다.” 이 글은 분명 Yoast SEO가 만드는 post-sitemap.xml에 들어 있다. 직접 사이트맵을 열어 확인해 보니 글 주소가 목록에 있었다. 그런데 구글은 이 글을 사이트맵이 아니라 연도별 보관함(/2024/) 링크를 따라와서 발견했다고 나온다.
Sitemaps 보고서를 열자 이유가 보였다. 사이트맵 색인 파일은 2025년 6월에 제출했고 상태는 “성공”인데, 발견된 페이지가 0이고 마지막으로 읽은 날짜는 2026년 5월 30일에 멈춰 있었다. 상태 표시는 성공이지만 실제로는 구글이 사이트맵을 통해 글을 하나도 찾지 못하고 있었다는 뜻이다.
정확한 원인을 서치콘솔 화면만으로 단정할 수는 없다. 다만 이 블로그는 호스팅사(카페24)의 스팸 SHIELD가 해외 IP 접속을 자바스크립트 검사 페이지로 막고 있었고, 하루 동안 미국 IP 53개 중 47개가 차단된 기록이 있었다. 구글봇도 사이트맵 대신 검사 페이지를 받아 갔을 가능성이 있어 스팸 SHIELD는 이미 해제했다. 그 발견 과정은 워드프레스 자동화: Claude Code 루틴으로 초안 자동 등록하기에 자세히 적어 두었으니 여기서는 반복하지 않는다.
그래서 사이트맵 색인 파일을 다시 제출했다. 결과는 금방 나왔다. 몇 분 만에 마지막으로 읽은 날짜가 오늘로 바뀌었고, 발견된 페이지가 0에서 15로 올라갔다. 몇 달 동안 구글이 사이트맵을 제대로 읽지 못하고 있었다는 방증이다.
교훈: 사이트맵 상태가 “성공”이어도 안심하면 안 된다. 발견된 페이지 수와 마지막으로 읽은 날짜를 같이 봐야 한다. 글은 계속 올리는데 날짜가 몇 달 전에 멈춰 있다면 기술 문제를 먼저 의심하자.
크롤링됨 – 현재 색인이 생성되지 않음 해결 체크리스트: 분류 → 기술 → 콘텐츠
위 경험을 바탕으로 순서를 정리하면 이렇다. 목록의 URL마다 위에서부터 질문을 던지고, 해당하는 단계에서 멈춘다.
1단계. 글이 아닌 주소는 걸러낸다
/tag/,/feed/,/page/2/,/wp-json/, 검색 결과 주소는 색인되지 않는 게 정상이다.- 태그를 글마다 여러 개씩 붙여 왔다면 태그 아카이브가 수십 개 생긴다. Yoast SEO 설정의 카테고리 및 태그 → 태그 → 검색 결과에 태그 표시를 끄면 태그 페이지에 noindex가 붙고 사이트맵에서도 빠진다. 이 블로그도 이렇게 바꿨고, 앞으로 보고서에서 태그 페이지들은 “noindex” 사유로 옮겨 갈 것이다.
- 태그 정리는 앞으로 붙일 태그 수를 줄이는 것부터 시작해도 충분하다.
2단계. 구글이 사이트를 제대로 읽고 있는지 확인한다
- Sitemaps 보고서에서 발견된 페이지 수와 마지막으로 읽은 날짜를 확인한다.
- URL 검사에서 “참조 사이트맵”이 비어 있다면 사이트맵을 다시 제출한다.
- robots.txt와 페이지의 메타 태그에 의도하지 않은 noindex가 없는지 확인한다.
- 호스팅사의 방화벽·스팸 차단·국가 차단 기능이 해외 IP를 막고 있지 않은지 차단 기록을 확인한다. 한국 호스팅이라면 특히 중요하다.
- 리디렉션이 여러 번 튕기는 체인이 없는지 확인한다. 블로그스팟의 리디렉션 오류 7건이 이 유형이었다.
3단계. 남은 글은 고쳐 쓰거나 합치거나 정리한다
- 시간이 지난 정보: “2023년 ○○ 지원금” 같은 글은 최신 기준으로 갱신하거나, 새 글을 쓰고 옛 글은 새 글로 리디렉션한다.
- 흔한 개론·목록형: 직접 해본 순서, 실제 화면, 내가 얻은 수치를 넣어 “이 페이지에만 있는 내용”을 만든다. 3개 블로그 모두 클릭은 이런 글에서 나왔다.
- 비슷한 글 여러 개: 하나로 합치고 나머지는 리디렉션한다.
- 살릴 가치가 없는 글: 비공개 전환도 선택지다. 관리할 글이 줄면 좋은 글에 시간을 쓸 수 있다.
고친 뒤 URL 검사 도구로 색인 생성 요청하는 방법
고칠 것을 고쳤다면 그때 색인 생성 요청을 한다. 과정은 URL 검사 도구 도움말에 나온 대로 간단하다.
- 서치콘솔 상단 검색창에 고친 글의 전체 주소를 붙여 넣고 Enter를 누른다.
- 결과 화면 오른쪽 위의 실제 URL 테스트를 눌러 구글봇이 지금 이 페이지를 정상적으로 가져갈 수 있는지 먼저 확인한다. 여기서 차단이나 오류가 나오면 2단계로 돌아간다.
- 문제가 없으면 색인 생성 요청을 누른다. 요청은 대기열에 들어가는 것이고, 색인을 보장하지는 않는다.
- 같은 사유의 URL을 여러 개 고쳤다면 보고서 상세 화면의 수정 결과 확인(유효성 검사)을 눌러 한꺼번에 재검토를 요청한다.
주의할 점은 고치지 않은 글을 요청만 반복해도 소용이 없다는 것이다. 구글 도움말도 이 상태는 재크롤링을 위해 다시 제출할 필요가 없다고 안내한다. 구글은 이미 읽었고, 같은 내용을 다시 보여 줘도 판단은 같다.
필자의 기록: 실제로 한 일
진단을 마치고 이 글을 발행하기 전에, 위 체크리스트를 이 블로그에 그대로 적용했다. 한 일은 다섯 가지다.
- 호스팅 스팸 SHIELD 해제 — 해외 IP(구글봇 포함)가 검사 페이지 없이 사이트에 접근할 수 있게 했다.
- 사이트맵 재제출 — 발견된 페이지가 0에서 15로 바로 올라갔다.
- 태그 아카이브 검색 노출 끄기 — 태그 페이지에 noindex를 붙이고 사이트맵에서 뺐다. 크롤링됨-미색인 33개 중 19개를 차지하던 주소들이다.
- 남은 글 2개 손보기 — 2023년 장려금 글은 2026 청년일자리도약장려금 조건과 혜택으로 전면 다시 쓰고, 주소에서 “2023년”을 뺐다(옛 주소는 새 주소로 자동 연결된다). 종합소득세 환급 글에는 “9월이 지나도 환급금이 안 들어왔다면” 절을 추가했다.
- 두 글 모두 색인 생성 요청 — 실제 URL 테스트에서 “URL을 Google에 등록할 수 있음”을 확인한 뒤 요청했다.
반대로 하지 않은 것도 있다. 크롤링됨-미색인 목록의 나머지 피드·카테고리 주소는 손대지 않았고, 블로그를 갈아엎겠다는 계획도 접었다. 앞으로 쓰는 글은 “직접 해본 순서와 화면”이 들어가는 형식으로 정했다. 이 글도 그 형식으로 썼다.
보고서에 결과가 반영되기까지는 보통 몇 주가 걸린다. 크롤링됨-미색인 숫자와 두 글의 색인 여부가 어떻게 바뀌는지 확인되는 대로 이 글에 덧붙이겠다.
자주 묻는 질문
크롤링됨 – 현재 색인이 생성되지 않음 페이지가 많으면 사이트 전체에 불이익이 있나요?
이 상태 자체가 벌점이라는 공식 설명은 없다. 다만 목록 안에 실제 글이 많고 그 글들이 흔한 내용이라면, 사이트 전체의 콘텐츠 방향을 다시 볼 신호로 받아들이는 게 좋다. 이 블로그처럼 대부분이 태그·피드라면 신경 쓸 필요가 거의 없다.
색인 생성 요청은 하루에 몇 번까지 할 수 있나요?
URL 검사 도구의 요청에는 할당량이 있어 한 번에 대량으로 넣는 용도가 아니다. 새 글이나 크게 고친 글 위주로 쓰고, 여러 개를 고쳤다면 사이트맵 재제출과 “수정 결과 확인”을 함께 쓰는 편이 낫다.
티스토리나 블로그스팟도 같은 방법으로 보면 되나요?
분류 → 기술 → 콘텐츠 순서는 같다. 다만 플랫폼마다 자동으로 생기는 주소가 달라서, 티스토리는 태그·카테고리 목록, 블로그스팟은 라벨 페이지와 ?m=1 같은 모바일 주소가 목록에 섞여 나온다. 블로그스팟의 “적절한 표준 태그가 있는 대체 페이지”는 이런 모바일 주소인 경우가 많다.
주의할 점 / 비용
- 서치콘솔, URL 검사, 사이트맵 제출은 모두 무료다. 이 글의 진단에 든 비용은 0원이다.
- 보고서 수치는 실시간이 아니다. 이 글의 화면은 2026년 9월 21일 업데이트 기준이고, 고친 결과가 반영되기까지 보통 몇 주가 걸린다.
- 호스팅 보안 기능을 끌 때는 스팸 댓글·무차별 로그인 시도 같은 다른 위험도 같이 따져 보고, 필요하면 보안 플러그인으로 대체한다.
- 글을 삭제하거나 주소를 바꿀 때는 기존 주소에서 새 주소로 리디렉션을 걸어 이미 쌓인 링크를 잃지 않게 한다.
출처
- Google Search Console 고객센터, 페이지 색인 생성 보고서 도움말 (크롤링됨·발견됨 상태 정의, 재제출 불필요 안내)
- Google Search Console 고객센터, URL 검사 도구 도움말 (실제 URL 테스트, 색인 생성 요청)
- 필자 블로그 3곳의 Google Search Console 데이터 (2025년 5월 ~ 2026년 9월, 페이지 색인 생성 보고서는 2026년 9월 21일 업데이트 기준)
이 글은 Claude Code 루틴이 만든 초안을 바탕으로 Claude와 함께 다시 썼습니다. 수치와 화면은 모두 필자의 서치콘솔에서 가져왔고, 개인정보가 드러나는 부분은 잘라냈습니다.