오래된 색인 생성 실패 페이지 삭제하는 방법

  구글 서치 콘솔에서 색인 생성을 보면 '찾을 수 없음(404)' 결과의 페이지가 나타나서, 계속 누적될 때가 있습니다. 이외에도 유효성 검사 상태에서 매번 실패를 했다는 알림을 받기 일쑤입니다. 여러 가지 이유가 있겠지만, 오늘 내용은 이미 삭제되었거나 수정이 되어 URL 자체가 없어진 페이지 글을 삭제하는 방법입니다.

 

 

🥕광고 차단 프로그램을 OFF 하여 주시면 좋은 콘텐츠를 제작하는 데 있어 많은 힘이 됩니다.

 

안녕하세요, 마녀의 숲속 블로그의 마숲입니다 ~ ^ ^

 

반응형

 

구글 서치 콘솔: 오래된 색인 생성 실패 페이지 삭제하기

  구글 서치 콘솔에서 자동으로 유효성 검사를 실행하게 되는데, 며칠 지나면 '찾을 수 없음(404)' 메시지가 나타나면서 실패 사유를 알려줍니다. '색인이 생성되지 않은 페이지는 구글에 게시할 수 없습니다.'.....라는 문구가 있는 '페이지 색인이 생성되지 않는 이유'를 클릭하여 보면 다음의 여러 사유를 확인할 수 있습니다.

 

 

📌 페이지 색인이 생성되지 않는 이유

 

1. robots.txt에 의해 차단됨.
2. 액세스 금지(403)로 인해 차단됨.
3. 리디렉션이 포함된 페이지.
4. 다른 4xx 문제로 인해 차단됨.
5. 크롤링됨 - 현재 색인이 생성되지 않음.
6. 발견됨 - 현재 색인이 생성되지 않음.
7. 중복 페이지, Google에서 사용자와 다른 표준을 선택함.
8. 색인이 생성되었으나 robots.txt에 의해 차단됨.

9. 찾을 수 없음(404).

10. 적절한 표준 태그가 포함된 대체 페이지.

 

 

 오늘 다룰 내용은 9번의 '찾을 수 없음(404)'에 해당하는데요, 다른 이유에 들어있는 링크 페이지 중에서도 지금은 사용하지 않는 페이지가 있다면, 알려주는 삭제하는 방법으로 완전히 차단하면, 다음의 유효성 검사에서는 나타나지 않게 됩니다.

 

 

없는 페이지, 삭제하여 색인 생성 차단하는 방법

1. 구글 서치 콘솔에 접속하여, 좌측 메뉴 중 '색인생성'  →  '페이지'를 클릭합니다.

 

 

2. 우측 화면에서 스크롤을 내려 '페이지 색인이 생성되지 않는 이유'를 찾은 다음, 항목에서 '찾을 수 없음(404)'를 클릭합니다.

 

유효성 검사에서 항상 실패하는 항목

 

3. 색인생성에 실패한 티스토리 블로그의 URL 링크가 잔뜩 나옵니다. 마숲 같은 경우엔 무려 374개나 됩니다. 이 중에서 하나의 링크를 클릭하면 다음과 같은 화면이 새 탭에서 열립니다.

 

페이지가 없다는 문구의 페이지

 

 이 실패 사유에 대하여 구글에서는 다음과 같이 설명하고 있습니다.

 

👉 Google에서 다른 페이지의 링크로 URL을 발견했거나 이전에 존재했지만 삭제된 페이지일 수 있습니다. Googlebot은 일정 기간 동안 이 URL을 계속 시도할 수 있습니다. Googlebot이 URL을 완전히 무시하도록 지정할 방법은 없지만, 크롤링 빈도는 줄어듭니다. 

 

 

 실제로 이 링크들을 몇 개 샘플링 검사를 해보니, 모두 다 '존재하지 않는 페이지 화면'만 나타났습니다. 예전에 글을 삭제했거나, 어떤 이유로 인하여 해당 URL 링크에 페이지가 없다는 의미입니다. 구글 측의 설명대로 구글봇에게 색인 검사를 하지 말라는 명령을 내릴 수는 없다고 하니, 신경이 쓰인다면 직접 삭제를 요청해야 합니다.

 

 

5. 우선 삭제 방법을 익히기 위하여, 한 개의 페이지 링크를 복사합니다.

 

 

6. 좌측 메뉴에서 '색인생성'  →  '삭제'를 선택합니다.

 

 

7. '새 요청'을 클릭 → 일시적으로 URL 삭제 → 복사한 URL 붙여 넣기 → 이 URL만 삭제 → '다음'을 클릭합니다.

 

 

 

8. 'URL을 삭제하시겠습니까?'가 나타나고, '요청 제출'을 누릅니다.

👉 모든 변형을 포함한 이 URL(HTTP와 HTTPS , www를 포함하는 URL과 포함하지 않는 URL)이 약 6개월 동안 Google 검색에서 차단됩니다. 삭제 요청은 언제든지 취소할 수 있습니다.

 

 

 

9. 제출한 링크 주소의 상태가 '요청 처리 중'이라고 목록에 나타납니다. 시간이 지나면 아래 캡처 화면처럼 '일시적으로 삭제됨'으로 상태가 바뀝니다.

 

 

 

📌 이렇게 하면, 6개월 정도 후에 구글봇이 다시 위 링크 주소로 크롤링 과정을 거칠 것인데, 페이지가 없기 때문에 다시는 나타나지 않을 것입니다. 

 

 그런데, 여기서 일일이 없는 페이지 주소를 하나씩 제출하여 요청을 해야 하는지에 대한 의문이 생깁니다.

 

 

삭제할 URL 페이지를 일일이 한 개씩 입력해야 하는 문제

맞습니다. 현재는 달리 방법이 없고, 일일이 링크 주소를 넣어 제출해야 합니다. 찾을 수 없는 페이지의 개수가 적다면 큰 문제는 아닌데, 앞서 이야기했던 마숲의 페이지는 374개나 됩니다. 시간 날 때마다 넣어주면 되긴 하지만, 사실 안 해도 블로그 운영에 큰 상관이 없는 문제입니다.

 

그래도 신경이 쓰여 정리하고 싶다면, 다음과 같은 방법으로 URL 주소만 메모장으로 옮길 수는 있습니다. 

 

 

1. 유효성 검사에서 실패한 '찾을 수 없음' 화면에서, 많은 수의 실패된 링크 주소가 보이는 곳으로 이동합니다.

 

 

2. 제일 하단에 있는 '페이지당 행 수'를 최대인 '500'으로 설정합니다. 그러면 찾을 수 없음 페이지의 링크를 대부분 볼 수 있게 됩니다. 

 

 

3. '영향을 받은 페이지' URL 링크를 모두 복사합니다. 맞습니다. 최종 크롤링 된 날짜까지 모두 함께 복사가 됩니다. 

 

 

 

4. 이것을 메모장을 열어 붙여 넣기 합니다.

 

 

5. 구글에서 무료로 사용할 수 있는 '구글 시트'를 엽니다.

 

구글 포털 사이트에 접속하면 우측 상단의 점 9개를 누르면 구글 시트가 들어있다

👉 Sheets를 클릭합니다.

 

 

6. '빈 스프레드시트'를 누르면 엑셀 같은 프로그램 화면이 나타납니다.

 

 

7. 메모장에 붙여 넣었던 링크들을 다시 복사한 다음, 구글 시트의 아무 셀 위에서 붙여 넣기 합니다.

 

 

 

8. 상단 메뉴에서 '데이터' →  '시트 정렬' → 'X열을 기준으로 시트 정렬(오름차순)'을 선택합니다.

 

 

 

 

9. 다음과 같이 한 번에 날짜와 URL 주소가 정리되어 분리됩니다. 링크 주소만 복사하여 메모장에 붙여 넣습니다.

 

 

 

10. 메모장의 URL 주소 하나씩 복사하여, 색인 생성 페이지를 열고, 위에서 제출했었던 '삭제 요청' 방식으로 URL을 삭제 신청합니다. 아쉽게도 한꺼번에 링크 주소를 입력하는 기능을 구글에서 지원하지 않아, 막일을 해야 합니다.

 

 

삭제 요청 취소하기

 잘못 제출한 블로그 페이지가 있다면,

 

 제출 목록에 있는 URL 주소의 우측에 점 세 개를 누르면 '요청 취소'가 나오는데, 이것을 선택하면 제출한 페이지 삭제 요청이 취소가 됩니다.

 

 이렇게 색인 생성할 페이지가 삭제되었음에도 남아있는 찌꺼기 같은 오래된 색인 페이지 링크를 삭제하는 방법에 대하여 알아보았습니다. 읽으시느라 고생 많으셨습니다.

 

 

티스토리 글 목록에 애드센스 광고 넣는 방법

티스토리 북 클럽 스킨 글 목록에 애드센스 광고 넣는 방법

 

구글블로그 블로그스팟 애드센스 승인 후기

❤️ 7개월 만에 구글블로그 [블로그스팟] 애드센스 승인된 후기