컴퓨터/노트북/인터넷
IT 컴퓨터 기기를 좋아하는 사람들의 모임방
🕰️
2015.11.05 10:23
네이버 웹마스터 도구 수집요청 결과 요청실패 원인을 알아보자
조회 수 2117 추천 수 0 댓글 0
가끔 제 블로그에 들어오셔서 질문하시는분들이 여러명이신것 같아 적어봅니다.
웹사이트나 설치형블로그를 사용하시면 아래 리스트를 테스트해보세요
원인 중 하나로 생각되는 부분
1. 네이버에서 첫 수집이 안되어 있는 상태 (초기에는 크롤링 응답이 없음) 어쩔수없는 부분입니다 기다리는수밖에
2. 네임서버에서 http://www.domain.com , http://domain.com 중복으로 같은 ip를 넣고 A레코드 진행
3. 토큰값을 복사해서 붙여넣으면 끝에 띄어쓰기 문제가 일어나는 경우도 있다고 합니다
구글,빙은 신생 블로그/커뮤니티의 컨텐츠를 수집한 후 검색에 반영되는 속도가 빠르던데
그에비해 네이버 봇이 크롤링하는 타임이 너무 느려서 12시간 단위로 체크해야 움직임이 보이더군요
수집속도에 영향이 있을지는 모르겠지만
최상위 디렉토리에 ROBOT.TXT 파일을 만드시고 아래 룰을 적용해보세요
User-agent: NaverBot
Disallow :Crawl-delay: 2
User-agent: Yeti
Disallow :Crawl-delay: 2