가끔 제 블로그에 들어오셔서 질문하시는분들이 여러명이신것 같아 적어봅니다.

웹사이트나 설치형블로그를 사용하시면 아래 리스트를 테스트해보세요

 

원인 중 하나로 생각되는 부분

 

1. 네이버에서 첫 수집이 안되어 있는 상태 (초기에는 크롤링 응답이 없음) 어쩔수없는 부분입니다 기다리는수밖에

2. 네임서버에서 http://www.domain.com , http://domain.com 중복으로 같은 ip를 넣고 A레코드 진행

3. 토큰값을 복사해서 붙여넣으면 끝에 띄어쓰기 문제가 일어나는 경우도 있다고 합니다

 

구글,빙은 신생 블로그/커뮤니티의 컨텐츠를 수집한 후 검색에 반영되는 속도가 빠르던데

그에비해 네이버 봇이 크롤링하는 타임이 너무 느려서 12시간 단위로 체크해야 움직임이 보이더군요

 

수집속도에 영향이 있을지는 모르겠지만

최상위 디렉토리에 ROBOT.TXT 파일을 만드시고 아래 룰을 적용해보세요

 

User-agent: NaverBot

Disallow :Crawl-delay: 2

 

User-agent: Yeti

Disallow :Crawl-delay: 2