크롤러의 웹 문서 접근이 용이할 수록 색인 증가 속도도 높아진다. 다만, 기억할 점은 크롤링 된 수 = 색인(indexing) 수는 아니란 것이다. 중복문서를 가진 사이트가 색인이 늦거나 아예 누락되는 것도 검색엔진 크롤링 기능을 저하시키기 때문이다.(네이버는 아직 이 부분은 필터링이 타이트하지 않아 중복문서도 많이 반영 중이다.) 예를 들어 zinicap.kr 과 www.zinicap.kr 그리고 m.zinicap.kr 3개의 사이트가 있다면 사람은 이 3개를 동일 사이트로 인식하지만 봇(bot)은 모두 서로 다른 사이트로 본다. 그렇기 때문에 같은 내용을 담은 웹 페이지가 3개 존재해 크롤러 오류를 발생시킬 수 있다. 반응형 웹 구축을 권하는 것도 이 때문이다. 구글 봇(google bot)은 panda […]