출처: http://ivyivy.co.kr/%EC%95%BC%ED%9B%84%EB%B9%99%EC%97%90%EC%84%9C-%EC%9D%B8%EB%8D%B1%EC%8B%B1%ED%81%AC%EB%A1%A4%EB%A7%81%EC%9D%B4-%EC%95%88%EB%90%98%EB%8A%94-%EB%AC%B8%EC%A0%9C-%ED%95%B4%EA%B2%B0/

사이트를 관리하는 중에

구글에서는 인덱싱이 잘 되는데 유독 야후와 빙에서 단 한개의 사이트도

인덱싱이 되지 않는 결과가 여러번 보여서 확인을 해보았다.

빙웹마스터에서 “진단 및 도구”에 있는 “Bingbot으로 가져오기”로 사이트를 테스트한 결과

URL:  http://######
상태:  4xx의 HTTP 상태가 수신되었습니다.

HTTP/1.1 403 Forbidden
Connection: keep-alive
Date: Tue, 27 Nov 2012 02:48:23 GMT
Transfer-Encoding: chunked
Content-Type: text/html; charset=iso-8859-1
Server: Apache

이하 html code …

상기와 같은 메세지가 지속적으로 출력..

이러한 사이트는 대부분 Apache 서버에서 발생하는 것으로 판단이 되었고

이를 해결하기 위해 열심히 구글링해 본 결과,

아파치를 제어하는 파일인 .htaccess 을 손봐주면 된다고 하였다.

.htaccess 파일 하단에

PHP_FLAG register_globals ON
PHP_VALUE mysql.default_charset UTF8
<IfModule mod_url.c>
CheckURL  Off
</IfModule>
SetEnvIfNoCase User-Agent “bingbot” !go_out

상기의 명령어를 넣어 주면 깔끔하게 403 forbidden이 해결되었다.

다음은 웹에이전시를 운영하시는 분께서 코멘트를 주신 내용..

웹호스팅 업체에서는 불확실한 크롤링으로 트레픽이 과도하게 발생되는 것을 차단하기위해 전체 크롤링 봇을 막는 경우도 있고, 반대로 일부 크롤링 봇만을 허가해주는 등 웹호스팅 사 자체 판단으로 운용합니다. 따라서  웹 전문가가 아니라면 놓치기 쉬운 부분입니다.

CheckURL  Off의 구문에 빠진 부분 정정합니다.
<IfModule mod_url.c>
CheckURL  Off
</IfModule>

“bingbot을 막지마라”는 명령어입니다.
SetEnvIfNoCase User-Agent “bingbot” !go_out

각각의 서버 환경이 다르기에 상기글의 소스를 그대로 넣는 것보다는 개별 서버환경과 개별 홈페이지의 웹프로그램 성격을 고려해 대응해야 할것 같습니다.