검색 로봇 막기 (robots.txt)

robots.txt 사용하려면 홈페이지 최고 상단 / 에 올려놓으시면 됩니다.

참고로 robots.txt 있다고 해서 모든 로봇을 막을수는 없습니다.

그냥 뚤고 지나가는 로봇도 있습니다.

 

* 아래와 같이 설정하시면 모든 검색엔진에 대해서 막는다는 뜻입니다.

robots.txt
----------------------
User-agent: *
Disallow: /
----------------------

 

* 모든 검색엔진 허용하기
---------------------
User-agent: *
Disallow:
-------------------

 

* 특정 검색엔진 막기 (아래와 같이 특정 검색 로봇 이름명을 적어주시면됩니다.)

네이버 로봇 막기
---------------------
User-agent: cowbot
Disallow: /
-------------------

구글 로봇 막기
--------------------
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Image
Disallow: /
-------------------

파일확장자로 막기
-----------------
User-agent: *
Disallow: /*.jpg$
Disallow: /*.gif$
Disallow: /*.png$
--------------------

 

 

이호스트 데이터센터 운영팀 : www.ehostidc.co.kr