개요. - robots.txt
검색로봇이 웹사이트에 접근시 제어 규약
robots.txt 작성법.
모든 로봇 모든 문서 접근 허용.
User-agent: * Allow: / |
모든 로봇 접근 금지.
User-agent: * Disallow: / |
모든 로봇 특정 폴더 접근 금지. - 접근금지 폴더를모두 나열하면 된다.
User-agent: * Disallow: /tmp/ Disallow: /test/
|
모든 로봇 특정파일 접근차단.
User-agent: * Disallow: /tmp/index.htm |
구문 조합예.
User-agent: * Disallow: /tmp/index.htm Disallow: /test/ |
///1627.
'지속가능티끌 > 웹,워드프레스' 카테고리의 다른 글
| 카페24. 호스팅서비스 이메일 계정 추가. DNS 에 MX레코드 추가 방법. (1) | 2018.10.04 |
|---|---|
| 워드프레스. 유튜브 동영상 삽입. 크기조절. 쉽게. (0) | 2018.02.10 |
| 플러그인 업데이트 하다 실패 . Briefly unavailable for scheduled maintenance. Check back in a minute. (0) | 2018.01.25 |
| 워드프레스. PHP가용 메모리 증가시키기. (0) | 2017.04.07 |
| 워드프레스. 발행글 네이버 블로그 자동 등록. idea-naver-sync (0) | 2017.03.23 |
댓글