Wikipidia 위키디피아

e-Supporter

  • FAQ
  • Q&A
  • Contact us
  • 전화상담: 1544-5780 / 평일 : 오전9시 ~오후6시 /  info@eznetsol.co.kr/

위키디피아

  • 웹표준이란?
  • 웹표준이란?
  • 웹표준이란?
  • 웹표준이란?
  • 웹표준이란?
  • 홈페이지내에서 발급 받을 수 있습니다.
  • 가격/업종/유형별 제작에서 운영까지 예상비용 알아보기
  • 실시간 상담, 로그분석, 부정클릭 차단

검색엔진최적화

  • Home 위키디피아 >
  • 검색엔진최적화

본문

이지넷은 항상 고객을 생각합니다.

공지사항

검색 로봇을 제어하는 robots.txt

조회수 : 5252 l 2010.08.16


구글, 야후등의 외국 검색사이트의 로봇 방문 막는 코딩
    스파이더(spider) 혹은 크롤러(crawler)라고도 불리는 로봇이 여러분이 제작한 외국어 홈페이지를 방문하여 페이지의 내용을 취합, 정리하여 가져 갑니다. 방문한 페이지의 정보 수집에 그치지 않고 연결된 링크를 따라 홈페이지의 구석 구석을 돌아다니며 정보를 수집합니다.
위와 같이 링크를 따라 웹(web; 거미줄)을 돌아다니는 모습이 마치 거미와 비슷하다고 해서 스파이더라고 부르기도 합니다.
    
이런 로봇이 주기적으로 방문하여 새로이 업데이트 된 여러분의 컨텐츠를 가져가서 검색 결과에 반영해준다면 추가 비용없이 경쟁업체보다 유리한 광고를 하고 있다고 생각하셔도 됩니다. 그러나 로봇 방문시 서버에 약간의 부하를 주기도하고 보안을 의식하여 접근자체를 부정적으로 판단하고 이런 로봇의 방문을 불필요하게 인식한다면 검색로봇 자체를 접근하지 못하게 설정할 수도 있습니다. 이렇게 되면 홈페이지는 존재하지만 검색결과에서는 보이지 않아 검색사이트(구글, 야후)에서는 존재하지 않는 사이트가 되는 불행한 사태를 맞기도 합니다.





따라서 검색로봇의 접근범위를 바르게 설정하고 컨트롤 하는 게 중요합니다. 검색 로봇이 여러분의 사이트를 방문하여 로봇이 돌아다니는 범위를 정의한 파일 찾아 정해진 규약대로 정보수집을 합니다.





 





이를 robots.txt 라 부르고 계정의 최상위에 위치하게 합니다.(www.eznetsol.co.kr/robots.txt)





설정 방법으로는
1. 모든 로봇의 방문, 정보 수집, 분석을 완전히 거부한 경우
       User-agent: *
       Disallow: /





2. 모든 로봇의 방문, 정보수집, 분석을 완전히 허용한 경우
       User-agent: * 
       Allow: /   





3. 모든 로봇에게 서버의 일부분만을 제한하고 싶을 때
       User-agent: *
       Disallow: /admin/
       Disallow: /intranet/
       홈페이지 관리자페이지(admin)나 인트라넷(intranet)등 보안이 필요한 곳은 방문하지 못하게 설정




위키디피아 검색

WIKI Search

검색하기
Rss피드 구독
공지사항
번호 제목 작성자 등록일 조회수
  •                
  • 목록보기
리스트 목록
[이전 10개] [다음 10개]
9

공포의 검색 로봇 제어

이지넷 2013.08.20 4077
8

SEO 입장에서 바라본 robots.txt 작성 방법

이지넷 2013.02.08 4650
7

검색엔진최적화와 퇴사한 직원

이지넷 2010.11.06 5449
6

검색 로봇을 제어하는 robots.txt

이지넷 2010.08.16 5253
5

SEO를 악용한 피싱기법 등장

이지넷 2010.01.06 4802
4

위성 사이트 Satelite Site

이지넷 2009.04.06 5448
3

USP ( Unique Selling Proposition )

이지넷 2007.02.26 5865
2

검색엔진최적화 (SEO; Search Engine Optimization)

이지넷 2006.04.19 5248
1

LPO 랜딩페이지최적화

이지넷 2005.02.09 5865

퀵 배너

Quick Menu

  • 고객센터
  • FAQ
  • 입금안내
  • 세금계산서 신청
  • 기업홈페이지 제작노하우
  • 온라인상담
  • 온라인견적
  • 맨위로