가장1 robots.txt 설정하기 그림보고 따라만하세요 robots.txt 설정하기 robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제안하는 국제 권고안입니다. 만약 사이트의 루트 디렉터리에 robots.txt 파일이 없다면 모든 콘텐츠를 수집할 수 있도록 간주합니다. robots.txt 존재 유무 체크 1. 네이버 서치어드바이저에 로그인 후 웹마스터 도구에 접속 2. 간단체크 - 본인 도메인 주소 입력 후 'robots.txt가 존재하지 않는다'라는 오류가 떴을 경우 아래 문제 해결 참조 문제 해결 1. 사이트관리 - 본인의 등록된 도메인 주소 클릭 2. 검증 - robots.txt - 수집요청 - 본인 도메인 주소 입력 - 확인 - 모든검색로봇 선택 - 수집을 허용합니다 선택 - 다운로드 3. 다운로드된 robots 파.. 2023. 5. 1. 이전 1 다음
