안녕하세요,
무니입니다.
이번 포스팅을 통해,
워드프레스에서 robots.txt 설정 및 업데이트 해볼려고 하는데요.
(1) robots.txt 란
robots.txt 는 왜 필요할까요?
Crawler 봇을 위해 필요합니다.
여러 종류의 크롤링 봇이 있고, 당연하지만 몇가지 지켜야하는 수칙을 통해
좋은 방향의 크롤링 봇만 유효하도록 남기는 작업입니다.
아래 페이지를 보면, ads.txt 에 대해서도 허용이 필요해보입니다.
User-agent: *
Allow: /ads.txt
Disallow: /ads
(2) robots.txt 플러그인
먼저, robots.txt 관련 플러그인을 설치해주세요.
이제,
“설정” 으로 이동해주시고 “읽기” 를 눌러주신 다음 아래로 내려주세요.
다음과 같이 변경해주시면 되겠습니다.
요약해보면, ads.txt 에 대해서는 허용,
wp-admin 페이지에 대해서는 불허 라고 보시면 되겠습니다.
(3) 변경된 robots.txt 확인하기
도메인/robots.txt 를 입력해주세요.
저의 경우, i-am-your-son.kr/robots.txt 입니다.
이런식으로 아래와 같이 설정이 되어있으셔야 합니다!
이상으로 robots.txt 변경하기 포스팅을 마치도록 하겠습니다.
감사합니다,
무니 드림.
robots.txt 설정하기