[Next js] robots.txt 에 대하여

 

 

robots.txt는 파일은 웹사이트를 방문하는 컴퓨터 프로그램들에게 어떤 페이지를 볼 수 있고, 볼 수 없는지 알려주는 지시서 같은 것입니다.

 

목적 :  일반 사용자들이 접근할 수 있는 웹사이트의 특정 부분(예: 관리자 페이지)을 숨기고 싶을 때 사용합니다.

장점 : 원하지 않는 부분이 검색결과에 나타나지 않게 할 수 있습니다.

사용법:

• robots.txt라는 파일을 웹사이트의 루트에 만듭니다.
• 이 파일에는 어떤 프로그램이 어떤 페이지를 볼 수 있는지, 볼 수 없는지를 적습니다.
• 예를 들면, /accounts라는 경로를 모두에게 보이지 않게 하고 싶다면:

User-agent: *
Disallow: /accounts

라고 적으면 됩니다.

 

Next.js에서의 사용법:

• 프로젝트의 public 폴더 안에 robots.txt 파일을 만듭니다.
• 원하는 지시사항을 그 파일에 적습니다.

---

요약

robots.txt는 웹사이트의 일부를 숨기기 위한 지시서입니다. 웹사이트 제작자는 이 파일을 통해 어떤 부분을 숨길 지 결정할 수 있습니다.