[Spring] 스프링에서 robots.txt 적용하는 방법

2022-06-08

---

Photo by Hello I'm Nik on Unsplash

자신이 서비스하는 웹 애플리케이션에서 쓸데없이 로봇들이 크롤링하는 것들을 막을 수 있는 방법이 있다. robots.txt를 사용하는 건데 이를  spring에서는 어떻게 적용하는지 알아보자.

---

- 방법

 

사실 방법은 매우 간단하다.

	/**
	 * 봇 크롤링 막기
	 */
	@RequestMapping(value = "/robots.txt")
	@ResponseBody
	public void robotsBlock(HttpServletRequest request, HttpServletResponse response) {
		try {
			response.getWriter().write("User-agent: *\nDisallow: /\n");
		} catch (IOException e) {
			log.info("exception", e);
		}
	}

 

위와 같은 방식으로 적용해주면 된다. 따로 txt 파일을 만들 필요없이 requestmapping에 robots.txt를 맵핑해주고 이후 response 객체를 통해 직접 스트림으로 텍스트를 적어주면 손쉽게 적용할 수 있다.

 

아래의 응답객체의 값의 이미는 모든 봇들은 모든 경로에서 접근을 불허한다는 의미이다.

 

User-agent: *
Disallow: /

---

메인 이미지 출처 : Photo by Hello I'm Nik on Unsplash