1) 웹 크롤링(실시간 데이터 수집, Web Scraping)이란? - 웹 사이트에서 원하는 정보를 추출하는 것을 의미한다. - 보통 웹 사이트는 HTML 기반이므로 정보를 추출할 페이지에서 개발자모드 실행 후, 원하는 태그를 검색하는 스킬이 요구된다. - 크롤링한 데이터를 소장, 활용하는 것은 불법이 아니지만 영리를 위한 목적 또는 배포시 문제가 될 수 있으니 이 경우에는 해당 사이트의 허락을 반드시 받아야한다. 2) 웹 크롤링 라이브러리 1. Jsoup 정적 데이터를 비교적 빠르게 수집할 수 있지만 브라우저가 아닌 HTTP Request를 사용하기 때문에 동적 데이터를 수집하기 위해서는 해당 서버의 인증키 요구 등 수집할 수 없는 경우가 많다. 2. Selenium Jsoup에 비해 느리지만 브라우저..