본문 바로가기
728x90

Data Science

[01. 데이터] 001. 데이터 수집 빅데이터 시대가 도래했다. 수 많은 데이터가 넘쳐나고 이를 분석하고 활용하는 데이터마이닝의 분야의 수요는 급증했다. 앞으로 모든 것은 데이터로 기록되고 활용될 것이다. 넘쳐나는 데이터를 잘 활용하기 위해서는 데이터 수집이 필수다. 데이터를 수집하는 방법은 크게 3가지가 있다. 첫째, 인터넷에서 엑셀 파일 등의 형태로 다운로드 하는 방법이 있다. 이는 단순히 데이터를 분석하기 위한 일회성 용도로 사용하기에는 나쁘지 않다. 하지만 지속적으로 데이터가 업데이트 되어야하고 그에 따라 분석이 연동되어 움직이는 시스템에서는 적합하지 않다. 둘째, 웹 크롤링(Crawling) 방법이 있다. 인터넷을 돌아다니며 필요한 데이터를 일정한 형식으로 크롤링하여 보기 좋게 저장하면 아주 유용하게 쓰인다. 자동화하기에 딱 좋은 .. 더보기
728x90

티스토리툴바