senser1 빅데이터 자동화 수집 기술: 크롤링/Open API/JSON/척와/플럼/스쿱/프로토콜 버퍼/오픈리파인 빅데이터를 자동화로 수집하는 기술 몇 가지를 알아봅시다. 우선 빅데이터 자동화 수집 기술은 네트워크를 통해 수집하는 방법과 로그 및 센서로 수집하는 방법이 있습니다. 크롤링(Crawling)은 검색 엔진 시스템을 이용하여 사전에 정의한 패턴에 기반하여 웹 상의 문서를 수집하는 기술입니다. Open API(Open Application Programming Interface)는 개발자 누구나 사용할 수 있는 공개된 API를 말합니다. 다음으로 로그/센서 수집에 대해 알아봅시다. 로그(Log) 수집은 이용 패턴이나 작동 패턴을 기록하는 것을 의미합니다. 센서(Senser) 수집은 센서 장치를 이용하여 데이터를 기록하는 것입니다. 센서 수집은 센싱(Sensing)이라고도 합니다. 그렇다면 빅데이터의 수집 사례.. 2022. 1. 25. 이전 1 다음