Big Data15 빅데이터 저장소 설계 시스템: 하둡 분산 파일 시스템(HDFS)/ NoSQL /하둡 명령어 / 몽고DB 명령어 빅데이터 저장소 설계 시스템을 알아봅시다. 빅데이터 저장소 설계 시스템에는 하둡 분산 파일 시스템(HDFS)과 NoSQL이 있습니다. 하둡 분산 파일 시스템 (HDFS): Hadoop Distributed File System. 네임노드 서버(NameNode Server), 보조 네임노드 서버(Secondary NameNode Server), 데이터 노드 서버(DataNode Server). 이렇게 총 3가지로 구성되어 있습니다. 네임노드 서버는 파일의 위치(iNode)와 메타정보를 관리하고 클라이언트를 요청합니다. 보조 네임노드 서버는 네임노드 서버의 백업 역할을 해주며, 파일 시스템을 복구해 줍니다. 데이터 노드 서버는 고정된 크기의 블록 단위로 데이터를 나누어 저장합니다. 하둡 분산파일 시스템(HD.. 2022. 1. 26. 빅데이터 자동화 수집 기술: 크롤링/Open API/JSON/척와/플럼/스쿱/프로토콜 버퍼/오픈리파인 빅데이터를 자동화로 수집하는 기술 몇 가지를 알아봅시다. 우선 빅데이터 자동화 수집 기술은 네트워크를 통해 수집하는 방법과 로그 및 센서로 수집하는 방법이 있습니다. 크롤링(Crawling)은 검색 엔진 시스템을 이용하여 사전에 정의한 패턴에 기반하여 웹 상의 문서를 수집하는 기술입니다. Open API(Open Application Programming Interface)는 개발자 누구나 사용할 수 있는 공개된 API를 말합니다. 다음으로 로그/센서 수집에 대해 알아봅시다. 로그(Log) 수집은 이용 패턴이나 작동 패턴을 기록하는 것을 의미합니다. 센서(Senser) 수집은 센서 장치를 이용하여 데이터를 기록하는 것입니다. 센서 수집은 센싱(Sensing)이라고도 합니다. 그렇다면 빅데이터의 수집 사례.. 2022. 1. 25. 이전 1 ··· 4 5 6 7 8 다음