Data Flow
eBrother Flow Management(eFM)
새로운 도구를 실험하고 데이터를 활용하여 혁신적인 최적화 빅데이터 솔루션을 지속적으로 제공합니다.
eBrother Flow Management (eFM)
기존 전용 ETLtool 사용에서 오픈소스 기반 실시간 / 배치 처리 시스템으로 DW용 ETL툴 대신 Apache nifi,Airflow 등으로 대체하고 배치 처리는 기존 DW방식과 매우 유사합니다. 공공기관의 경우 연계서버는 기존과 유사한 형태로 존치합니다.
— Overview
eFM Solution
배치 처리는 기존 DW 방식과 매우 유사하나, 실시간 스트리밍, 비정형 데이터 처리, Open API 등 통합 데이터를 위해 Apache Nifi 적용합니다. ETL 툴과 상호 보완적인 기능을 제공하고, RDBMS 기반의 데이터 처리와 거의 동일합니다. 빅데이터 하둡에 적재하기 위한 과정이 추가되는 형식입니다.
특장점
실시간 스트리밍
Apache NiFi, 실시간 스트리밍 처리에 최적화된 제품
표준 플로우 제작 및 제공
CCMedia에서 Apache NiFi 를 통한 배치 처리를 위한 표준 Flow 제작 및 제공
Apache NiFi 커스텀 프로세서 제공
CDC, KAFKA, KUDU 등 실시간 DataLake 처리를 위한 Apache NIFI Custom Processor 제공
대시보드
고객사
