IT
데이터 엔지니어링
"내 · 외부에 있는 데이터의 수집, 처리, 저장이 가능한 파이프라인을 구축, 운영, 관리하며 데이터 처리를 위한 인프라 설계 및 구축 업무를 수행하는 전문가"
주요업무
- 데이터 엔지니어링 전문가
- 데이터 수집: 원천 데이터를 확인하고 수집 주기와 수집 방법을 결정하며 인프라를 구축함
- 데이터 통합 및 전처리 : 데이터 통합 및 저장, 데이터 전처리, 데이터 예외 처리방안을 결정
- 인프라 아키텍트 및 구축 : 데이터 처리 및 분석을 위한 인프라 설계 및 구축
필요역량
- 인프라를 구축하고, 프로그래밍 언어와 오픈소스를 활용하여 데이터를 효과적으로 수집할 수 있는 역량이 필요합니다.
- 프로그래밍 기초 지식, S/W 아키텍트 방법론 지식과 AWS Cloud, On-premise Hadoop 등의 툴을 사용하여 인프라를 설계하고 구축하는 업무입니다.