데이터 파이프라인 설계, 구축, 운영을 담당하는 엔지니어링 분야
데이터 엔지니어의 역할
- 데이터 파이프라인 설계 및 구현
- 데이터 웨어하우스/레이크 구축
- ETL/ELT 프로세스 관리
- 데이터 품질 및 신뢰성 보장
관련 노트
- Apache Airflow - 워크플로우 오케스트레이션
- Apache Kafka - 실시간 데이터 스트리밍
- 스토리지 - HDFS 등 분산 파일시스템
- 메시지 브로커 - 데이터 파이프라인 메시징
Technology
데이터 파이프라인 설계, 구축, 운영을 담당하는 엔지니어링 분야