데이터 엔지니어링

Technology

데이터 파이프라인 설계, 구축, 운영을 담당하는 엔지니어링 분야

데이터 엔지니어의 역할

데이터 파이프라인 설계 및 구현
데이터 웨어하우스/레이크 구축
ETL/ELT 프로세스 관리
데이터 품질 및 신뢰성 보장

관련 노트

Apache Airflow - 워크플로우 오케스트레이션
Apache Kafka - 실시간 데이터 스트리밍
스토리지 - HDFS 등 분산 파일시스템
메시지 브로커 - 데이터 파이프라인 메시징

참고

← 노트 목록으로