데이터전환
ETL; Extraction, Transformation, Load 프로세스
- 특수한 엔진에서 진행되며 종종 변환 중인 데이터가 준비 테이블에서 임시로 보유되었다가 대상에 로드 됨
- 일반적으로 발생하는 데이터변환에는 필터링, 정렬, 집계, 데이터 조인, 데이터 정리, 중복 제거 및 데이터 유효성 검사 등의 작업
- 종종 시간 절약을 위해 데이터의 추출이 완료될 때 까지 기다리지 않고 데이터가 추출 되는 동안 이미 수신된 데이터가 변환되면서 로드 준비가 진행되고 준비된 데이터에 대한 로드 프로세스가 시작되는 방식으로 3가지 ETL 단계가 동시에 진행됨
ETL 프로세스별 방법
- 추출 Extraction
- JDBC, ODBC 기술의 이용
- Flat File 생성
- CDC; Change Data Capture
- 변환 Transformation
- 재구성, 정제, 변환, 데이터필드 검사, Rule 적용
- 데이터 통합 및 정제가 과도히 요구되는 경우, ETL작업의 80%는 변환과정에서 발생
- 로드 Load
- DBMS 고유 기능
- Utility(Append, Delete/Insert, Update)이용