물리데이터베이스

• 기존 시스템을 분석하여 업무 영역과 시스템 영역으로 구분하여 용어 사전 기반으로 명명 규칙을 파악할 수 있다.

• 서버, 네트워크, 스토리지 자원을 조사하고, 데이터베이스가 설치될 시스템의 운영체계와 데이터베이스 버전을 확인할 수 있다.

• 데이터베이스 운영과 관련된 관리 요소를 파악하고, 데이터베이스 구조, 이중화 구성, 분산 구조, 접근제어, DB 암호화에 대한 시스템 조사 분석서를 작성할 수 있다.

용어사전

• 분산 데이터베이스
  논리적으로 같은 시스템에 속하지만, 컴퓨터 네트워크를 통해 물리적으로 분산되어 있는 데이터베이스

• 데이터베이스 이중화
  시스템 오류로 인한 데이터베이스 서비스 중단이나 물리적 손상 발생 시 이를 복구하기 위해 동일한 데이터베이스를 복제하여 관리

스토리지 시스템의 정의

• 스토리지는 단일 디스크로 처리할 수 없는 대용량의 데이터를 저장하기 위해 서버와 저장장치를 연결하는 기술

• 스토리지 종류

  • DAS(Direct Attached Storage)
  • NAS(Network Attached Storage)
  • SAN(Storage Area Network)

DAS; Direct Attached Storage

• DAS는 서버와 저장장치를 전용 케이블로 직접 연결하는 방식
  • 저장장치를 직접 연결하므로 속도가 빠르고 설치 및 운영이 쉬움
  • 초기 구축 비용 및 유지보수 비용이 저렴
  • 다른 서버에서 접근할 수 없고 파일 공유 불가능
  • 확장성 및 유연성이 상대적이 떨어짐
• 

NAS; Network Attached Storage

• NAS는 서버와 저장장치를 네트워크를 통해 연결하는 방식
  • 별도의 파일 관리 기능이 있는 NAS Storage가 내장된 저장장치를 관리하기 때문에 서버간 스토리지, 파일 공유 용이함
  • DAS에 비해 확장성 및 유연성이 우수함
  • 네트워크 환경 상태에 영향을 많이 받음
  • 접속 증가 시 성능이 저하될 수 있음
• 

SAN; Storage Area Network

• SAN은 DAS의 빠른 처리와 NAS의 스토리지 공유 장점을 합친 방식
  • 광케이블(FC)과 광채널 스위치를 통해 근거리 네트워크 환경을 구성하여 빠른 속도로 데이터 처리
  • 저장 장치 연결로 스토리지 공유가 가능
  • 스토리지 시스템 중 대용량 환경의 높은 트랜잭션 처리 효과적
  • 기존 시스템의 경우 장비 업그레이드가 필요하고, 구축비용이 비쌈
• 

데이터전환

1. 데이터 정제

• 데이터 정제 항목을 정제 시점에 따라 전환 테스트 전, 중, 최종전환 3단계로 구분하여 데이터 정제 작업을 수행

2. 데이터 품질 분석

• 데이터 품질 관리는 기관이나 조직 내외부의 정보시스템 및 DB사용자의 기대를 만족시키기 위해 지속적으로 수행하는 데이터 관리 및 개선활동
• 원천 데이터와 전환된 목적 데이터베이스의 품질 분석
• 원천 데이터와 전환 데이터의 정합성 검증 항목

3. 오류 데이터 측정

• 데이터 중 정상 데이터와 오류 데이터를 정량적으로 측정
• 오류 목록의 내용을 확인하고 오류 해결 방안을 참조하여 원천 데이터의 정제를 요청할 것인지, 아니면 전환 프로그램을 수정할 것인지 데이터 정제 여부를 결정

데이터전환

정상 데이터와 오류 데이터 정량적 측정

1. 정상 데이터의 건수를 정량적으로 측정

• 전환 대상 범위의 데이터를 업무 영역별, 테이블별로 세분화하여 정상 데이터의 수량을 정확히 측정하고 기록

2. 오류 데이터의 유형과 건수를 정량적으로 측정

• 원천 데이터의 정합성 기준을 근거로 업무별로 오류 위치와 유형을 파악하고 그 수량을 정확히 측정하여 기록

3. 원천 데이터 오류 관리 목록 예시

오류 원인 파악 및 정제 여부 결정

1. 발견된 데이터 오류를 분석하고 원인 파악

• 해결방안
  • 오류의 내용과 원인을 분서갛여 해결 가능한 오류는 향후 처리 방침을 기술하고, 해결 불가한 오류는 고객과 협의한 내용을 기술
• 심각도
  • 상
    • 더 이상 데이터 이행을 진행할 수 없게 만드는 오류
  • 중
    • 데이터 이행 전반에 영향을 미치는 오류
  • 하
    • 데이터 이행의 흐름에는 영향을 미치지 않는 오류이나 상황에 맞지 않는 용도 및 배치 오류
• 상태
  • Open
    • 오류가 보고되었지만 아직 분석되지 않은 상태
  • Assigned
    • 영향 분석 및 수정을 위해 오류를 개발자에게 할당한 상태
  • Fixed
    • 개발자가 오류를 수정한 상태
  • Closed
    • 오류가 수정되었는지 확인하고 재테스트 시 오류가 발견되지 않은 상태
  • Deferred
    • 오류 우선 순위가 낮게 분류되었기 때문에 오류 수정을 연기한 상태
  • Classified
    • 보고된 오류가 프로젝트 팀에 의해 오류가 아니라고 판단한 상태

2. 원천 데이터와 전환 프로그램의 정제 필요 여부 결정

• 파악된 오류 원인을 기반으로 해결방안 협의
• 무시해야하는 오류가 아닌 경우에는 원천 데이터의 정제를 통해 해결해야할 것인지, 전환 프로그램을 수정할 것인지 결정

데이터전환

원천 데이터 품질 분석의 개념

• 원천 데이터의 품질이 보장되지 않으면 전환 후의 데이터도 정확하지 않으며, 전환 후의 데이터 정합성 검증 시 오류가 발생할 때 그 원인을 찾기도 어려움
• 따라서 전환 전에 원천 데이터의 품질을 검증함으로써 전환의 정확성을 보장할 수 있으며, 이전에 미처 발견하지 못한 데이터의 오류도 찾아낼 수 있음

원천 데이터 품질 검증을 위한 대표적인 정합성 항목

• 필수 항목의 데이터가 모두 존재하는가?
• 데이터의 유형이 정확하게 관리되고 있는가?
• 날짜의 경우 날짜로서 유효한 형태를 가지고 있는가?
• 금액의 경우 유효한 값의 범위인가?
• 계좌 번호 등이 정해진 법칙에 따른 번호인가?
• 영업점이 실제로 존재하는 영업점인가?
• 코드 값이 정해진 범위에 속하는가?
• 개설 일자, 해지 일자 등 모든 일자의 시점이 업무 규칙에 위배되지 않고 정확하게 설정되어 있는가?
• 업무 규칙에 위배되는 잘못된 정보가 존재하는가?
• 잔액의 총합이 회계정보와 동일한가?
• 보고서 값과 실제 데이터 값이 일치하는가?

목적 데이터 품질 분석

• 원천 데이터와 목적 데이터베이스 속성(Column)간 대응 관계는 1:1대응보다 N:M대응 관계가 더 많기 때문에 양자 간의 대응 관계를 정확히 표현하기 위해서는 데이터 레이아웃을 정확하게 파악하고 품질 검증 진행

목적 데이터베이스 전환 데이터 검증 고려 사항

• 현재 업무에서 사용하는 보고서나 통계용 정보를 사전에 조사하여 검증에 필요한 내용을 선정하고, 현재의 원장을 바탕으로 검증용 정보 도출
• 전환 데이터 검증은 데이터 전환 팀 인원 뿐만 아니라, 현업 인원도 함께 검증을 수행함으로써 검증의 정확성을 높이고 시간을 단축시키는 것이 중요함

전환 데이터의 대표적인 정합성 검증 항목

• 과목별 좌수 및 잔액
• 특정 기준으로 분류된 좌수 및 잔액
• 보고서 항목 또는 통계 수치
• 계좌 및 고객을 Sampling하여 해당 사항을 모두 검증
• 특수 관계가 있는 고객을 추출하여 관련된 데이터가 정확한지 검증

데이터전환

1. 데이터 전환 수행 계획

• 데이터 전환 절차는 전환 계획 및 요건정의, 전환 설계, 전환 개발, 전환 테스트 및 검증으로 구분할 수 있음
• 데이터 전환 수행 계획 작성을 위해서는 데이터 전환 범위, 전환 일정, 전환 절차를 명확히 해야 함
• 데이터 전환 계획서의 주요 항목
  • 데이터 전환 개요, 데이터 전환 대상 및 범위
  • 데이터 전환 환경구성, 데이터 전환 조직 및 역할
  • 데이터 전환 일정, 데이터 전환 방안
  • 데이너 정비 방안, 비상계획

2. 체크리스트

• 전환 프로그램의 에러, 시간의 제약, 업무 프로세스의 변경, 빈번한 데이터 요건 변경, 하드웨어 장애 등의 위험요소에 최대한 대응하기 위해 체크리스트 작성
• 체크리스트 기재항목
  • 데이터 전환 수행자가 수행할 작업의 상세 항목
  • 작업 내용
  • 예정 시작/종료 시각
  • 작업 담당자 기재

3. 데이터 검증

• 원천 시스템의 데이터를 목적 시스템의 데이터로 전환하는 과정이 정상적으로 수행되었는지 여부를 확인하는 과정
• 검증 방법에 따른 분류
  • 로그 검증
  • 기본 항목 검증
  • 응용 프로그램 검증
  • 응용 데이터 검증
  • 값 검증
• 데이터 단계에 따른 분류
  • 추출
  • 전환
  • DB 적재
  • DB 적재 후
  • 전환 완료 후

데이터전환

• 원천 데이터와 전환된 목적 데이터베이스 데이터의 품질을 분석하여 정상 데이터와 오류 데이터를 정량적으로 측정
• 발견된 오류를 분석하여 오류의 원인을 파악하고 원천 데이터와 응용 프로그램의 정제 필요 여부를 결정
• 정제가 필요한 원천 데이터와 오류를 생성하는 원천 프로그램을 수정하기 위한 데이터 정제요청서를 작성
• 정제된 원천 데이터를 확이하여 데이터 정제 수행 결과를 검증하고, 데이터 정제보고서를 작성
• 데이터 품질 분석 -> 오류 데이터 측정 -> 오류 데이터 정제

단계별 데이터 정제 방안

1. 1단계 전환 테스트 전

• 정합성 마비
  • 데이터 상호 간의 정합성이 유지될 수 있도록 데이터 보관
  • 조건
    • 업무 규칙을 적용한 정당한 값 또는 데이터 선별
• 불필요한 데이터 필드
  • 사용하는 데이터의 경우 매핑을 수행
  • 사용하지 않을 경우에는 해당 테이블 삭제
• 손실된 데이터
  • 손실된 데이터를 정당한 값으로 복원
  • 조건
    • 손실된 데이터의 정당한 값을 알아야 함
• 맞지 않는 타입
  • 정당한 타입의 데이터로 수정
  • 조건
    • 해당 데이터를 정당한 타입의 필드로 이전
• 오류 데이터
  • 오류 데이터를 정당한 데이터로 변경
  • 불필요한 데이터를 삭제 또는 초기화
  • 조건
    • 정당한 데이터의 기준 정의

2. 2단계 전환 테스트 시

• 전환 테스트 결과 발견된 오류 데이터
  • 사전에 업무 규칙을 적용하여 정의한 정당한 데이터 값으로 정비
  • 동일한 타입으로 전환
  • 1단계 정제 대상 항목의 정제 내용과 동일하게 정제
  • 조건
    • 테스트 결과를 이용하여 정제 조건 결정
    • 테스트 수행 과정에서 정제 대상 리스트 제시

3. 3단계 최종 전환

• 최종 전환 과정에서 정제
  • 매핑 정의서에 작성된 전환 규칙을 이용하여 전환 프로그램에 해당 내용 추가하여 프로그램 수행 시 정제
  • 조건
    • 테스트 결과를 이용하여 정제 조건 결정
    • 사전에 매핑 과정에서 정제 대상 및 정제 조건을 명확하게 제시

데이터전환

체크리스트 개념

• 전환 프로그램의 에러, 시간의 제약, 업무 프로세스의 변경, 빈번한 데이터 요건 변경, 하드웨어 장애 등의 위험요소에 최대한 대응하기 위해 체크리스트 작성
• 체크리스트 기재항목
  • 데이터 전환 수행자가 수행할 작업의 상세 항목
  • 작업 내용
  • 예정 시작/종료 시각
  • 작업 담당자 기재

데이터 전환 체크리스트 예시

• 작업프로세스는 포함 안됨

데이터전환

데이터 검증 개념

• 원천 시스템의 데이터를 목적 시스템의 데이터로 전환하는 과정이 정상적으로 수행되었는지 여부를 확인하는 과정
• 데이터 전환 검증은 검증 방법과 검증 단계에 따라 분류됨

데이터 검증 분류

1. 데이터 검증 방법에 따른 분류

• 검증 방법에 따라 로그 검증, 기본항목 검증, 응용 프로그램 검증, 응용 데이터 검증, 값 검증으로 분류
• 로그 검증
  • 데이터 전환 과정에서 작성하는 추출, 전환, 적재 로그를 검증
• 기본 항목 검증
  • 로그 검증 외에 별도로 요청된 검증 항목에 대해 검증
• 응용 프로그램 검증
  • 응용 프로그램을 통한 데이터 전환의 정합성을 검증
• 응용 데이터 검증
  • 사전에 정의된 업무 규칙을 기준으로 데이터 전환의 정합성을 검증
• 값 검증
  • 숫자 항목의 합계 검증, 코드 데이터의 범위 검증, 속성 변에 따른 값 검증을 수행
• 정합성은 아님

2. 데이터 단계에 따른 분류

• 원천 데이터를 추출하는 시점부터 전환 시점, DB 적재 시점, DB 적재 후 시점, 전환 완료 후 시점별로 목적과 검증 방법을 달리하여 데이터 전화의 정합성을 검증
  

데이터전환

• 데이터 전환 수행 계획서의 모의 전환 일정에 따라 모의 데이터 전환 차수별 데이터 전환 계획서와 본 데이터 전환 계획서를 작성
• 데이터 전환 수행자가 수행할 작업 항목, 작업 내용, 예정 시작/종료 시각, 작업 담당자를 포함하는 상세 체크리스트를 작성
• 작성된 데이터 전환 계획서와 체크리스트에 따라 데이터 변환 프로그램들을 실행하고 정상 동작 여부 모니터링 및 전환 결과 검증
• 데이터 전환 관정과 데이터 검증 결과를 분석하여 데이터 전환 결과 보고서를 작성

데이터 전환 절차

• 요구사항 분석 단계(전환 계획 및 요건정의)
• 설계 단계(전환 설계)
• 구현 단계(전환 개발)
• 테스트 단계(전환 테스트 및 검증)
• 세부적으로 22가지 상세 단계
  

데이터 전환 수행 계획

1. 데이터 전환 범위 선정

• 전환 대상의 상세 내용, 데이터 형식, 대상 건수 파악
• 필요에 따라서는 전환 제외 대상 기록

2. 데이터 전환 일정 선정

• 팀별 업무를 분장하여 팀별 역할과 납기를 기록
• 전환 차수의 결정은 통합 계획 및 테스트 계획에 의해 결정

3. 데이터 전환 절차

• 현행(As-Is) 시스템에서 목표(To-Be)시스템으로 데이터 전환을 위한 단계를 구분하고 각 단계별 작업 내용과 사용되는 도구를 별도로 기록
• 원천 데이터베이스의 데이터는 백업하여 스테이징 데이터베이스로 복구 한 후 정비 및 변환 작업을 수행하며 이는 원천 데이터베이스의 손상과 변형을 막기 위한 방법
• 데이터 전환이 완료된 후 검증단계에서는 스테이징 데이터베이스가 아닌 원천 데이터베이스와 비교하여 데이터 오류를 확인

4. 데이터 전환 계획서 작성

• 계획 -> 수행 > 결과

• 데이터 전환 개요

  • 데이터 전환 목표
    • 간결하고 명확하게
  • 주요 성공 요인
  • 전체 조건 및 제약사항

• 데이터 전환 대상 및 범위

  • 데이터 전환 대상
  • 데이터 전환 범위

• 데이터 전환 환경 구성

  • 원천시스템 구성도
  • 목적 시스템 구성도
  • 전환 단계별 DISK 사용량

• 데이터 전환 조직 및 역할

  • 데이터 전환 조직도
  • 조직별 역할
  • 업무 분담 계획
    • 검증할 작업자와 작업자별 역할은 최대한 상세히 정리

• 데이터 전환 일정

  • 데이터 전환 및 검증 작업별 상세한 일정

• 데이터 전환 방안

  • 사전 준비
  • 데이터 전환 설계
  • 프로그램 개발 및 테스트
  • 데이터 전환 리허설
  • 데이터 전환

• 데이터 정비 방안

  • 데이터 정비 대상 및 방법
  • 데이터 정비 일정 및 조직

• 비상계획

  • 데이터 전환 당일 구성될 종합상황실 및 의사소통 체계

• 데이터 복구 계획

  • 데이터 전환 과정 오류 발생 또는 실패 시 백업 및 복구 방안 수립

• 데이터 전환 개발단계

  • 전환 개발환경 구축
  • 전환 프로그램 개발
  • 검증 프로그램 개발

데이터전환

1. 초기데이터 구축

• 기존 운영 시스템의 이해를 바탕으로 구축 범위를 명확하게 하여 구축
• 초기 데이터 구축 절차
  1. 구축 전략 수집
  2. 초기 데이터 구축 대상 파악
  3. 초기 데이터 구축 범위
  4. 초기 데이터 구축 시 세부 고려사항

2. ETL

• 다양한 소스시스템으로 부터 필요한 데이터를 추출(Extraction)하여 새로 개발할 정보시스템에서 운영 가능하도록 변환(Transformation) 작업을 거쳐 타깃 시스템으로 전송 및 로딩(Loading)하는 일련의 과정을 뜻함

3. 파일 처리 기술

• 자료 구조 이론에서 파일처리 기술은 많은 양의 자료를 각종 매체에 저장하는 기법
• 종류
  • 순차파일
  • 색인 순차파일
  • 가상 기억 접근방식 파일
  • 직접파일