데이터전환 - 초기데이터구축

데이터전환

  • 작성된 데이터 변환 설계서의 데이터 변환 논리를 실행 가능한 변환 프로그램으로 구현
  • 구현된 변환 프로그램을 데이터 전환 개발환경에서 테스트하여 프로그램의 정상동작을 확인하고 성능을 최적화

초기 데이터 구축 개념

  • 기존 운영 시스템의 이해를 바탕으로 구축 범위를 명확하게 하여 구축
  • 초기 데이터 구축 시 발생할 수 있는 예상 문제점을 도출하여 사전 점검 사항과 해결방안을 마련

초기 데이터 구축 절차

1. 구축 전략 수집

  • 단시일에 대량의 데이터를 전환함에 있어 신속하고 안정적인 데이터 전환을 위하여 체계적인 초기 데이터 구축 전략을 수집

2. 초기 데이터 구축 대상 파악

  • 초기 데이터 구축에 필요한 대상을 파악

3. 초기 데이터 구축 범위

  • 업무 협의를 통해 초기 데이터 구축 범위를 확정

4. 초기 데이터 구축 시 세부 고려사항

  • 데이터 이관 업무 중단을 최소화하고 안정성을 확보할 수 있는 방안 마련
  • 데이터 이관 정합성 검증을 통해 오류방지 방안을 제시하여야하며, 오류 데이터에 대한 정비방안 마련
  • 데이터 이관 완료 후 데이터의 전후 비교를 실시한 품질과 결과 제시
  • 개인정보에 해당되는 데이터는 개인정보보호법과 관련 기준에서 정하는 기준에 따라 암호화하여 적용

서버프로그램구현 - 핵심정리

서버프로그램구현

1. 배치 프로그램

  • 사용자의 상호 작용 없이 일련의 작업들을 작업 단위로 묶어 정기적으로 반복 수행하거나 정해진 규칙에 따라 일괄처리하는 것
  • 일괄처리(Batch Processing)를 위해 주기적으로 발생하거나 반복적으로 발생하는 작업을 지원하는 도구
  • 종류
    • Spring Batch
    • Quartz

서버프로그램구현 - 배치프로그램

서버프로그램구현

  • 애플리케이션 설계를 기반으로 프로그래밍 언어와 도구를 활용하여 배치 프로그램 구현 기술에 부합하는 배치 프로그램을 구현
  • 목표 시스템을 구성하는 하위 시스템 간의 연동시 안정적이고 안전하게 동작할 수 있는 배치 프로그램을 구현
  • 개발된 배치 프로그램의 테스트를 수행

배치 프로그램의 개념

  • 사용자의 상호 작용 없이 일련의 작업들을 작업 단위로 묶어 정기적으로 반복 수행하거나 정해진 규칙에 따라 일괄처리하는 것

배치 프로그램의 필수 요소

  • 대용량 데이터
    • 대용량의 데이터를 처리할 수 있어야 함
  • 자동화
    • 심각한 오류 상황 외에는 사용자의 개입 없이 동작해야 함
  • 견고함
    • 유효하지 않은 데이터의 경우도 처리해서 비정상적인 동작 중단이 발생하지 않아야 함
  • 안정성
    • 어떤 문제가 생겼는지, 언제 발생했는지 등을 추적할 수 있어야 함
  • 성능
    • 주어진 시간 내에 처리를 완료할 수 있어야 하고, 동시에 동작하고 있는 다른 애플리케이션을 방해하지 말아야 함

배치 스케줄러의 개념

  • 일괄처리(Batch Processing)를 위해 주기적으로 발생하거나 반복적으로 발생하는 작업을 지원하는 도구
  • 특정 업무를 원하는 시간에 처리할 수 있도록 지원하는 특성 때문에 잡 스케줄러 라고 함
  • 종류
    • Spring Batch
    • Quartz

배치 스케줄러의 종류

  1. Spring Batch 스프링 배치

    • Spring Source사와 Accenture사가 2007년에 공동으로 개발한 오픈소스 프레임워크
    • 아키텍처
      Spring Batch Architecture
      • Run Tier
        • 배치의 실행을 담당
      • Job Tier
        • XML로 기술된 Job내의 각 Step들을 순차적으로 실행
      • Application Tier
        • Job을 수행하는데 필요한 Item Reader, Item Writer, Item Processor 등의 컴포넌트로 구성
        • 파일 혹은 데이터베이스로부터 읽고 쓰는 기능을 수행
      • Data Tier
        • Database, File, Queue 등 물리적 데이터소스와의 결합이 이루어지는 영역
    • 핵심 컴포넌트
      • Job Repository
        • Job Execution 관련 메타데이터를 저장하는 기반 컴포넌트
      • Job Launcher
        • Job Execution 실행하는 기반 컴포넌트
      • JPA; Java Persistence API
        • 페이징 기능 제공
      • Job
        • 배치 처리를 의미하는 애플리케이션 컴포넌트
      • Step
        • Job의 각 단계를 의미하며, Job은 일련의 연속된 Step으로 구성
      • Item
        • Data Source로부터 읽거나 저장하는 각 레코드
      • Chunk
        • 특정크기를 갖는 아이템 목록을 의미
      • Item Reader
        • 데이터소스로부터 아이템을 읽어 들이는 컴포넌트
      • Item Processor
        • Item Reader로 읽어 들인 아이템을 Item Writer를 사용해 저장하기 전에 처리하는 컴포넌트
      • Item Writer
        • Item Chunk를 데이터 소스에 저장하는 컴포넌트
    • 핵심기능
      • 스프링 프레임워크 기반
        • DI; Dependency Injection, AOP; Aspect Oriented Programming 및 다양한 엔터프라이즈 지원 기능 사용
      • 자체 제공 컴포넌트
        • 배치처리(데이터베이스나 파일로부터 데이터를 읽거나 쓰는 등) 시 공통적으로 필요한 컴포넌트를 제공
      • 견고함과 안정성
        • 선언적 생략과 처리 실패 후 재시도 설정을 제공
  2. Quartz 스케줄러

    • Spring Framework에 플러그인되어 수행하는 Job과 실행스케줄을 정의하는 Trigger를 분리하여 유연성을 제공하는 오픈소스 스케줄러
    • 구성요소
      • Scheduler
        • Quartz 실행환경을 관리하는 핵심개체
      • Job
        • 사용자가 수행할 작업을 정의하는 인터페이스로서 Trigger 개체를 이용하여 스케줄 할 수 있음
      • JobDetail
        • 작업명과 작업 그룹과 같은 수행할 Job에 대한 상세 정보를 정의하는 개체
      • Trigger
        • 정의한 Job 개체의 실행 스케줄을 정의하는 개체로서 Scheduler 개체에게 Job 수행 지점을 알려주는 개체
    • 유닉스의 크론 명령어와 유사한 오픈소스 배치 스케줄러

배치 프로그램 구현

1. 애플리케이션 설계를 기반으로 배치 프로그램 확인

  1. 프로그램 관리 대장을 확인
  2. 배치 설계서를 확인
    • 프로그램 관리 대장의 ID와 일치하는 배치 설계를 확인

2. 애플리케이션 설계를 기반으로 배치 프로그램 구현

  1. 배치 프로그램을 구현하기 위한 SQL을 작성
  2. 배치 프로그램을 구현하기 위한 I/O 오브젝트(DTO; Data Transfer Object, VO; Value Object)를 정의
  3. 배치 프로그램을 구현하기 위한 데이터 접근 오브젝트(DAO; Data Access Object) 작성
  4. 배치 프로그램을 구현하기 위한 스케줄러 클래스를 작성
  • 배치 설계서는 작성하지 않음
API API오용 Anaconda Beacon Bluetooth CRUD분석 Camera ChatBot DB관련신기술 DB관리기능 DB서버 DB표준화 ER다이어그램 ER모델 ETL Flask HW관련신기술 IDE도구 IP IoT Machine_Translation NLP배경 ORM프레임워크 Package Recurrent Neural Network SDLC SW개발방법론 SW개발방법론선정 SW개발보안정책 SW개발표준 SW관련신기술 Sequence_Tagging ShellScript TCP_UDP Vector WordCloud c 자료형 class embedding konlpy python python 자료형 가설검증 개발환경구축 객체지향프로그래밍언어 관계데이터베이스모델 관계데이터언어 국제표준제품품질특성 네트워크7계층 네트워크관련신기술 네트워크장비 네트워크침해공격용어 논리데이터모델개요 논리데이터모델품질검증 논리적데이터모델링 논문 단위모듈구현 단위모듈테스트 데이터검증 데이터모델개념 데이터베이스무결성 데이터베이스백업 데이터베이스암호화 데이터베이스용량설계 데이터베이스이중화구성 데이터베이스정규화 데이터분석 데이터분석 - 순열 - 조합 데이터분석 - 정규분포 데이터분석 - 통계기초 데이터사이언스개념 데이터입출력 데이터전환수행계획 데이터정제 데이터조작프로시저작성 데이터조작프로시저최적화 데이터조작프로시저테스트 데이터지역화 데이터타입 데이터표준확인 데이터품질분석 라이브러리 로그분석 메모리관리 모델화 몬테카를로 물리데이터모델설계 물리데이터모델품질기준 물리데이터저장소구성 물리요소조사분석 반정규화 배치프로그램 변수 보안기능 보안솔루션 보안아키텍처 보안취약성식별 분산데이터베이스 분산분석 비용산정모델 빌드자동화도구 사용자정의함수 상관분석 서버개발프레임워크 서버인증 서버장비운영 서버접근통제 서비스공격유형 선언형언어 세션통제 소스코드인스펙션 소프트스킬 소프트웨어개발프레임워크 소프트웨어버전관리도구 소프트웨어연계테스트 슈퍼디엠지 스크립트언어 시스템카탈로그와뷰 암호알고리즘 애플리케이션모니터링도구 애플리케이션배포도구 애플리케이션성능개선 애플리케이션테스트결과분석 애플리케이션테스트시나리오작성 애플리케이션테스트케이스작성 애플리케이션통합테스트수행 애플리케이션패키징 연산자 예외처리 오답노트 오류데이터측정 오류처리 오류처리확인및보고서작성 요구공학방법론 운영체제 웹서버 이벤트 인터넷구성의개념 인터페이스구현검증 인터페이스기능확인 인터페이스보안 입력데이터검증및표현 자료구조 자연어처리 재사용 절차적프로그래밍언어 정보보안침해공격용어 정보처리기사 제품소프트웨어매뉴얼작성 집계성DCL작성 체크리스트 초기데이터구축 취약점분석 칼럼속성 캡슐화 코드오류 클러스터링 키종류 테일러링기준 트랜잭션인터페이스 트리거 파일처리기술 파티셔닝 패키지 포트포워딩 프로세스스케줄링 프로토타입 한국어임베딩 핵심정리 현업도구 형상관리도구 환경변수 회귀분석
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×