데이터입출력구현 - 핵심정리

데이터입출력구현

1. 자료구조

  • 컴퓨터에서 자료를 효율적으로 표현하고 저장하고 처리할 수 있도록 만들어진 논리적인 틀
  • 분류
    • 선형 구조
      • 리스트
      • 스택
      • 데크
    • 비선형 구조
      • 트리
      • 그래프

2. 논리 데이터모델 개요

  • 논리 데이터 모델링은 정확한 업무 분석을 통한 자료의 흐름을 분석하여 현재 사용 중인 양식, 문서, 징표를 중심으로 자료항목을 추출하고 추출된 엔티티와 속성들의 관계를 구조적으로 정의하는 단계
  • 정규화
    • 릴레이션을 관련 있는 속성들로만 구성되도록 릴레이션을 분해하는 과정
    • 제 1 정규화
      • 중복속성제거
    • 제 2 정규화
      • 부분종속성제거
    • 제 3 정규화
      • 이행종속성제거

3. 논리 데이터모델 검증

  • 논리 데이터저장소 확인
  1. 엔티티 및 속성 확인
  2. 관계 확인
  3. 데이터 흐름 확인
  4. 데이터 접근 권한 확인
  5. 데이터 백업정책 및 분산 구조 확인

데이터입출력구현 - 물리데이터 모델 설계

데이터입출력구현

  • 논리데이터저장소 설계를 바탕으로 응용소프트웨어가 사용하는 데이터저장소의 특성을 반영한 물리 데이터 저장소 설계 수행
  • 논리데이터저장소 설계를 바탕으로 목표 시스템의 데이터 특성을 반영하여 최적화된 물리 데이터저장소를 설계
  • 실제 데이터가 저장될 물리적 공간을 구성

데이터베이스 스키마 Schema의 개념

  • 데이터베이스에서 자료의 구조, 자료의 표현방법, 자료 간의 관계를 형식 언어로 정의한 구조

데이터베이스 스키마 종류

  • 외부 스키마
    • 프로그래머나 사용자의 입장에서 데이터베이스의 모습으로 조직의 일부분을 정의한 것
  • 개념 스키마
    • 모든 응용 시스템과 사용자들이 필요로 하는 데이터를 통합한 조직 전체의 데이터베이스 구조를 논리적으로 정의 한 것
  • 내부 스키마
    • 전체 데이터베이스의 물리적 저장 형태를 기술

논리 데이터 모델 -> 물리 데이터 모델 변환 순서

  1. 단위 엔티티를 테이블로 변환
    • 논리 모델에서 정의된 엔티티는 물리 모델에서 테이블로 변환
    • 엔티티는 한글명, 테이블은 영문명 사용하고 명칭을 동일하게
  2. 속성을 칼럼으로 변환
    • SQL 예약어 사용은 피하기
    • 가독성을 위해 명칭은 가능한 짧게
    • 칼럼명에 복합 단어 사용할 경우 미리 정의된 표준에 의해 명명
  3. UID를 기본키로 변환
    • 엔티티의 UID는 기본키로 선언
    • Not null, Unique 등의 제약 조건을 추가적으로 정의
  4. 관계를 외래키로 변환
    • 1:n 관계에서 1 영역에 있는 기본키를 n영역의 외래키로 선언
    • 외래키 명은 1 영역의 기본키 이름을 사용하나 다른 의미를 가질 경우 변경하여 명명
    • 순환 관계에서 자신의 기본키는 외래키로 정의
  5. 칼럼 유형과 길이 정의
    • 정의된 각 칼럼에 대해, 적용 DBMS에서 제공하는 데이터 유형 중 적절한 유형 정의
    • 해당 데이터의 최대 길이를 파악하여 길이 설정
  6. 데이터 처리 범위와 빈도수를 분석하여 반정규화 고려
    • 중복 테이블 추가
    • 테이블 조합
    • 테이블 분할
      • 수식 분할
      • 수평 분할
    • 테이블 제거
      • 더 이상 엑세스 되지 않는 테이블
    • 칼럼의 중복화

데이터입출력구현 - 물리데이터 저장소 구성

데이터입출력구현

Delete Constraint

  • 참조된 기본키의 값이 삭제될 경우의 처리 내용 정의
  • Cascade
    • 참조한 테이블이 있는 외부키가 일치하는 모든 Row가 삭제
  • Restricted
    • 참조한 테이블에 있는 외부키에 없는 것만 삭제 가능
  • Nullify
    • 참조한 테이블에 정의된 외부키가 일치하는 것을 Null로 수정

Update Constraint

  • 참조된 기본키의 값이 수정될 경우의 처리 내용 정의
  • Cascade
    • 참조한 테이블에 있는 외부키와 일치하는 모든 Row가 수정
  • Restricted
    • 참조한 테이블에 있는 외부키에 없는 것만 수정가능
  • Nullify
    • 참조한 테이블에 정의된 외부키와 일치하는 것을 Null로 수정

인덱스 설계

1. 인덱스 적용 기준

  • 인덱스 칼럼의 분포가 10~15% 이내인 경우
    분포도 = (1/칼럼값의종류) * 100 = (칼럼값의 평균 Row수/테이블의 총Row수) * 100
  • 분포도가 범위 이상이더라도 부분처리를 목적으로 하는 경우
  • 입출력 장표 등에서 조회 및 출력 조건으로 사용되는 칼럼
  • 인덱스가 자동 생성되는 기본키와 Unique키의 제약조건을 사용할 경우

2. 인덱스 칼럼 선정

  • 분포도가 좋은 칼럼은 단독적으로 생성하여 활용도 향상
  • 자주 조합되어 사용되는 칼럼은 결합 인덱스로 생성하여 활용
  • 결합 인덱스는 구성되는 칼럼 순서 선정에 유의
  • 가능한 수정이 빈번하지 않은 칼럼 선정

3. 설계시 고려사항

  • 새로 추가되는 인덱스가 기존 액세스 경로에 영향을 미칠지 않는지 고려
  • 지나치게 많은 인덱스는 오버헤드로 작용하므로 유의
  • 인덱스는 추가적인 저장공간이 필요함으로 고려
  • 넓은 범위를 인덱스 처리 시 오히려 전체 처리보다 많은 오버헤드를 발생시킬 수 있음

뷰 설계

1. 뷰 테이블 개념

  • 가상 테이블을 구성하는 데이터베이스 오브젝트로 별도의 저장 공간은 없지만 뷰를 통해 SELECT, DELETE, UPDATE를 할 수 있음

2. 뷰 테이블 생성

1
2
3
4
5
6
CREATE OR REPLACE VIEW EMP_VIEW10
AS
SELECT EMPNO, ENAME, SAL, COMM,
DEPTNO
FROM EMP_COPY
WHERE DEPTNO=30
  • REPLACE : 뷰가 이미 존재하는 경우 재생성
  • FORCE : 기본 테이블의 존 여부에 관계 없이 뷰 생성
  • NOFORCE : 기본 테이블이 존재할 때만 뷰 생성
  • WITH CHECK OPTION : Sub-Query 내의 조건을 만족하는 행만 변경
  • WITH READ ONLY : 조회만 가능하게 제약

3. 뷰 설계시 고려사항

  • 최종적으로는 테이블을 액세스하는 것으로 사용에 따라 수행 속도에 문제 발생 가능성
  • 뷰 내의 SELECT 문의 조건은 가능한 한 최적의 액세스 경로를 사용할 수 있도록 함
  • 그럴 수 없다면 뷰를 사용한 SQL의 WHERE 절에서는 반드시 양호한 액세스 경로가 되도록 해야 함

클러스터 설계

1. 클러스터 개념

  • 클러스터 키 값을 기준으로 같은 값들끼리 레코드가 한 블록에 모이는 저장 구조

2. 클러스터 적용 기준

  • 분포도가 넓을수록 오히려 유리한 기법
  • 액세스 기법이 아니라 액세스 효율 향상을 위한 물리적 저장 방법
  • 분포도가 넓은 테이블의 클러스터링은 저장 공간의 절약 가능
  • 다중 블록 이상의 테이블에 적용
  • 대량의 범위를 자주 액세스하는 경우 적용
  • 인덱스를 사용한 처리 부담이 되는 넓은 분포도에 활용
  • 여러 개의 테이블이 번번히 조인을 일으킬 때 활용
  • 반복 칼럼이 정규화에 의해 어쩔 수 없이 분할된 경우 활용

3. 클러스터 설계시 고려사항

  • 검색 효율은 높여 주나 입력, 수정, 삭제 시는 부하가 증가함 고려
  • Union, Distinct, Order by, Group by 빈번한 칼럼이면 고려
  • 수정이 자주 발생하지 않는 칼럼은 고려 대상

파티션 설계

1. 파티션 개념

  • 데이터베이스를 여러 부분으로 분할 하는 것

2. 파티션 종류

  • 범위 분할 : 지정한 열의 값을 기준으로 분할
  • 해시 분할 : 해시 함수에 따라 데이터를 분할
  • 조합 분할 : 범위 분할에 의해 데이터를 분할한 다음 해시 함수를 적용하여 다시 분할 하는 것

3. 파티션 장점

  • 데이터 액세스 범위를 줄여 성능 향상
  • 전체 데이터의 훼손 가능성이 감소 및 데이터 가용성 향상
  • 각 분할 영역을 독립적으로 백업하고 복구 가능
  • 디스크 경합에 대한 감소

4. 파티셔닝 순서

  1. 파티션의 종류 결정
  2. 파티션 키의 선정
  3. 파티션 수의 결정

데이터입출력구현 - 논리데이터모델 개요

데이터입출력구현

논리데이터모델

시스템 개발 절차

  • 데이터관점, 프로세스 관점 두 가지로 진행
  • 개념 모델링을 통해 개발 범위 파악
  • 업무 중심의 분석 단계
  • 개발하고자 하는 환경을 고려한 설계 단계로 구체화
  • 개발 단계로 진행

데이터 모델링 정의

  • 데이터베이스 설계 방법론
  • 기업의 정보 구조를 실체와 관계를 중심으로 명확하고 체계적으로 표현하여 문서화하는 기법
  • 기업의 정보 구조를 실체와 관계를 중심으로 명확하고 체계적으로 표현하여 문서화하는 기법

데이터 모델링 목적

  • 연관 조직의 정보요구에 대한 정확한 이해
  • 사용자, 설계자, 개발자 간에 효율적인 의사소통 수단 제공
  • 데이터 체계 구축을 통한 고품질 S/W와 유지보수 비용의 감소 효과 기대
  • 신규 또는 개선 시스템의 개발 기초를 제공

데이터 모델링 특성

  • 데이터 중심 분석을 통한 업무 흐름 파악이 용이
  • 데이터 무결성 보장
  • 데이터의 공유를 통한 중복을 제거하고 일관성 있는 정보 제공

데이터 모델링 절차

데이터모델링절차

논리 데이터 모델링 정의

  • 데이터베이스 개발 과정의 전략수립 및 분석 단계에서 실시하며, 데이터 구조에 대한 논리적 정의 단계
  • 정확한 업무 분석을 통한 자료의 흐름을 분석하여 현재 사용 중인 양식, 문서, 징표를 중심으로 자료항목을 추출하여 추출된 엔티티와 속성들의 관계를 구조적으로 정의하는 단계

논리 데이터 모델의 특성

  • 요구사항을 충분히 수집하지 않으면 다음 단계의 요구사항 변경에 따른 많은 비용이 발생
  • 모든 이해당사자들과 의사소통의 보조자료로서 E-R모델을 활용
  • 논리적모델은 독립적

이상 Anomaly 현상

  • 불필요한 데이터 중복으로 인해 릴레이션에 대한 데이터 삽입/수정/삭제 연산을 수행할 때 발생할 수 있는 부작용
  • 정규화를 통해 이상현상을 제거
  • 종류
    • 삽입 이상
      • 새 데이터를 삽입시 불필요한 데이터도 함께 삽입되는 문제
    • 갱신 이상
      • 중복 데이터 중 일부만 변경하여 데이터가 불일치하게 되는 모순의 문제
    • 삭제 이상
      • 데이터를 삭제시 꼭 필요한 데이터까지 함께 삭제되는 데이터 손실의 문제

정규화 Normalization 개념

  • 중복성을 최소화하고 정보의 일관성을 보장하기 위한 개념
  • 릴레이션을 관련 있는 속성들로만 구성되도록 릴레이션을 분해하는 과정
    Normalization

정규화 목적

  • 데이터 중복 배제로 데이터 관리 편의성 제고 및 자료 저장 공간의 최소화
  • 데이터 모형 단순화
  • 데이터 구조의 안정성 및 무결성 유지
  • 속성의 배열상태 검증
  • 엔터티와 속성의 누락 여부 검증 수단
  • 자료검색과 추출의 효율성을 추구

정규화 특징

  • 어떤 관계구조가 바람직한 것인지, 바람직하지 못한 관계를 어떻게 분해하여야 하는지에 관한 구체적인 판단기준을 제공
  • 정규화된 데이터 모델은 정확성, 일치성, 단순성, 비중복성, 안정성 보장

정규화 방법

링크

데이터입출력구현 - 자료구조

데이터입출력구현

  • 업무 분석가, 데이터베이스 엔지니어가 작성한 논리 데이터저장소 설계 내역에서 정의된 데이터의 유형을 확인하고 식별
  • 논리 데이터저장소 설계 내역에서 데이터의 논리적 단위와 데이터 간의 관계를 확인
  • 논리 데이터저장소 설계 내역에서 데이터 또는 데이터간의 제약조건과 이들 간의 관계를 식별

자료구조의 개념

  • 컴퓨터에서 자료를 효율적으로 표현하고 저장하고 처리할 수 있도록 만들어진 논리적인 틀

  • 분류
    자료구조

  • 선형리스트

  • 연결리스트

  • 스택

  • 데크

  • 트리

    • 이진트리
    • 순회
  • 그래프
    알고리즘스터디

통합구현 - 핵심정리

통합구현

1. IDE 도구

  • 통합 개발 환경은 코드의 작성 및 편집, 디버깅, 컴파일, 배포 등 프로그램 개발에 관련된 모든 작업을 하나씩 프로그램 안에서 처리하는 환경을 제공하는 소프트웨어
  • 기능
    1. 개발 환경 지원
    2. 컴파일 및 디버깅 기능 제공
    3. 외부 연계모듈과 통합 기능 제공

2. 협업 도구

  • 종류
    • 기능에 따라 문서굥유
    • 소스 공유
    • 아이디어 공유
    • 디자인 공유
    • 마인드 맵핑
    • 프로제트 관리
    • 일정관리
  • 기능
    1. 개발자간 커뮤니케이션
    2. 일정 및 이슈 공유
    3. 개발자간 집단지성 활용

3. 형상관리 도구

  • 소프트웨어 개발 과정에서 소프트웨어의 변경 사항을 관리하기 위해 변경을 체계적으로 관리, 추적 및 제어하기 위한 일련의 활동
  • 절차
    1. 형상 식별
    2. 변경 제어
    3. 형상 감사
    4. 형상 기록
  • 관리 도구
    • CVS
    • SVN
    • GIT

통합구현 - 형상관리도구

통합구현

형상관리 Configuration Management

  • 소프트웨어 개발 과정에서 소프트웨어의 변경 사항을 관리하기 위해 변경을 체계적으로 관리, 추적 및 제어하기 위한 일련의 활동
  • 소프트웨어 형상은 항상 변하게 되는데 이때 과거의 형상을 기억하고 있어야 하중에 문제가 되더라고 과거의 형상을 원상 복구 가능
  • 형상관리절차
    1. 형상 식별
    2. 변경 제어
    3. 형상 감사
    4. 형상 기록

형상관리 수행 절차 및 관리조직

형상관리 수행 절차

  • 형상 통제 위원회
    • 변경 요청에 대한 기술적인 타당성, 부작용, 시스템의 기능 및 형상관리 항목들에 미치는 영향, 수정에 소요되는 기간 및 비용 등을 평가

형상관리의 특징

  • 소프트웨어 변경의 원인을 알아내고 제어하며 적절히 변경되고 있는지 확인하여 해당 담당자에게 통보하는 작업
  • 형상관리는 소프트에어 개발의 전 단계는 물론 유지보수 단계에서도 수행되는 활동
  • 형상관리는 소프트웨어 개발의 전체 비용을 줄이고, 개발과정의 여러 가지 문제점 발생요인이 최소화 되도록 보증하는 것이 목적

소프트웨어 형상관리 도구 기능

  • 체크아웃
    • 형상관리 도구 Repository로 부터 최신 소프트웨어 형상을 개발자 PC로 다운로드 받는 기능
  • 체크인
    • 개발자가 수정한 소스를 형상관리 도구로 업로드하는 기능
  • 커밋
    • 개발자가 소스를 형상관리 도구에 업로드 후 최종적으로 업데이트가 되었을 때 형상관리 서버에서 반영되도록 하는 기능

소프트웨어 형상관리 도구개념

  • 소스 코드나 문서의 버전 관리, 이력 관리, 추적 등 변경사항을 체계적으로 관리할 수 있는 기능을 제공하는 도구
  • 종류
    • CVS
    • SVN
    • GIT

통합구현 - 현업도구

통합구현

협업도구의 필요성

  • 규모에 따라 소프트웨어 개발 프로젝트는 수명에서 수천 명의 개발자가 참여하기 때문에 그들 간의 협업을 위한 도구 필요
  • 특히, 통합 규현 관리를 위한 개발자 간 협업도구 필요
  • 개발자 간에는 전문 분야, 경험, 개인적 목표가 다르기 때문에 다른 의견이 있을 수 있고 다른 개발자와 유대감 형성 및 유대감 지속을 위한 커뮤니케이션 필요

협업도구의 분류

  • 기능에 따라 문서굥유
  • 소스 공유
  • 아이디어 공유
  • 디자인 공유
  • 마인드 맵핑
  • 프로제트 관리
  • 일정관리
    협업도구분류1
    협업도구분류2

협업도구 기능

  1. 개발자간 커뮤니케이션
    • 개발자간 작업 공유, 오류 현상 공유, 의견 공유 등 다양한 의사 소통 제공
  2. 일정 및 이슈 공유
    • 소스 코드 규현 도중 발생하는 오류 및 이슈에 대한 공유 혹은 프로젝트 일정에 대한 공유 기능
  3. 개발자간 집단지성 활용
    • 구현아이디어의 공유 혹은 새로운 아이디어를 개발자들 간에 공유함으로써 집단지성 활용 가능

통합구현 - IDE도구

통합구현

  • 개발하고자 하는 응용 소프트웨어와 연계 대상 모듈간의 특성을 고려하여 효율적인 데이터 송수신 방법을 정의
  • 데터 연계 요구 사항을 고려하여 연계 주기를 정의
  • 대상 내외부 모듈 간의 연계 목적을 고려하여 데이터 연계 실패 시 처리 방안을 정의
  • 내외부 모듈 간 연계 데이터의 중요성을 고려하여 송수신 시 보안을 적용

IDE; Integrated Development Environmnet 개념

  • 통합 개발 환경은 코드의 작성 및 편집, 디버깅, 컴파일, 배포 등 프로그램 개발에 관련된 모든 작업을 하나씩 프로그램 안에서 처리하는 환경을 제공하는 소프트웨어

IDE 도구의 기능

  1. 개발 환경 지원
  • C++, JAVA 등의 언어를 이용하여 애프릴케이션을 개발할 수 있는 환경 제공
  1. 컴파일 및 디버깅 기능 제공
  • 소스 코딩이 완료된 후 이를 컴파일하면 문법에 어긋나지 않았는지 확인하고 오류가 발생하면 이를 추적하여 수정할 수 있는 디버깅 기능을 제공
  1. 외부 연계모듈과 통합 기능 제공
  • EAI; Enterprise Application Integration, ESB; Enterprise Service Bus 등 외부 인터페이스 모듈과 통합을 통하여 통합 개발 기능 제공
  • JDBC; Java Database Connection, ODBC;Open Database Connectivity 등을 통하여 데이터베이스 연동을 통한 통합 개발 기능 제공
  • 외부 협상, 배포 관리 기능과 연계되어 소스 코드의 형상관리 및 자동 배포 가능

IDE 도구 비교

IDE 도구 비교

통합구현 - 핵심정리

통합구현

1. 단위모듈 구현

  • 통합 구현에서 단위 모듈 구현은 비즈니스 컴포넌트, 내외부 인터페이스 모듈, 데이터베이스 접근 모듈 등 통합 구현이 필요한 단위 컴포넌트 구현
  • 고려사항
    1. 응집도는 높히고 결합도는 낮춤
    2. 공통모듈을 먼저 구현
    3. 항상 예외처리 로직을 구려하여 구현

2. 단위모듈 테스트

  • 컴퓨터 프로그래밍에서 소스 코드의 특정 모듈이 의도된 대로 정확히 작동하는지 검증하는 절차
  • 테스트 방법
    1. 화이트박스 테스트
    2. 메소드 기반 테스트
    3. 화면 기반 테스트
    4. 스텁과 드라이버 활용 테스트
API API오용 Anaconda Beacon Bluetooth CRUD분석 Camera ChatBot DB관련신기술 DB관리기능 DB서버 DB표준화 ER다이어그램 ER모델 ETL Flask HW관련신기술 IDE도구 IP IoT Machine_Translation NLP배경 ORM프레임워크 Package Recurrent Neural Network SDLC SW개발방법론 SW개발방법론선정 SW개발보안정책 SW개발표준 SW관련신기술 Sequence_Tagging ShellScript TCP_UDP Vector WordCloud c 자료형 class embedding konlpy python python 자료형 가설검증 개발환경구축 객체지향프로그래밍언어 관계데이터베이스모델 관계데이터언어 국제표준제품품질특성 네트워크7계층 네트워크관련신기술 네트워크장비 네트워크침해공격용어 논리데이터모델개요 논리데이터모델품질검증 논리적데이터모델링 논문 단위모듈구현 단위모듈테스트 데이터검증 데이터모델개념 데이터베이스무결성 데이터베이스백업 데이터베이스암호화 데이터베이스용량설계 데이터베이스이중화구성 데이터베이스정규화 데이터분석 데이터분석 - 순열 - 조합 데이터분석 - 정규분포 데이터분석 - 통계기초 데이터사이언스개념 데이터입출력 데이터전환수행계획 데이터정제 데이터조작프로시저작성 데이터조작프로시저최적화 데이터조작프로시저테스트 데이터지역화 데이터타입 데이터표준확인 데이터품질분석 라이브러리 로그분석 메모리관리 모델화 몬테카를로 물리데이터모델설계 물리데이터모델품질기준 물리데이터저장소구성 물리요소조사분석 반정규화 배치프로그램 변수 보안기능 보안솔루션 보안아키텍처 보안취약성식별 분산데이터베이스 분산분석 비용산정모델 빌드자동화도구 사용자정의함수 상관분석 서버개발프레임워크 서버인증 서버장비운영 서버접근통제 서비스공격유형 선언형언어 세션통제 소스코드인스펙션 소프트스킬 소프트웨어개발프레임워크 소프트웨어버전관리도구 소프트웨어연계테스트 슈퍼디엠지 스크립트언어 시스템카탈로그와뷰 암호알고리즘 애플리케이션모니터링도구 애플리케이션배포도구 애플리케이션성능개선 애플리케이션테스트결과분석 애플리케이션테스트시나리오작성 애플리케이션테스트케이스작성 애플리케이션통합테스트수행 애플리케이션패키징 연산자 예외처리 오답노트 오류데이터측정 오류처리 오류처리확인및보고서작성 요구공학방법론 운영체제 웹서버 이벤트 인터넷구성의개념 인터페이스구현검증 인터페이스기능확인 인터페이스보안 입력데이터검증및표현 자료구조 자연어처리 재사용 절차적프로그래밍언어 정보보안침해공격용어 정보처리기사 제품소프트웨어매뉴얼작성 집계성DCL작성 체크리스트 초기데이터구축 취약점분석 칼럼속성 캡슐화 코드오류 클러스터링 키종류 테일러링기준 트랜잭션인터페이스 트리거 파일처리기술 파티셔닝 패키지 포트포워딩 프로세스스케줄링 프로토타입 한국어임베딩 핵심정리 현업도구 형상관리도구 환경변수 회귀분석
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×