데이터입출력구현 - 소스코드 인스펙션

데이터입출력구현

소스코드 인스펙션의 개념

  • 데이터 조작 프로시저에서 소스코드 인스펙션은 데이터베이스 성능 향상을 위하여 프로시저 코드를 보면서 성능 문제점을 개선해 나가는 활동

SQL*Plus에서 Stored Procedure 소스 확인

  1. USER_SOURCE 데이터 사전을 활용
  2. 프로시저 소스 확인

SQL 코드 인스펙션 대상

  • 사용되지 않는 변수
  • 사용되지 않는 서브쿼리
  • Null 값과 비교
  • 과거의 데이터타입을 사용

SQL 코드 인스펙션 절차

  1. 계획
  2. 개관
  3. 준비
  4. 검사
  5. 재작업
  6. 추적

데이터입출력구현 - 데이터 조작 프로시저 최적화

데이터입출력구현

  • 프로그래밍 언어와 도구에 대한 이해를 바탕으로 응용소프트웨어 설계, 물리 데이터 저장소 설계와 운영 환경을 고려하여 데이터 조작 프로시저의 성능을 예측
  • 업무 분석가에 의해 정의된 요구사항을 기준으로, 성능 측정 도구를 활용하여 데이터 조작 프로시저의 성능을 측정
  • 실 데이터를 기반으로 테스트를 수행하여 데이터 조작 프로시저의 성능에 영향을 주는 병목을 파악

APM; Application Performance Management 의 개념

  • 애플리케이션 성능 관리
  • 시스템의 안정적인 운영을 위한 부하량과 접속자 파악 및 장애 진단 등을 목적으로 하는 성능 모니터링
    • Resource 모니터링
      • 대상
        • CPU
        • 메모리
        • 네트워크
        • 디스크
      • 오픈소스
        • Nagios
        • Zabbix
        • Cacti
    • End to End 모니터링
      • 대상
        • 애플리케이션 수행 관점
        • 비즈니스 트랜잭션 관리 및 최종 사용자
      • 오픈소스
        • VisualVM
      • 제품
        • 제니퍼
        • 파로스
        • 시스마스터

SQL 처리 흐름도

SQL 처리 흐름도

  1. 구문분석 단계
    • SQL문장 사용여부 확인
    • 기 사용된 경우 : 구문 분석 작업 수행 불필요
    • 처음 사용된 경우 : 구문 분석 작업 필요
    • 문법 확인 : 정상적으로 작성된지 확인
    • 오브젝트 확인 : 테이블, 뷰 등이 데이터베이스에 존재하는지 확인
    • 실행계획 확인 : 옵티마이저는 sql문을 가장 빠르게 데이터를 검색해줄 수 있는 실행 계획을 찾음
  2. 실행 단계
    • 캐시 영역 확인 : 구문 분석이 정상적으로 실행된 후 서버 프로세스가 메모리 영역의 데이터 버퍼 캐시 영역을 검색
    • 해당 테이블의 데이터가 다른 사용자의 다른 SQL문에 의해 이미 데이터 버퍼 캐시 영역에 존재하는 지 검색
      • 데이터 버퍼 캐시에 존재하는 경우 : 테이블의 해당 데이터 파일로부터 테이블을 읽지 않고 캐시 영역의 데이터를 그대로 추출
      • 존재하지 않을 경우 : 정의된 테이블의 해당 데이터 파일로 부터 테이블을 읽어서 데이터 버퍼 캐시 영역에 저장
    • SQL 문이 UPDATE, DELETE, INSERT 문의 경우 : 데이터 버퍼 캐시 영역에서 새로운 데이터로 변경, 삭제 또는 입력
  3. 추출 단계
    • 사용자 요청 대응 : 실행 단계가 끝난 후 서버 프로세스가 데이터 버퍼 캐시 영역에서 관련 테이블 데이터를 읽어 사용자가 요청한 클라이언트로 보냄
    • SELECT문을 실행하는 경우에만 추출 단계 실행됨

SQL 작성시 고려사항

  • 개발자는 SQL문을 적절히 구사할 수 있는 능력이 기본적으로 있어야함
  • 사용자가 SQL 작성시, 옵티마이저가 실행계획을 수립한 후 실행되는 일련의 과정을 이해하고 작성하여야 함
  • 구문 분석 단계시 옵티마이저가 수립한 실행계획에 따라 엄청난 수행속도 차이가 발생할 수 있음을 이해
  • 특정 SQL이 실행될 때 옵티마이저에 의해 수립된 실행계획은 제어하기 어렵지만, 옵티마이저가 비정상적으로 동작된다면, 이를 추적하여 개발자가 원하는 실행계획으로 동작될 수 있도록 조정 필요
  • 종합적이고 전략적인 포인트를 SQL에 부여하여 작성하여야 함

SQL 성능 최적화 유틸리티 종류

  • TKPROF 도구
    • SQL문이 적절히 작성되지 않아 전반적인 처리 효율성이 떨어질 경우 처리 성능의 통계치 정보 파악
  • EXPLAIN PLAN 도구
    • SQL이 사용하는 엑세스 경로를 파악하기 위해 사용

SQL 성능 개선 순서

  1. 문제있는 SQL 식별
  2. 옵티마이저 통계 확인
  3. 실행 계획 검토
  4. SQL 문 재구성
  5. 인덱스 재구성
  6. 실행 계획 유지 관리

정규분포의 이해 및 활용

정규분포의 예시

연봉분위별 근로자 연봉하한액(`18)
대한민국 성인 키 조사

정규분포 Normal Distribution

  • 연속확률변수에 속하고 모분포, 가우스 분포라 하여 이상적인 모형
  • 평균 : 모집단평균
  • 분산 : <b선모집단분산
  • 평균과 표준편차에 의해 정의되고 결정되는 대칭 곡선
    정규분포 수식
  • 평균 = 중앙값 = 최반값
  • 분포의 곡선 면적은 1.00
  • 평균에 대해서 대칭형태
  • 확률 값은 중앙값에 양 극단으로 갈수록 0에 가까워짐(무한대)
  • 평균값에 의해 결정되고, 분포는 표준편차에 의해 결정
    정규분포 표

표준정규분포 : z-분포

  • 평균=0, 표준편차=1 인 정규분포를 표준정규분포라고 함
    표준정규확률분포(z값)
    표준정규분포에서 관측값이 존재할 확률
  • 표준정규확률분포(z값)
    • 확률분포표는 양수 z의 값에 대해서 표준정규분포가 0~z사이에 있을 확률(면적)을 기록한 것
    • 음영표시 확률 (47.5%)는 z값 1.9와 0.06을 합쳐 1.96이며, 절대값 1.96 바깥에 있는 부분의 확률은 2*0.025=0.05 , 즉 5%
    • 이는 표준편차 1.96배 바깥의 범위의 확률이 5%라는 의미
      확률분포표

중심극한정리 central limit theorem

  • 정규분포를 이루는 모집단에서 추출한 표본집단의 평균과 표본분포는 정규분포를 갖음
  • 모집단이 정규분포가 아니라도 표본의 크기가 증가함에 따라 모집단에 관계없이 표본집단 평균은 정규분포에 가까워지는데 이를 중심극한정리라 함
  • 대상자가 30명 이상 일 때, 모집단에 상관없이 표본집단은 정규분포를 이룬다고 하고, 대상자수가 많을수록 정규성에 가까워짐

문제풀기 1

문) 전문뉴스 라디오채널 A방송 청취자의 평균 청취시간 분포가 정규분포를 따른다고 가정할 때, 이 분포의 평균은 15.0분, 표준편차는 3.5분이다.
각 구간별 청취시간을 나타낼 확률을 구하시오

  1. 20분 이상
  2. 20분 이하
  3. 10분과 12분 사이
  4. 25분 이상

  • Tip : NORM.DIST(x,y,z, True) 활용
  1. 20분 이상
1
2
=norm.dist(20, 15.0, 3.5, true)
/// 0.9234

20분 이상 청취할 확률은 1.0 - 0.9234 = 0.0766 -> 7.6%

문제풀기 2

문) 우리집 막내A 는 중학교 2학년에 재학중이다. 이번 중간고사 시험결과가 학교로부터 우편으로 배달되었다. 시험결과 안내는 A의 등수가 아니라 표로 제시되었다.

A의평균점수 2학년 평균점수 2학년 표준편차 2학년 학생 수
81.5 78.6 16.4 347
  • 2학년 전체의 시험성적이 정규분포를 나타낼때 A의 등수는?
API API오용 Anaconda Beacon Bluetooth CRUD분석 Camera ChatBot DB관련신기술 DB관리기능 DB서버 DB표준화 ER다이어그램 ER모델 ETL Flask HW관련신기술 IDE도구 IP IoT Machine_Translation NLP배경 ORM프레임워크 Package Recurrent Neural Network SDLC SW개발방법론 SW개발방법론선정 SW개발보안정책 SW개발표준 SW관련신기술 Sequence_Tagging ShellScript TCP_UDP Vector WordCloud c 자료형 class embedding konlpy python python 자료형 가설검증 개발환경구축 객체지향프로그래밍언어 관계데이터베이스모델 관계데이터언어 국제표준제품품질특성 네트워크7계층 네트워크관련신기술 네트워크장비 네트워크침해공격용어 논리데이터모델개요 논리데이터모델품질검증 논리적데이터모델링 논문 단위모듈구현 단위모듈테스트 데이터검증 데이터모델개념 데이터베이스무결성 데이터베이스백업 데이터베이스암호화 데이터베이스용량설계 데이터베이스이중화구성 데이터베이스정규화 데이터분석 데이터분석 - 순열 - 조합 데이터분석 - 정규분포 데이터분석 - 통계기초 데이터사이언스개념 데이터입출력 데이터전환수행계획 데이터정제 데이터조작프로시저작성 데이터조작프로시저최적화 데이터조작프로시저테스트 데이터지역화 데이터타입 데이터표준확인 데이터품질분석 라이브러리 로그분석 메모리관리 모델화 몬테카를로 물리데이터모델설계 물리데이터모델품질기준 물리데이터저장소구성 물리요소조사분석 반정규화 배치프로그램 변수 보안기능 보안솔루션 보안아키텍처 보안취약성식별 분산데이터베이스 분산분석 비용산정모델 빌드자동화도구 사용자정의함수 상관분석 서버개발프레임워크 서버인증 서버장비운영 서버접근통제 서비스공격유형 선언형언어 세션통제 소스코드인스펙션 소프트스킬 소프트웨어개발프레임워크 소프트웨어버전관리도구 소프트웨어연계테스트 슈퍼디엠지 스크립트언어 시스템카탈로그와뷰 암호알고리즘 애플리케이션모니터링도구 애플리케이션배포도구 애플리케이션성능개선 애플리케이션테스트결과분석 애플리케이션테스트시나리오작성 애플리케이션테스트케이스작성 애플리케이션통합테스트수행 애플리케이션패키징 연산자 예외처리 오답노트 오류데이터측정 오류처리 오류처리확인및보고서작성 요구공학방법론 운영체제 웹서버 이벤트 인터넷구성의개념 인터페이스구현검증 인터페이스기능확인 인터페이스보안 입력데이터검증및표현 자료구조 자연어처리 재사용 절차적프로그래밍언어 정보보안침해공격용어 정보처리기사 제품소프트웨어매뉴얼작성 집계성DCL작성 체크리스트 초기데이터구축 취약점분석 칼럼속성 캡슐화 코드오류 클러스터링 키종류 테일러링기준 트랜잭션인터페이스 트리거 파일처리기술 파티셔닝 패키지 포트포워딩 프로세스스케줄링 프로토타입 한국어임베딩 핵심정리 현업도구 형상관리도구 환경변수 회귀분석
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×