주어진 신장 데이터의 기술통계를 구하시오

분석도구를 활용한 방법

• 분석도구 설정
  1. '파일’탭
  2. 좌측 하단 ‘옵션’
  3. 좌측 하단 ‘추가기능’
  4. 화면 중앙에 ‘분석도구’ 선택
  5. 중앙 하단 ‘이동;’ 클릭
  6. 추가 기능 창 생성
  7. ‘분석도구’ 체크
  8. 확인
  9. ‘데이터’ 탭에 ‘분석’ 메뉴에 ‘데이터분석’ 확인
• 기술통계법
  
  
  

함수를 사용한 방법

• 평균 AVERAGE()
• 표준오차 Val / SQRT()
• 중앙값 MEDIAN()
• 최빈값 MODE()
• 표준편차 STDEV()
• 분산 VAR()
• 범위 ABS()
• 최소값 MIN()
• 최대값 MAX()
• 합 SUM()
• 관측수 COUNT()

로또 6/45의 1~5등 까지의 조합수와 당첨확률을 구하시오

• 45개의 로또 공 가운데 무작위로 6개를 뽑는다
• 6개의 공을 무작위로 하나씩 뽑기 때문에 순서는 고려하지 않아도됨
• 해결방법
  1등 : 모두 당첨 -> 45개 공에서 순서 상관없이 6개가 한 번에
  = COMBIN(45,6) = PERMUT(45,6) / FACT(6)
  2등 : 5개 당첨 -> 6개 중에서 5개가 맞고 나머지 1개는 보너스 번호
  = COMBIN(45,6) / COMBIN(6,5) _ COMBIN(1,1)
  3등 : 5개 당첨 -> 6개 중에서 5개가 맞고 보너스 1개를 제외한 38개 중에 1개가 포함
  = COMBIN(45,6) / (COMBIN(6,5) _ COMBIN(39,1))
  4등 : 6개 중 4개 포함하고 39개 중에 2개 포함
  = COMBIN(45,6) / (COMBIN(6,4) _ COMBIN(39,2))
  5등 : 6개 중 3개 포함하고 39개 중에 3개 포함
  = COMBIN(45,6) / (COMBIN(6,3) _ COMBIN(39,3))
• 결과
  

몬테카를로 시뮬레이션을 사용하여 원주율을 구하시오

• 알고 있는 정보
  1. 사각형의 면적 : (2r)^2
  2. 원의 면적 : πr^2
• 사각형의 면적/원의 면적 = 4r^2 / πr^2 = 4/π
• π = 4 * 원의 면적 / 사각형의 면적
• 랜덤으로 출력할 x, y
  = RAND() : 0~1까지의 난수
• 원의 방정식
  x^2 + y^2 = 1 이므로 y = (1-x²⁾0.5
  위 값이 원 내에 있는지 즉 1보다 작은지 확인 IF(Val<=1.“원내”,“원밖”)
• 원내 수 세기
  COUNTIF(범위, “원내”)
  

한 중학생의 시험점수를 이용하여 등수를 구하시오(전체성적평균과 표준편차는 제공)

문) 우리집 막내A 는 중학교 2학년에 재학중이다. 이번 중간고사 시험결과가 학교로부터 우편으로 배달되었다. 시험결과 안내는 A의 등수가 아니라 표로 제시되었다. 2학년 전체의 시험성적이 정규분포를 나타낼때 A의 등수는?

• 정규분포를 알고 가야한다.
  
• 표준정규분포는 정규분포에서 평균이 0 표준편차가 1인 조건이 추가된다
  
  평균에 가장 많은 수가 몰려있고 평균을 기점으로 좌우 대칭이고 서서히 분포가 낮아지는 종모양이다.
• z값을 구하자
  점수에서 평균을 빼고 그것을 표준 편차로 나누면 z이다
  z = (81.5 - 78.6) / 16.4 = 0.1768
• z에 대응하는 값을 정규분포표에서 찾기
  
  음수라면 절대값을 취한다
  0.1768이므로 반올림해서 0.18로 하겠다
  대응값 : 0.0714 를 찾았다
• 등수구하기
  대응값(면적)을 평균이 아닌 오른쪽 면적으로 바꾸어주고 전체 인원만큼 곱해야한다
  z가 양수라면 0.5-(대응값)
  z가 음수라면 대응값+0.5
  0.18은 양수이므로 0.5 - 0714 = 0.4286
  0.4286에 전체 학생수를 곱한다
  0.43 * 347 = 148.724
  149등이 추정 등수이다.
  참고링크

몬테카를로 방법

• 몬테카를로 카지노에서 따온 이름
• 무작위 추출된 난수를 이용하여 함수의 값을 계산하는 통계학의 방법
• 어느정도 오차는 존재
• 인공지능에서 많이쓰임
  • 바둑 AI
  • 체스 딥블루

몬테카를로 시뮬레이션

• 불확실성을 갖는 정보로 결론을 내리기 어려운 경우, 컴퓨터의 장점인 난수를 반복적으로 생성 적용시켜 근사적으로 답을 찾아내는 방법
  • EX) 원주율을 찾는 방법
• 어떤 문제에 대해 해를 무수히 많은 시도를 통해 얻어진 확률을 기반으로 하는 계산법

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

import random

n = 1000000
count = 0

for i in range(n):
    # x,y를 무작위로 0~1 사이의 값으로 결정
    x = random.uniform(0,1)
    y = random.uniform(0,1)

    # 사분원 내부에 발생하는 경우수
    if (x**2 + y**2) <= 1 : count += 1

# 백만번 시도 중 사분원 내부일 경우에 대한 확률
# 사분원의 넓이이므로 일르 4배 곱하여 n 계산
print('phi', 4*count/n)

엑셀에서 만들어 보기

t검정

• 데이터분석 -> t-검정:쌍제비교
  
  -결과
  
• 해석
  • P가 0.05 이상인지 아닌지로 분석법을 채택할지 안할지 선택할 수 있음

F검정

• 데이터분석 -> F-검정:분산에 대한 두 집단
  
  -결과
  
• 해석
  • P가 0.05 이상인지 아닌지로 분석법을 채택할지 안할지 선택할 수 있음

이동평균법

• 데이터분석 -> 이동 평균법
  

통계 분석의 활용

회귀분석의 가설 Hypothesis

• 회귀방적식을 구한 후 검증이 필요
• 단순회귀직선의 적합도 검증
  • 가설의 설정 : Y = a + bx + c
  • 귀무가설 : b = 0
  • 대립가설 : b != 0
  • 귀무가설은 통계학에서 처음부터 버릴 것으로 예상하는 가설
  • H분석
    • H0 : 독립변수 x가 y에 영향을 주지 않는다
    • H1 : 독립변수 x가 y에 영향을 준다
• 통계적 가설 검증은 F값으로 확인
  • 유의확률(p값) < 0.05 : 이 모형이 적합 -> 귀무가설 채택
  • 유의확률(p값) > 0.05 : 이 모형은 부적합 -> 귀무가설 기각
  • 유의확률이 0.05는 오류가 나올 확률이 5%라는 의미로 유의수준이 95% 신뢰도를 갖는다를 의미
    • 그래프를 그렸을 때 양쪽으로 벗어날 확률임

요약 가설과 검정 방법

1. 정규성 검정(데이터 탐색)
   • H0 : 모집단 분포는 정규분포를 따른다
   • H1 : 모집단 분포는 정규분포를 따르지 않는다
2. 분산의 동질성 검정(독립 T검정, 분산분석)
   • H0 : 각 집단의 분산은 동질성을 가진다
   • H1 : 각 집단의 분산은 동질성을 가지지 않는다
3. 독립성 검정(상관분석)
   • 상관계수 : -1 <= r <= 1
   • H0 : 상관계수 e = a : 독립
   • H1 : 상관계수 e != 0 : 종속

• 유의확률이 0.05보다 크면 귀무가설이 채택된다

가설 검정

• 가설검정은 모집단의 모수가 이럴 것이다라를 가설을 위해 모수인 u, a^2, p를 사용해서 귀무가설과 대립가설 설정
  • 일반적으로 표본통계량으로 대체
  • 각 표본집단에 맞는 확률분포에 따라 신뢰구간 추정
  • 각 확률분포의 x 값을 검정통계량으로 사용

t분포; t-distribution

• 모집단의 특징을 분석하기에는 시간과 비용의 제약으로 일반적으로 표본조사를 실시하고, 이를 모집단과 같을 것임을 추정함
• 표본의 개수가 적으면(일반적으로 30개 미만) 신뢰도가 낮아짐
• 따라서 정규분포 보다 예측 범위가 넓은 분포인 t-분포를 사용
  

카이제곱 분포

• 명목 및 서열척도의 범주형 변수를 분석하기 위해 한 변수의 범주를 다른 변수의 범주에 따라 빈도를 교차분석하여 두 변수 간 독립성과 관련성을 분석
• 제곱된 값 분산을 다루기 때문에 음수값이 없고 양수만 존재 - 오른쪽 만 꼬리가 긴 비대칭 모양
  

F분포; F-distribution

• 집단의 분산을 추정하고 검정할 때 사용하는 분포
• 카이제곱 분포와 유사하나 한 집단의 분산을 파악하는 카이제곱과 달리 F분포는 두 집단의 분산을 비교
• 3개 이상 집단의 분산을 비교하는 것을 보통 분산분석:Analysis of Variance이라고 하며 신뢰구간 추정과 가설검증, 분산분석에 F-분포가 많이 사용됨
  

요인분석

• 일련의 관측된 변수에 근거하여 직접 관측할 수 없는 요인을 확인하는 분석 기법
  • 경제활동, 가계수입, 주택보급율, 출생률 등 수많은 변수를 사용해야 하나, 몇가지 적은 변수로 묶어 단순화하는 것
• 항목 간의 상관관계가 높은 것끼리 하나의 요인으로 묶거나 중요도가 낮은 변수는 제거
  • 하나의 요인으로 묶어진 항목들은 하나의 개념을 측정한 것으로 간주하며, 요인 내의 항목은 수렴적 타당성, 요인간에는 변별적 타당성이 적용된 것으로 해석
• 같은 개념을 측정하려고 하는 변수들이 동일한 요인으로 묶이는지 확인하고자 하는 경우
• 전제조건
  • 모든 변수가 드간척도 이상의 연속형 변수로 측정되어야 함
  • 각 변수는 서로 독립이며 정규분포, 등분산을 이루고 있어야 함
  • 표분의 수는 50이상 내지 변수의 5배수 이상을 권고하고 있음

분석도구 옵션

• 파일 -> 옵션 -> 추가기능 -> 관리: 이동클릭 -> 분석도구체크 -> 확인
• 데이터탭 -> 분석 메뉴 -> 데이터분석 확인

회귀분석

• 다음과 같이 Adv-홍보지출액, bp Diff-이자지급액, Deposits-새로운 예치금을 통해 회구분석을 해보자
  
• 회귀분석 선택
  
• 값 입력
  • Y는 원하는 목표
  • X는 무엇을 통해 Y를 예측하고 싶은지
    
• 결과
  
• 해석
  • 결정계수가 0.58이면 0.6에 가까우므로 Adv와 bp Diff가 Depositis에 영향이 있다고 할 수 있음

상관계수

• 다음과 같이 사람의 신장과 체중 성별 그리고 기타test끼리의 상관관계를 확인해보자
  
• 데이터분석의 상관분석 클릭
• 값 입력
  • 입력 범위시 이름은 의미가 없으므로 제외
  • 첫 행이 이름표가 있으므로 체크
    
• 결과
  
• 해석
  • 체중과 신장은 큰 상관관계까 있다
  • 성별은 신장과 체중과 연결관계가 있다
  • Test1과 신장, 체중, 성별은 큰 의미가 없다
  • 최대 1.0을 넘을 수 없음
  • 음수일 때는 전혀 상관없음으로 해석

통계 분석의 활용

기술통계화 추론통계

• 변수의 종류에 따라 분석하는 모형이 다르다
  

회귀분석 Regression Analysis

• 변수와 변수 사이의 관계를 통계적으로 분석하는 방법
• 독립변수 값에 의한 종속변수 값을 예측하기 위해 사용 - 단순회귀 분석 - 하나의 종속변수(Y)와 하나의 독립변수(X)간의 관계분석 - y = ax + b 형태 - 다중회귀 분석 - 하나의 종속변수(Y)와 둘 이상의 독립변수(X1, X2, …)간의 관계 분석 - y = ax1 + bx2 + c 형태
• 독립변수에 의한 종속변수 변화량을 근사한 방정식이기 때문에 기울기가 같더라도 측정값의 분포는 다를 수 있음
• 결정계수(R^2)로 나타냄
  

결정계수 R^2 ; coefficient of determination

• 추정한 선형 모형의 적합도를 나타내는 척도로 사용
• 즉 독립변수가 종속변수의 몇 %인가를 설명하는 수치
  • ex) 0.63이라면 63% 적합성을 갖음
  • 0이면 기울기는0이고 1이면 오차는 0
• 선형 회귀분석에서 '전체 제곱합 중에서 회귀 제곱합이 나타내는 비중’을 의미
  • 0 <= R^2=SSR/SST <= 1
  • SSR : 회귀 제곱합
  • SST : 총 제곱합
  • SSE : 잔차 제곱합
• 계산방법
  • 최소자승법에 의한 수학적으로 계싼
    • 측정갑과 임의의 수직 거리의 제곱의 총 합이 최소가 되는 방정식 도출
  • Excel에서 LINEST(Y,X) 함수 사용

F값의 이해

• F 값은 모형 적합도를 나태냄
• 0.05보다 작다면 적합
• 0.05보다 크면 부적합
• 즉 0.05 보다 커야 회귀식이 유의미함

SPSS에서 유의사항 (R 같은 것)

• 공선성 : 독립변수 간에 상관성이 높아 회귀분석에 적합하지 않음
• Cook의 통계량 값이 1.0 이상이면 이상점으로 간주
• 잔차의 등분산성, 독립성, 정규성 검증

상관계수 correlation coefficient

• 연속형 두 변수의 관련성의 세기 분석에 사용
• -1 <= r <= 1
• Pearson 상관계수
  • 모집단의 분포가 정규분포에 가까우면 사용
  • 두 변수가 양적자료인 경우 사용
• Spearman 상관계수
  • 모집단이 비정규분포를 나타낼 때 사용
  • 두 변수 중 하나라도 순위척도인 경우
    

언제사용할까?

• 선형회귀분석

  1. 아버지의 혈압과 아들의 혈압 관계
  2. 입원기간과 수술시간의 관계
  3. 혈압과 연령의 관계

• 로지스틱 회귀분석

  1. 경제적 수입과 삶의 질의 정도와의 관계
  2. 통증과 암의 진행단계와의 관계

• 회귀분석은 종속변수와 독립변수 모두 양적 변수이어야 함

• 종속변수가 질적이고 독립변수가 양적이면 로지스틱 회귀분석 사용

python 자료형

• 저장 모델

  • Literal : 단일 종류
  • Container : 종류에 무관

• 변경 가능성

  • Immutable : 변경 불가
  • Mutable : 변경 가능

• 접근 방법

  • Direct : 직접 할당
  • Sequence : 순서 중시
  • Mapping : 순서 무관
  • Set : 중복 불가

• 튜플은 최초에 입력한 데이터 변경이 불가

• 리스트는 최초에 입력한 데이터 변경 가능

• 사전은 순서에는 상관 없지만 중복 가능

• 집합은 중복 불가능

C자료형

2.함수 사용법

• 함수

  • 함수의 형태
    • 함수명()
    • 괄호 내부에는 변수(or 인자) 사용
  • 변수
    • 변수에는 상수, 주소, 범위, 이름, 함수 등 사용
    • 변수 없는 함수 존재
    • ex) TODAY(), PI()
  • 함수는 수식의 일부분
    • 엑셀에는 400개 이상의 함수 존재
    • 직접만들기도 가능

• 함수 입력방법

1. 수동 입력 방식
   • ‘=’ 과 함수명 입력 후 괄호열기 입력
   • 함수명 입력 중 아래 리스트에서 선택 후 탭 키 입력
2. 빠른 함수 입력
   • [수식] 리본메뉴 - ‘함수라이브러리’
   • [홈] 리본메뉴 - [자동합계]
3. FX 메뉴 OR Shift-F3 입력
   • 함수마법사

• 함수 구문 이해

  1. 변수 구분
     • 굵은 글씨 : 현재 입력 중인 변수 위치
     • 대괄호[] : 필수가 아닌 옵션
     • “…” : 변수를 더 사용 가능
     • 
  2. 자주 쓰는 변수 표기
     • number : 숫자
     • range : 범위
     • crieria : 조건문
     • lookup_value : 찾을값
     • lookup_array : 찾을 범위
     • logical_test : 논리비교
     • text : 문자열
     • num_chars : 글자수

• 셀 참조(references)

  • 상대참조
    • 기본 참조방식
    • 수식을 복사하면, 수식 내 셀 주소가 행과 열 방향으로 이동한 만큼 셀 주소가 변함
  • 절대참조
    • 행과 열 주소 앞에 “$” 문자 표시
    • 절대 참조는 수식에 복사되어도 참조 위치는 변화 없음
  • 혼합참조
    • 행과 열 주소 둘 중 한 군데 앞에 “$” 표시
    • 상대참조와 절대참조가 혼합
  • “F4” 상대참조 -> 절대참조 -> 혼합참조(행) -> 혼합참조(열) -> 상대참조

• 함수 에러 메시지

  • DIV/0! 수식에 0으로 나누는 내용이 있음, 대게 분모 값에 빈셀이 지정됨
  • NAME? : 수식 엑셀에 인식할 수 없는 이름이 사용됨, 대게 이름이 지워지거나 텍스트 입력시 큰따옴표 오류
  • N/A : 수식에 사용할 수 없는 데이터가 지정된 경우, 일부함수에서 오류
  • NULL! : 수식이 교집합이 없는 두 범위의 교집합을 설정함
  • NUM! : 값 에러, 양이 되어야하는 값에 음의 값이 입력될 때
  • REF! : 수식이 참조할수 없는 셀을 지정할 때, 워크시트 내에 삭제된 셀이 사용될 때
  • VALUE! : 수식에 잘못된 형태의 변수나 숫자가 포함되어 있을 때

1.수식의 이해

• Cell의 자료형식

  1. 숫자형식 : 0 ~ 9
     숫자의 정밀도는 앞에서 15자리, -9.9E+307~9.9E+307 범위
  2. 문자형식 : A ~ Z, a ~ z, 가나다라, 특수문자
  3. 수학형식 : = 으로 시작
  4. 날짜/시간 형식

• 수식 - 연산자(수식연산자, 논리연산자)

  1. 수식연산자(Mathematical operators)
     | 연산자 | 설명 |
     | — | — |
     | + | 더하기 |
     | - | 빼기 |
     | * | 곱하기 |
     | / | 나누기 |
     | ^ | 지수|
     | & | 문자열조합|

  2. 논리연산자(Logical operators)
     | 연산자 | 설명 |
     | — | — |
     | = | 같음 |
     | > | 보다 큼 |
     | < | 보다 작음 |
     | >= | 보다 크거나 같음 |
     | <= | 보다 작거나 같음 |
     | <> | 같지 않음 |

• 연산자 우선 순위(Operator precedence)

  기호	연산자	연산순위
  ^	지수승	1
  * , /	곱하기,나누기	2
  + , -	더하기,빼기	3
  &	문자열 결합	4
  = , <,>	같음,작음,큼	5

• 예시
  

통계학의 정의

통계학(statistics)은 수량적인 비교를 기초로 사실을 관찰하고 분석하는 방법을 연구하는 학문
일반적으로 수집되는 데이터가 조사자, 시기, 방법, 목적 등에 따라 다르게 나타나는 불균형적인 데이터이지만, 통계학은 이 안에서 의미를 찾아내고 실생활에서 적용가능한 유용성을 찾아내 이를 수치로 표현할 수 있다.

• 기술통계(descriptive statistics):
  표본에 대한 분석 결과의 각종 수치들을 활용하여 집단의 특성을 설명
• 추론통계(inference statistics):
  표본을 활용하여 모집단의 특성을 나타내는 것

통계학의 목적

1. 의사결정
   많은 정보를 지각하고 평가하여 하나를 선택
   • 정보와 반응 사잉의 다대일 대응으로 나타남
   • 여러가지 대안 가운데 하나를 선택할 때 사용
2. 불확실성의해소
   의사결정을 하게 되면 그 결과가 정확한 것이라 할 수 있는가의 문제
   • 빅데이터의 개념을 들여와 불확실성을 해소
   • 정보수집이 어려움
   • 시장의 변화와 대응의 어려움에대한 극복 필요
3. 요약
   다양한 데이터를 신속히 이해할 수 있도록 다양한 형태로 표현
   • 불확실성의 감소를 위해 사용
   • 반복되어 생산되는 데이터를 정리된 보고서로 표현하여 불확실성이 낮은 상황의 의사결정이 가능하도록 함
4. 연관성 파악
   요약된 보고서에서 주요한 항목들 간의 연관성을 파악한 경쟁우위의 확보
   • 의사결정권자에게 항목 간 연관성을 제시해 미래의 계획을 지원
   • 다양한 자료는 의사결정에 있어 세부적 판도에 기여
5. 예측
   인과관계 파악을 통해 패턴을 찾아내고 이러한 패턴을 통해 추세를 판단
   • 다양한 변수의 대입과 삭제를 통해 예측 가능

통계분석의 과정

통계분석은 표본을 통해 의미 있는 자료를 추출하고, 이를 기반으로 의사결정, 불확실성의 해소요약, 연관성 파악, 예측 등의 결과로 이어지도록하는 일련의 과정이다
수집 -> 정제 -> 추정 -> 검정

1. 수집

• 조사과정에서 자연스럽게 수집
• 조사자가 특정 목적에 맞는 자료를 얻기 위해 설계한 수집 도구를 이용
  보통 자료가 많을 수록 통계분석에서 더 좋은 결과를 얻을 것이라고 생각하지만 조사의 목적에 맞는 적절한 자료를 수집해서 최적의 통계방법으로 분석한 결과가 가장 정확도가 높음

2. 정제

• 분석에 적합한 자료를 선별
• 적합하지 않은 자료는 삭제

3. 추정

• 통계 분석을 진행하는 것 -> 모수를 추정하는 것
• 표본의 특성을 설명하는 통계량을 통해 모집단의 모수를 추정하게 됨

4. 검정

• 통계조사의 목적 -> 주장이 믿어지는 사실이 실제로 옳은지 아닌지를 확인
• 수립된 가설이 유의미하고 타당성을 가지는지 통계적으로 확인하는 과정
• 확인을 통해 가설의 기각와 채택여부를 판단

통계분석의 한계

• 확률이 없으면 무의미 - 통계분석의 결과는 항상 확률과 연관되어 표현

• 항상 틀릴 가능성 내포 - 신뢰수준 100% -> 신뢰구간에 해당하는 값 (-무한 ~ + 무한) - 결과의 범위가 줄수록 신뢰구간은 100%에서 멀어짐