[ML] 혼자 공부하는 머신러닝+ 딥러닝 Ch02 데이터 다루기

 

Chapter02 데이터 다루기

 

02-1 훈련 세트와 테스트 세트

 

지도 학습과 비지도 학습

지도 학습

• 훈련 데이터와 정답이 필요
  • 데이터 - 입력, 정답 - 타겟. 입력 + 타겟 = 훈련 데이터
• 입력으로 사용된 길이, 무게 → 특성
• 정답이 존재하므로 정답을 맞히는 것을 학습 ex) KNN-알고리즘

비지도 학습

• 타겟 없이 입력 데이터만 사용 → 정답을 맞추지 x

강화 학습

• 타겟이 아닌 알고리즘이 행동한 결과로 얻은 보상을 통해 학습

 

훈련 세트와 테스트 세트

• 테스트 세트: 평가에 사용하는 데이터
  • 전체 데이터의 20~30% 정도
• 훈련 세트: 훈련에 사용되는 데이터
  • 클수록 좋음
• 적절한 성능 평가는 훈련 세트와 테스트 세트가 달라야 함.
  • (Ch1의 경우 훈련 세트와 테스트 세트가 동일)
• 샘플 : 하나의 데이터

 

샘플링 편향

• 훈련 세트와 테스트 세트에 샘플이 골고루 섞여 있지 않을 때
  • ex) 도미와 빙어를 분류하는 모델을 학습시킬 때 도미 데이터로만 훈련
• 이러한 섞는 행위를 처리 ⇒ 넘파이

 

넘파이

• 파이썬의 배열 라이브러리. 고차원 배열을 손쉽게 조작 가능
• 시작점이 왼쪽 위에서부터 시작
• arr() : 리스트 → 배열
• array.shape : 배열의 크기 (샘플 수, 특성 수) 출력

• input_arr와 target_arr에서 같은 위치는 함께 선택되어야 함 ⇒ 인덱스
• seed() : 난수를 생성하기 위한 정수 초깃값 지정
• arrange() : 일정한 간격의 배열 생성
• shuffle() : 배열 무작위 셔플
• 배열 인덱싱 기능 제공

 

두 번째 머신러닝 프로그램

제대로 만든 훈련 세트와 테스트 세트로 KNN 모델 훈련

kn=kn.fit(train_input, train_target)
kn.score(test_input,test_target)
kn.predict(test_input)
test_target # 넘파이 배열을 반환

훈련 모델 평가

• 훈련에 참여하지 않은 데이터로 모델을 평가해야 함.

 

02-2 데이터 전처리

• 데이터 전처리 (data processing) : 머신러닝 모델에 훈련 데이터를 주입하기 전 가공하는 단계. 특성값을 일정한 기준으로 맞추어 주는 작업
• column_stack() : 전달받은 리스트를 일렬로 세운 다음 차례대로 나란히 연결
• np.ones() / np.zeros() : 원하는 개수의 1과 0을 채운 배열을 생성
• np.concatenate() : 배열을 연결

 

사이킷런으로 훈련 세트와 테스트 세트 나누기

• tran_test_split() : 셔플 & 비율에 맞게 훈련 세트와 테스트 세트 구분
• stratify 매개변수 : 타깃 데이터를 전달하면 클래스 비율에 맞게 데이터를 생성
• xlim() / ylim() : matplotlib에서 x축 범위, y축 범위 지정
• 데이터 전처리: 샘플 간 거리의 영향을 많이 받는 알고리즘들은 특성값을 일정한 기준으로 맞추어 주어야 함.
• (모든 알고리즘이 거리 기반인 것은 아님)
• 표준 점수 : 가장 널리 사용하는 전처리 방법
  • 각 특성값이 0에서 표준 편차의 몇 배만큼 떨어져 있는지를 나타냄.
• np.mean() : 평균 계산
• np.std() : 표준편차 계산

• 브로드 캐스팅 : 조건을 만족하면 다른 배열 간의 연산을 가능하게 해주는 기능