<AI의 발전 단계에 따른 구분>
AI는 크게 5단계의 발전 과정을 거침
1단계 : 규칙 기반 프로그래밍 (Rule based programming)
목표 달성에 필요한 연산 방법을 전부 사람이 고안
2단계 : 전통 머신 러닝 기법 (Conventional Machine Learning)
특징값을 뽑는 방식은 기존처럼 하되, 특징값들로 판별하는 로직은 기계가 스스로 고안
3단계 : 딥러닝 (Deep Learning)
출력을 계산하기 위해 모든 연산들을 기계가 고안
4단계 : 사전 학습과 미세 조정 (Pre-training & Fine-tuning)
일반적인 특징들을 우선 학습하여 모델을 만든 후에
그 학습 모델을 활용하여 특정 태스크만을 수행하기 위한 맵핑쪽에 해당되는 연산들만 새로 학습
<학습 방식에 의한 구분>
교사학습 : 특정 입력에 대한 정답을 알려주는 방식으로 학습
비교사학습 : 특정 입력에 대한 정답을 알려주지 않고 학습시키는 방식
강화학습 : 주어진 환경에서 더 높은 보상을 위해서 최적의 행동을 취하는 정책을 학습
- 강화학습의 4가지 구성요소 : 에이전트(Agent), 행동(Action), 보상(Reward), 환경(Environment)
<데이터 형식에 의한 구분>
정형데이터 : 구조화된 정보롤 저장되어 있는 것이 정형 데이터 - 전통적인 머신러닝에서 사용
컴퓨터 비전 - 입력으로 이미지나 동영상 데이터를 받는 AI
자연어 처리 - 입력으로 텍스트 데이터를 받는 AI
음성 인식/생성 - 입/출력으로 음성 데이터가 활용되는 AI
<태스크 종류에 의한 구분>
인식 및 생성 : 비정형 데이터와 정보의 입출력 관계에 따라 인식 혹은 생성으로 구분됨
인식 - 비정현 데이터의 정형화, 비정형 데이터에서 추출된 정보 (입력 : 비정형 데이터 / 출력 : 정형 데이터)
생성 - 비정형 데이터/의도된 정보를 통해 비정형 데이터를 추출함 (입력 : 비정형 데이터 또는 의도된 정보 / 출력 : 비정형 데이터)
<딥러닝을 구성하는 필수 요소>
데이터 ,모델, 손실함수, 최적화 알고리즘, 기타 알고리즘
<딥러닝 파이프라인>
모델이 데이터를 통해 추정한 값이 정답/목표와 최대한 가까워지도록 (=손실함수의 값이 최소가 되도록) 파라미터를 최적화 알고리즘을 적용하여 최적의 모델 파라미터를 찾는 과정
<모델 학습법>
1) 다중 퍼셉트론
다수의 신호를 입력 받아 하나의 신호를 출력
-> 가중치와 임계치를 변화시키며 다양한 의사결정 모델을 만들 수 있다.
퍼셉트론이 각광 받았던 이유 : 퍼셉트론의 선형 분리 가능성 때문에 AND, OR, NAND 등의 로직을 구현할 수 있게 되었다.
그러나 XOR 논리게이트는 하나의 퍼셉트론으로는 구현 불가능
활성화 함수 : 입력 신호의 총합을 출력 신호로 변환하는 함수
활성화 함수를 사용하는 이유 : 활성화 함수가 없는 다층 퍼셉트론 모형은 단순한 선형식
활성화 함수 종류 : Sigmoid, Leaky ReLU, tanh, Maxout, ReLU, ELU
2) 경사하강법
경사하강법에서의 중요한 두 개념 : 미분과 기울기
미분 : 변수의 움직임에 따른 함수값의 변화를 측정하는 도구
최적화에서 제일 많이 사용하는 기법
극한을 통해 정의되며, 직접 구하기 위해서는 h->0 극한을 계산해야 함
2차원 평면에서의 미분
x에서의 미분값은 함수 f의 주어진 점 (x, f(x))에서의 접선의 기울기와 동일
편미분 : 벡터를 입력값으로 받는 다변수 함수의 경우, 각 변수에 대해 편미분을 사용한다.
경사하강법은 기울기가 감소하는 방향으로 x를 움직여서 f(x)의 최소값을 찾는 알고리즘
경사하강법의 학습과정
1) 모델 파라미터의 초기화
2) 전체 학습 데이터셋에서의 손실함수값을 구하고 미분을 통해 이를 최소화하는 모델 파라미터 W,b를 찾는다.
3) 2)를 반복하다가 종료조건이 충족되면 끝
<역전파 (Backpropagation)>
역전파 알고리즘 (Backpropagation Algorithm)
신경망의 추론 방향과 반대되는 방향으로 순차적으로 오차에 의한 편미분을 수행하여 각 레이어의 파라미터를 업데이트하는 과정
#패스트캠퍼스 #패스트캠퍼스AI부트캠프 #업스테이지패스트캠퍼스 #UpstageAILab #국비지원 #패스트캠퍼스업스테이지에이아이랩 #패스트캠퍼스업스테이지부트캠프