AI, 인공지능, 머신러닝, 딥러닝, 지능형 반도체 핵심 개념 정리. ANN, CNN, DNN, RNN



1. 인공지능

인공지능이란, Machine이 ‘인식 -> 추론 -> 결론’ 하는 것을 말합니다.

Narrow AI - 사람 미만. 현재 수준 머신러닝- 경험을 통해 학습하여 앞으로의 일에대한 성능을 높이는 것

General AI - 사람 수준

Super AI - 사람의 지능 초과하는 수준

현재는 Narrow AI인데, 이 Narrow AI 연구개발에 ‘Machine Learing’(ML, 머신러닝)이 쓰입니다.

머신러닝의 기법 중 하나인, 뇌를 모델로한 ‘Deep Learning’(DL, 딥러닝)이 쓰이고있습니다.

1. ML

ML은 경험을 통한 학습으로, 앞으로에 대한 일에대한 처리 가능성을 높이는 방법입니다.

ML은 1. 지도학습, 2. 비지도학습, 3. 강화학습. 3가지로 분류됩니다.

(1) 지도학습

기존 프로그래밍 방식은, ‘프로그래머가 프로그램을 만듬. 사용자가 값을 입력하면, 프로그램 처리값이 출력’

e.g. 프로그래머가 값을 두배로 만드는 프로그램을 짰을 때, 사용자가 1을 입력하면, 프로그램은 2를 출력함.

ML은 ‘사용자가 입력과 출력을 주면, 프로그램이 입력과 출력의 상관관계를 찾음.’

e.g. 사용자가 입력에 1, 출력에 2를 주면, ML 프로그램은 1을 입력하면 출력에 2가 나오는 모든 규칙을 찾습니다.. 입력에 2 출력에 4, 입력에 3 출력에 6 입력에 4 출력에 8… 이런식으로 많은 데이터를 주면, 2배의 규칙만 남습니다.

ML은 이런식으로 강아지 사진을 보면, 이게 강아지구나.. 인식하고, 충치 X-ray를 보면, 이게 충치구나… 학습을 하게됩니다.

뿐만아니라, ML은 주가예측, 건강예측에도 쓰이는데요.

암 발병에 영향을 끼치는 것들을 써본다면, 1.가족 내 암환자 수(가족내력) 2.음주량 3.흡연량.

암발병 유무 = (암에 끼치는 유전자의 영향력 x 사용자의 가족 내 암환자 수) + (암에 끼치는 음주량의 영향력 x 음주량) + (암에 끼치는 흡연량의 영향력 x 흡연량) + 타 요인

여기서 사용자의 입력값은 암발병유무와 발병에 영향을 끼치는 것들이고, ML은 이 값들에 대한 영향력을 찾아냅니다.

이런 식으로 앞으로 암 발병 확률을 ML은 예측합니다. 정확한 정의식은 아래와 같습니다.

H(x) = w1x1 + w2x2 + w3x3 + b(b는 bias라고 부릅니다.)

결국 ML한다는 것은, ‘사용자가 x와 H(x)값을 줬을때, x와 b 값을 구하는 과정’입니다.

사용자가 입력값 x를 줬을때, ML 프로그램에서 계산한 H(x)값과 사용자의 실제 값인 출력값 y가 다를 수 있잖아요?

그 차이 값은 error function(오차 함수)방법으로 구합니다.

우리는 오차의 크기만 계산할거라, 음수 값은 보고싶지 않습니다. 그래서 제곱합니다.

그리고 이 오차들의 평균값을 보기위해, 오차의 합을 하고, 오차값들의 개수 m으로 나눠줍니다.

우리는 ML에서 만든 식을 y값과 비교하고, 오차의 범위를 최소로 할거에요. 2차함수에서 최소값은 미분했을 때 0인 지점입니다.

테슬라의 자율주행에는 지도학습의 일부인 모방학습이 쓰였습니다.

(2) 비지도학습

입력값은 존재하지만, 출력값이 존재하지 않습니다. 데이터의 군집화를 할 때 사용됩니다.

빅데이터 같은 데이터 사이언스에서 사용됩니다.

(3) 강화학습

입력값도 프로그램도 출력값도 정해져있지 않습니다.

프로그램이 시뮬레이션을 하고, 그에 대한 결과를 기준에 따라 평가합니다.

대표적인 예로 알파고의 바둑입니다.

1. DL

뇌를 모델로한 ML의 일종입니다. 다시말하지만, 인공지능이란, Machine이 ‘인식 -> 추론 -> 결론’ 하는 것을 말합니다.

우리는 뉴런을 통해 인식을 합니다. 뉴런은 일정 값(역치) 이상의 자극이 들어오면, 우리가 인식하게 됩니다.

딥러닝은 perceptron이라는 논리게이트를 역치값으로 사용합니다. ML에서 봤던 식인, 입력을 통해 출력이 w1x1 + w2x2값이 일정 값 이상이라면, 인식.

딥러닝은 이 과정이 복잡하고 다양할 수록 더 정확한 인식, 추론, 결론을 하게됩니다.

1. 신경망 종류

ANN(Artificial Neural Network) : 인공신경망이란, 인간의 뉴런 구조를 본떠 만든 기계학습 모델
인간의 뇌에서 뉴런들이 어떤 신호, 자극 등을 받고, 그 자극이 어떠한 임계값(threshold)을 넘어서면 결과 신호를 전달. 입력과 출력 사이를 은닉층이라고 부름.
결과값은 괜찮지만, 하드웨어에 부하량이 커서 문제였으니 최근에 반도체 발달로 쓸 수 있게 됨.
ANN에서 은닉층이 깊어진 것이 DNN이고, DNN을 응용한 알고리즘이 CNN, RNN.

DNN(Deep Neural Network)라고 합니다. DNN은 ANN에서 2개이상인 네트워크를 말한다.
알고리즘 스스로 분류하는 과정을 반복하여 최적 로직을 도출.
DNN을 구성하는 ‘뉴런’은 매우 단순화된 ‘형식 뉴런’이라는 모델을 기반으로 하고 있으며, 뉴런이 ‘발화할 지 여부’는 뉴런 간의 경로이자 스위치인 ‘시냅스’의 무게 ωi와 신호 χi의 적화 Σ ωiχi 크기로 판단한다.
많은 데이터와 반복학습, 사전학습과 오류역전파 기법을 통해 쓰임. 이를 일컬어 Multiply-Accumulation(MAC) 연산이라고 하며, 이 과정에서 시간 개념은 필요치 않으며 결과는 오로지 입력의 값 크기로부터 결정된다.

CNN(Convolution Neural Network) : 기존의 방식은 데이터에서 지식을 추출해 학습이 이루어졌지만, CNN은 데이터의 특징을 추출하여 특징들의 패턴을 파악.

Convolution / Pooling을 통해 진행. Convolution Layer와 Pooling Layer를 복합적으로 구성하여 알고리즘 생성. 아래 사이트에서 매우 잘 설명되어있습니다. 그 유명한 강아지 그림 맞추기를 CNN으로 하는 것 같습니다.
https://youngq.tistory.com/40

RNN(Recurrent Neural Network) : 순차적인 데이터(Sequential data)학습에 특화된 인공신경망의 한 종류로써 내부의 순환구조가 들어있다는 특징을 가지고 있습니다. 순환구조를 이용하여 과거의 학습을 Weight를 통해 현재 학습에 반영.
음성인식, 텍스트 분석에 쓰입니다.

SNN(Spiking Neural Network) : Spiking은 ‘뉴런’ 간 주고 받는 신호의 파형이 스파이크, 다시 말해 침 형태의 돌기와 같은 형태이기 때문에 붙여졌다. 신호의 강약은 신호의 크기나 진폭이 아닌 빈도의 많고 적음, 절대적, 상대적 타이밍 등으로 표현된다. 생체의 뉴런이 실제로 이와 같은 스파이크 신호를 이용하는 것을 모방한 것이다. 그 결과, SNN을 구현한 반도체 회로는 ‘뇌형(Neuromorphic)’이라고 불리는 경우도 많다.

Q1 : 이론은 되었는데, 그래서 왜 자율주행도 못해?

(1) 인공지능을 만들려면, 수많은 데이터가 필요합니다. 아직 데이터가 부족합니다.

(2) 자율주행중에는 ‘인식, 추론, 결론’의 과정을 계속 빠르게 해야하는데, 현재 그만큼 빠른 반도체가 없습니다.

1안은 테스트 차량을 늘리는 방법으로 해결할 수 있습니다.

2안이 큰 문제입니다.

CPU -> GPU -> FGPA (현재) -> ASIC -> 뉴로모픽 ASIC 순으로 발전할 것으로 예상됩니다.

(AI ASIC은 최신 CPU의 1000배 정도 전력효율을 낼 것으로 ETRI(한국전자통신연구원)의 [AI 반도체 시장 동향 및 우리나라 경쟁력 분석]에 인용되었습니다.)

Q2 : 한국은 반도체 강국인데, 인공지능 반도체하면 대박 아니야?

우리나라는 세계 3위권 이내의 반도체 제조강국이지만, 미국이나 중국, 대만에 비해 적은 정부 투자와 메모리 반도체 이외의 반도체는 기술인력과 부족합니다.

Q3 : 이런 AI 기술은 최근 연구가 시작된거야?

최근엔 SNN반도체가 가장 핫한 것 같습니다. 2020년 인텔이 발표한 Pohoiki Springs는 쥐의 대뇌 수준이라고 하는데,
2000년대의 반도체 공정, 설계 능력으로는 개구리의 수준 이상 만들기 어려웠다고합니다. SNN은 1990년대에 발표되었습니다.