딥러닝 신경망과 기존 신경망 본질적 차이점.

	개요 - 립러닝 신경망과 종래의 신경망 본질적 차이점.
	구글 알파고 등 최근(2016년) 회자되는  "딥러닝" 도 그 기술적 근원은 "인공신경망 (Artificial Neural Netwowk)" 을 골격으로 한다는 점에서는  종래의 인공신경망과 다를바 없다. "딥러닝" 이라는 용어가 사용되는 인공신경망이 종래의 인공신경망과 어떤 본질적 차이가 있는지 정리해둔다. "종래의 인공신경망" - 1943년 맥컬럭과 피츠의 형식뉴런모델 제안이후 부터 1960년 "단층퍼셉트론", 1976년 "다층 퍼셉트론" 그리고 이후 인공신경망 분야의 암흑기 ~2000년. 암흑기를 만든 원인중 Minsky와 Papert 의 저서 Perceptron 에서 퍼셉트론의 한계를 지적한것도 주요 원인이었음. 많은 연구자들이 인공신경망 분야에서 이탈함. 상기 정보출처  맥컬럭 피츠 형식뉴런 -> http://laxtha.com/bhbae/history/history.htm 퍼셉트론, Minsky -> http://laxtha.com/bhbae/braincom/braincomputer.htm 기존 인공신경망의 문제점. 1. local minimum 에 빠질 수 있는점. - 진짜 해답 찾기 까지 진행하지 못하고 틀린 답을 출력하고 끝내는것. 본질적 문제점. 2. overfitting. - 학습데이터에 과최적화되어 실전 적용하는 경우 에러가 크게 나오는 것. 3. 층이 많아질수록 느려진다는 점. - 본질적 문제 아님. 계산능력 좋으면 해결될 문제이므로. "딥러닝" "딥"과 "러닝"이라는 용어에 집착하지 말것. 단순히 피상적으로 명명된 일상적 단어조합으로 내부에서 작동 중인 "기술적 사상"을 이해하려는 것 만큼 멍청한 짓은 없다. "딥러닝"은 단지 인공신경망 층수가 많다를 표현한 정도일 뿐이다. 핵심개념. - 종래의 신경망의 local minimuj, overfitting 문제 개선. 요즘 회자되는 딥러닝 신경망을 촉발시킨 것은 2006년 제프리 힌튼이 제안한 방식이 기존 신경망의 부실한 문제를 크게 개선했기 때문이라고 할 수 있다. 제프리 힌튼 논문 바로보기 : https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf 1. 각각의 층이 Restricted Boltzman Machine 방식으로 따로 따로 학습한다는점, 2. 상기1의 각 층마다의 학습은 비교사 학습(Unsupervised learning) 으로 이뤄지며, - 상기 1과 2를 합쳐서 unsupervised RBM이라는 용어로 간단하게 표현. 3. 최종적으로 각 층의 결과를 역전파 방식으로 도출해 낸다. 비교 : 종래의 신경망(다층 퍼셉트론)은 여러 층을 다 지난 후에 역전파(Back Propagation) 방식으로 학습하는게 전부였음.  즉, 상기1과 2가 도입된 것이 핵심임. 위 방식을 도입하여 "종래의 신경망"의  어떤 문제점을 해결했는가?   종래의 신경망의 local minimum 문제를 각 층의 Unsupervised learning 으로 개선, "기존신경망대비 가장 진보한 부분에 해당함." 종래 신경망의 overfitting 문제는 RBM 으로 개선. (RBM 대신 Drop out 기법도 있다고 함.)   완전하지는 않지만 현재로써는 가장 뛰어난 성과를 보이고 있다는 점이 중요. 예. 페이스북 딥러닝의 얼굴 인식성공률 97.25%, 사람의 인식 성공률 97.53% 에 육박하는 인식능력을 갖고 있음.   추가 상세 정보 . http://slownews.kr/41461 요점. 현재의 딥러닝 신경망은 1940년대부터 출발한 인공신경망 발전의 연장선에 있는 것이며, 이전 신경망의 문제점이었던 local minimum, overfitting 을 크게 개선한것. 특히 각층에 unsupervised learning 을 도입한 것이 가장 큰 특징.  정말 중요한 것은 실제의 뇌 신경망의 가장 중요한 특징인  Self-Organization (자기조직화)을 인공신경망에서 발현시키고 적극 활용하기 시작했다는 점이다.  인공신경망과 같은 "커넥셔니즘" 이 다른 정보처리 원리(현재의 일반 전산처리 방법론인 기호조작주의)대비 가장 차별화된 장점에 해당하는 성질이 바로 자기조직화이다. 자기조직화의 결과 얻게 되는 최고의 장점은 "입력되는 정보덩어리들에서 해당 정보체계를 만들어내고 있는 정보 구성요소를 스스로 자동 추출해 낼 수 있다는 점이다.  실제 눈을 갖고 있는 동물들이 태어나서 단지 지속적으로 주변을 보는 것만으로도 뇌 스스로 모서리 검출, 직각 검출 , 손검출, 얼굴 검출 등등 후천적으로 만들어내고 있다. 이런 것들이 모두 뇌의 자기조직화 결과물이다.    사람의 "자의식" 같은 것 역시 뇌 신경망의 "자기조직화" 결과물 중 하나다.

 

---

첫등록 : 2016년 3월 11일

최종수정 : 

본 글 단축주소 : https://igotit.tistory.com/703

---