제11장

심층 신경망

제9장과 10장에서, 우리는 고수준 추상화에 대한 독특한 인간의 능력에서 중추적이었을 수 있는 두 개의 서로 다른 뇌 영역, 전전두피질과 쐐기앞소엽을 살펴보았다. 여기서는 이러한 인간의 능력이 특정 뇌 영역의 확장보다는 주로 뇌의 전반적인 조직에 기인한다는 가능성을 고려할 것이다. 이를 위해 인공신경망에 주목해보자. 인공지능의 주요 분야로서, 인공신경망은 생물학적 신경망을 모방한 아키텍처를 기반으로 계산을 수행한다. 역사적으로, 1940년대부터 인공신경망 연구의 4차례 파도가 있었다. 세 번째 파도는 1980년대였다. 나는 그 시기에 캘리포니아에서 대학원생으로 신경과학 경력을 시작했다. 당시 그들이 만들어낸 흥분을 아직도 생생히 기억한다.

뇌는 그 복잡성 때문에 이해하기가 어려웠고, 지금도 여전히 그렇다. 인간의 뇌는 대략 천억 개의 뉴런과 백조 개의 연결을 가지고 있으며, 많은 다른 유형의 뉴런들이 매우 복잡한 연결 시스템을 형성한다. 따라서 이 복잡한 시스템이 끊임없이 변화하는 세계에서 행동을 안내하기 위해 정보를 처리하는 방식을 밝혀내는 것은 벅찬 도전이다. 실험신경과학자들은 뇌를 직접 연구하며, 많은 이들이 다소 덜 복잡한 뇌를 가진 동물 모델을 사용한다. 예를 들어, 신경생리학자들은 동물이 두 개의 사용 가능한 레버 중 어느 것을 누를지 결정하는 것과 같은 특정 행동에 참여하는 동안 단일 뉴런의 활동을 모니터링하기 위해 뇌에 미세전극을 배치한다. 뇌를 이해하는 대안적 접근법으로, 계산신경과학자들은 인공신경망이 무엇을 할 수 있고 어떻게 그 일을 수행하는지를 연구한다.

1980년대에, 신경과학자들과 엔지니어들은 인공신경망이 뇌에 대한 우리의 이해에서 상당한 진전을 가져오고 시각적 객체 분류와 같은 도전적인 AI 문제에 새로운 해결책을 제공하기를 희망했다. 실망스럽게도, 상당한 기여에도 불구하고 인공신경망이 기대에 부응하지 못했기 때문에 초기의 흥분은 점차 가라앉았다. 인공신경망의 네 번째 파도가 현재 진행 중이며, '딥러닝'이 이 파도를 주도하고 있다.

딥러닝

인공신경망은 생물학적 뉴런에서 유도된 단순화된 규칙(각 단위가 활성 입력을 합산하고 임계값이 교차될 때 출력을 방출하는 '통합과 발화'와 같은)에 따라 행동하는 단위(또는 노드 또는 인공 뉴런) 층으로 구성된다. 일반적인 인공신경망은 입력층, 출력층, 그리고 가변적인 수의 은닉층을 가진다(그림 11.1 참조). 그렇다면 신경망에서 딥러닝이란 정확히 무엇인가? 이는 다중 은닉층 인공신경망에 의해 수행되는 학습을 가리킨다. 은닉층은 신경망이 복잡한 비선형 계산을 수행할 수 있게 한다. 망의 깊이는 은닉층의 수를 의미한다.

그림 11.1. 인공신경망을 위한 도식. 그림은 Massimo Merenda, Carlo Porcaro, and Demetrio Iero, 'Edge Machine Learning for AI-Enabled IoT Devices: A Review,' Sensors (Basel) 20, no. 9 (April 2020): 2533 (CC BY)에서 재현되었다.

2010년대 초, 과학자들은 더 많은 은닉층을 추가함으로써(즉, 망을 더 깊게 만듦으로써) 특정 응용에서 인공신경망의 성능이 극적으로 향상될 수 있다는 것을 발견했다. 심층 신경망은 저명한 이미지 분석 벤치마크에서, 특히 2012년 ImageNet Large Scale Visual Recognition Challenge에서 다른 방법들을 능가하기 시작했고, 이러한 성과들이 인공지능 '딥러닝 혁명'을 촉발시켰다. 딥러닝은 이제 AI 연구의 거의 모든 분야에서 사용되고 있다.

은닉층은 어떻게 기능하는가? 다중 은닉층은 계층적 특징 추출에 유용한 다중 수준의 추상화를 가능하게 한다. 사진으로부터 동물 종을 인식하도록 신경망을 훈련시키고자 한다고 가정해보자(그림 11.2 참조). 일부 샘플 동물 이미지(코끼리, 바다표범 등)로 훈련시킨 후, 이러한 동물들의 새로운 이미지로 테스트한다. 얕은 신경망(예: 하나의 은닉층)도 이 작업을 수행하도록 훈련될 수 있지만, 은닉층에서 필요한 특징 검출기의 수는 입력의 수에 따라 지수적으로 증가한다. 심층 신경망은 이 문제를 완화할 수 있다.

그림 11.2. 심층 신경망에 의한 특징 계층 학습. 그림은 Hannes Schulz and Sven Behnke, 'Deep Learning: Layer-Wise Learning of Feature Hierarchies,' Künstliche Intelligenz 26, no. 4 (2012): 357의 허가를 받아 재현되었다.

그림 11.2에 보여진 예에서, 6층 순방향 신경망은 특징 계층을 형성함으로써 새로운 이미지로부터 동물 종을 성공적으로 분류한다. 초기 은닉층은 국소화된 경계와 같은 저수준 특징을 나타내며, 이는 후기 은닉층에서 더 추상적인 특징을 나타내도록 점진적으로 결합되어, 결국 동물 종 원형(예: '코끼리성')을 위한 고수준 특징을 나타낸다. 이는 시각적 객체 인식을 구현하는 강력하고 효율적인 방법이다. 훈련 중에 은닉층에 동물 종에 대한 정보가 제공되지 않았다는 점에 주목하라. 신경망은 작업을 달성하기 위해 특징을 계층적으로 나타내도록 스스로 조직한다. 사실, 이러한 신경망 연구 라인은 시각 신경과학의 발견들에서 영감을 받았다. 시각 처리의 초기 단계에서 뉴런들은 경계와 같은 저수준 특징에 반응하는 반면, 시각 처리의 후기 단계에서 뉴런들은 얼굴과 같은 더 복잡한 특징에 반응한다. 이 예는 고수준 특징 추출이 심층 신경망에서 쉽게 구현될 수 있음을 보여준다.

비지도 학습

앞선 예의 인공신경망은 지도학습의 결과로서 추상화를 수행했다. 이미지에서 동물의 종이 훈련 중에 인공신경망(은닉층에는 아니지만)에 명시적으로 주어졌다. 그러면 인공신경망이 그렇게 하도록 훈련받았기 때문에 추상화를 수행했다고 주장할 수 있다. 다시 말해, 인공신경망은 좁은 영역에서 명시적으로 그렇게 하도록 훈련받을 때만 추상화를 수행할 수 있다. 예를 들어, 동물 종을 분류하도록 훈련된 망은 차량 유형을 분류하는 것과 같은 다른 영역에서는 성능이 떨어질 수 있다. 만약 그렇다면, 심층 인공신경망에서 학습 유도 추상화를 이해하는 것은 인간 추상화 뒤에 있는 신경 과정에 대한 유용한 통찰을 제공하지 못할 수 있다. 다행히, 이는 그렇지 않다. 심층 신경망은 비지도 학습을 사용하여 추상적 개념을 나타내도록 훈련될 수 있다.

2012년에, Andrew Ng와 Jeff Dean이 이끄는 팀은 수백만 개의 라벨이 없는 이미지(즉, 이미지에 대한 정보가 제공되지 않음)로 9층 신경망을 훈련시켰다. 놀랍게도, 3일간의 훈련 후에 얼굴 선택적 뉴런들이 나타났다. 망에서 최고 성능의 뉴런은 81.7퍼센트의 정확도로 새로운 이미지에서 얼굴을 식별했다. 이 연구와 후속 연구들은 심층 신경망이 관심 특징에 대한 특정 지시 없이도 고수준 특징(위 예에서 얼굴의 원형)을 나타낼 수 있다는 것을 설득력 있게 보여주었다.

선험적 추상화

최근 연구들은 더욱 놀랍게도 심층 신경망이 어떤 훈련도 없이도 추상적 개념을 나타낼 수 있다는 것을 보여주었으며, 이는 추상적 개념을 나타내는 데 있어서 심층 신경망 구조에 특별한 무언가가 있다는 것을 더욱 나타낸다. 한국과학기술원의 내 동료인 백세범은 생물학적으로 영감받은 심층 신경망을 구축했다. 한 연구에서, 그의 팀은 시뮬레이션된 다층 신경망의 뉴런들이 어떤 훈련도 없이도 수 특이적 반응을 보인다는 것을 발견했다. 다시 말해, 수 감각이 다층 신경망 투사의 통계적 특성으로부터 자발적으로 나타난다. 시뮬레이션된 신경망의 이러한 수 코딩 뉴런들은 뇌에서 발견되는 수 코딩 뉴런들과 유사한 반응 특성을 보였다(제9장 참조). 예를 들어, 두 수를 구별하는 그들의 민감도는 수의 크기가 증가함에 따라 감소한다(예: 1과 2를 구별하는 민감도는 10과 20을 구별하는 민감도와 유사하다). 이는 Weber-Fechner 법칙(감각의 강도는 자극 강도의 로그에 비례한다)에 따른다.

또 다른 연구에서, 팀은 어떤 훈련도 없이 원숭이 시각 경로를 시뮬레이션한 다층 신경망에서 얼굴 선택적 뉴런들을 발견했다. 이러한 얼굴 선택적 뉴런들은 원숭이 뇌에서 발견되는 얼굴 선택적 뉴런들과 유사한 많은 반응 특성을 보였다. 이러한 연구들은 우리에게 두 가지 중요한 점을 말해준다. 첫째, 수 선택성과 얼굴 선택성은 어떤 학습 없이도 신경망에서 자발적으로 나타날 수 있다. 둘째, 그러한 특성은 충분한 깊이(즉, 충분한 은닉층)를 가진 신경망에서만 발견된다. 그렇다면, 영장류 뇌와 같이 충분히 깊은 신경망은 어떤 사전 경험 없이도 추상적 개념(수 감각과 같은)을 생성할 수 있을 것이다. 다시 말해, 뇌의 다층 망 구조가 추상화와 같은 타고난 인지 기능의 원천일 수 있다.

개념 세포

인공신경망을 사용한 연구들은 고수준 추상화에 대한 뛰어난 인간의 능력이 고수준 추상화를 위한 전용 신경망을 가지기보다는 인간의 뇌가 다른 동물들보다 더 많은 연결 층을 가지기 때문일 수 있다고 시사한다. 사실, 기본적인 회로 구조는 모든 포유류 피질에서 유사하다. 이러한 관점에서, 전전두피질의 고등 인지 기능의 열쇠(제9장 참조)는 특화된 신경 회로의 존재보다는 그것이 최고차 연합 피질이라는 것일 수 있다. 특히, 전두극 피질은 연결 계층의 꼭대기에 있으며(그림 9.4 참조), 이것이 인간에서 특히 고수준 추상적 개념을 다루는 이유일 수 있다.

그러나 해마는 어떨까? 그것도 최고차 연합 피질로 고려될 수 있다. 따라서 인간은 감각 입력이 해마에 도달하기 전에 신경망의 다중 층을 거치면서 그러한 개념들이 자발적으로 형성되기 때문에 고수준 추상적 개념을 사용하여 자유롭게 상상할 수 있을 것이다. 감각 수용기와 해마 사이의 은닉층 수를 세는 것은 피질이 강한 순환 투사(즉, 뉴런 그룹이 자신들에게 투사)를 가지고 있고 피질의 한 영역이 전형적으로 다중 영역과 연결되어 있기 때문에 순방향 인공신경망에서 은닉층의 수를 세는 것만큼 간단하지 않다는 점에 주목하라. 또한, 우리는 다른 동물 종 간의 피질 은닉층 수의 체계적, 정량적 비교를 위한 제한된 데이터만을 가지고 있다. 그럼에도 불구하고, 인간의 뇌가 특히 많은 수의 피질 연합 영역을 가지고 있다는 것은 분명하다. 예를 들어, 복측 시각 스트림(일차 시각 피질에서 해마로의 경로)에서, 개재하는 피질 영역의 수는 생쥐, 나무두더지, 회색다람쥐, 그리고 원숭이보다 인간에서 훨씬 크다.

인간 해마에서 추상화 관련 신경 활동을 발견한 다음 연구를 고려해보자. 간질 발작의 원인을 국소화하는 절차의 일환으로, 인간 간질 환자의 해마와 주변 영역(내측 측두엽)에서 신경 활동이 기록되었다. 이러한 환자의 내측 측두엽 뉴런들은 다양한 시각 자극에 대해 다양한 활동 패턴을 보였다. 놀랍게도, 일부 뉴런들은 특정 사람이나 객체에만 반응했다. 예를 들어, 그림 11.3에 보여진 뉴런은 배우인 성룡의 사진에는 반응했지만 다른 사람들의 사진에는 반응하지 않았다.

그림 11.3. 배우 성룡에는 반응하지만 다른 배우인 Luciano Castro에는 반응하지 않는 인간 해마 뉴런. 중간 행, 스파이크 래스터 플롯(각 점은 스파이크이고 각 행은 시행). 하단 행, 평균 반응. 그림은 Hernan G. Rey et al., 'Single Neuron Coding of Identity in the Human Hippocampal Formation,' Current Biology 30, no. 6 (March 2020): 1153 (CC BY)에서 재현되었다.

놀랍게도, 이 뉴런은 그의 사진뿐만 아니라 그의 쓰여진 이름과 음성 이름에도 반응했다. 이는 이러한 사람 선택적 뉴런들이 단순히 시각적 특징에 반응하는 것이 아님을 나타낸다. 오히려, 그들은 추상적 개념인 개인 정체성에 반응한다. 따라서 이러한 세포들은 개념 세포라고 명명되었다.

동물에서 유사한 개념 세포를 찾으려는 시도는 성공하지 못했다. 예를 들어, 원숭이의 해마 뉴런들은 군락의 다른 원숭이들의 사진과 음성에 의해 독립적으로 활성화되었다. 이는 인간 해마가 특히 고수준 추상적 개념을 다룰 수 있다는 것을 시사하지만, 다른 해석들(예: 추상적 정체성 코딩이 인간만큼 큰 사회 공동체를 형성하지 않는 원숭이들에게는 특별히 유리하지 않을 수 있다)도 동등하게 그럴듯하다. 주목할 만하게, 최고차 연합 피질인 전전두피질과 해마는 직접적인 소통 채널을 가지고 있다. 해마는 전전두피질로 직접 투사를 보내고, 반대로 전전두피질은 해마로 직접 투사를 보낸다. 물론, 그들은 또한 쐐기앞소엽과 같은 다른 뇌 영역을 통해 간접적으로도 연결되어 있다. 해마와 전전두피질이 이러한 직접적이고 간접적인 경로를 통해 밀접하게 상호작용하고, 그러한 해마-전전두피질 상호작용이 인간에서 고수준 추상적 개념을 사용한 무한한 상상의 기초가 된다는 것은 완전히 가능하다.

심층 인공신경망

뇌에서 신경망의 깊이가 추상적 사고의 수준을 결정한다면, 매우 깊은 인공신경망의 추상적 개념은 어떨 것인가? 요즘 인공신경망의 깊이는 일상적으로 100을 넘는다. 현대 컴퓨터 게임의 수요를 충족하도록 원래 설계된 강력한 그래픽 처리 장치가 매우 깊은 학습 알고리즘의 구현을 촉진한다. 이러한 심층 인공신경망이 인간 뇌보다 더 고수준의 추상적 개념을 형성할 수 있을까? 최고 수준의 인간 바둑 마스터를 이긴 첫 번째 컴퓨터 프로그램인 알파고가 인간의 이해를 넘어선 고수준 추상적 개념을 사용하여 승리했을까?

인간의 뇌는 대략 3,500cm³에서 최대 처리 능력에 도달할 것으로 제안되었으며, 이는 현재의 것(1,350cm³)보다 대략 2.5배 크다. 에너지와 신경 처리 제약 때문에, 더 큰 뇌는 덜 효율적일 것이다. 그것은 더 많은 에너지와 강력한 냉각을 필요로 하며, 이는 혈관이 사용하는 부피를 증가시킬 것이다. 더욱이, 뉴런은 신호 처리 속도에 고유한 한계를 가지고 있으며, 이는 뇌가 크기를 증가시킴으로써 달성할 수 있는 정보 처리의 효율성을 제약한다. 이 추정이 정확하다면, 인간의 뇌는 더 깊은 신경망으로 진화할 여지가 있다. 돌연변이로 인해 더 깊은 망 구조를 가지고 태어난 사람이 있다면, 그들은 어떻게 생각할까? 그들의 예술적 감각이 우리와 다를까? 우리가 유전자를 조작하여 개가 인간만큼 깊은 신경망 연결을 가지고 태어나도록 한다면, 개가 인간과 같은 추상적 사고 능력을 가질까? 우리는 현재 이러한 질문들에 대한 명확한 답을 가지고 있지 않다. 그러나 우리는 이 방향을 따른 연구가 없지는 않다.

심층 실제 신경망

제8장에서 자세히 설명했듯이, 현재의 인간 뇌는 진화 과정에서 신피질의 급격한 확장의 결과이다. 이는 신피질 발달을 조절하는 일부 유전자의 돌연변이 때문일 가능성이 높다. ARHGAP11B는 인간 신피질 발달에 중요한 유전자 중 하나이다. 그것은 초기 발달 중 신경 줄기 세포의 증식에서 필수적인 역할을 한다. 다시 말해, 그것은 신피질을 위한 뉴런의 생산을 촉진한다. 이 유전자가 동물에서 발현된다면 어떻게 될까?

지금까지, 과학자들은 이 유전자를 생쥐, 족제비, 그리고 마모셋에서 발현시켰다. 생쥐에서 그것의 발현은 신피질 크기뿐만 아니라 기억 유연성을 증가시켰다. ARHGAP11B 발현 생쥐와 대조 생쥐는 고정된 보상 위치를 기억하는 데서 유사하게 수행했다. 그러나 ARHGAP11B 발현 생쥐는 보상 위치가 매일 바뀔 때 대조 생쥐를 능가했으며, 이는 향상된 행동 유연성을 나타낸다. 제10장에서 전전두피질 손상을 입은 사람들이 행동 유연성이 떨어진다는 것을 기억하라.

작은 원숭이인 마모셋은 어떨까? ARHGAP11B 발현이 마모셋을 더 똑똑하게 만들까? 마모셋이 고수준 추상적 개념을 사용하여 생각할 수 있게 할까? 예상할 수 있듯이, 이러한 연구들은 윤리적 문제에서 자유롭지 않다. 그래서 이 작업을 수행한 독일과 일본 과학자들이 실험 마모셋의 출생 전에 프로젝트를 중단했다. 그들은 돌연변이 배아를 수술적으로 제거하고 그들의 뇌를 검사했다. 따라서 이러한 마모셋이 일반적인 것들과 다르게 '생각'했을지는 알려지지 않았다. 그러나 유전자 발현이 마모셋 뇌의 발달을 변화시켰다는 것이 발견되었다. 그들의 신피질은 눈에 띄게 확대되고 주름졌다(그림 11.4 참조).

그림 11.4. 마모셋 뇌에서 ARHGAP11B 발현. (왼쪽) 일반 마모셋. 패널은 'Common Marmoset (Callithrix jacchus),' NatureRules1 Wiki, accessed August 28, 2022, https://naturerules1.fandom.com/wiki/Common_Marmoset (CC BY-SA)에서 재현되었다. (오른쪽 위) 정상 마모셋 태아의 뇌. (오른쪽 아래) 인간 ARHGAP11B를 발현하는 마모셋의 뇌. 패널은 Michael Heide et al., 'Human-Specific ARHGAP11B Increases Size and Folding of Primate Neocortex in the Fetal Marmoset,' Science 369, no. 6503 (July 2020): 547의 허가를 받아 재현되었다.

인간 뇌의 윗부분은 많은 주름을 가지고 있으며, 이는 신피질의 표면적을 증가시킨다. 이는 두개골 내의 제한된 공간에서 확대된 신피질을 활용하는 방법인 것으로 보인다. 대조적으로, 정상 마모셋의 뇌는 매끄러운 표면을 가지고 있다. 변경된 마모셋 태아가 표면에 일부 주름을 가진 확대된 신피질을 가진다는 것은 그들이 태어나서 성년까지 생존했다면 그들의 '사고'가 정상 마모셋의 것과 상당히 다를 수 있다는 것을 시사한다. 물론, 이러한 돌연변이 마모셋의 뇌는 여전히 인간 뇌의 복잡성에서 멀다. 따라서 그들의 추상적 사고 능력은 인간의 그것에 접근했을 가능성이 낮다. 그럼에도 불구하고, 윤리적 문제의 주의와 함께, 이러한 연구 라인은 언젠가 인간 뇌만큼 복잡하거나 심지어 더 복잡한 동물 뇌를 만들어낼 수 있을 것이다.

요약하면, 인간의 고수준 추상적 사고의 신경학적 기초는 불분명하다. 그러나 이러한 문제들을 직접 조사하는 연구들이 미래에 인기를 끌 수 있지만, 윤리적 우려가 수반될 수 있다.