제11장

심층 신경망

9장과 10장에서 우리는 인간만의 독특한 고차원 추상적 사고 능력에 중요한 역할을 했을 것으로 보이는 두 뇌 영역, 전전두피질과 쐐기앞소엽을 살펴보았습니다. 이번 장에서는 이런 인간의 능력이 특정 뇌 영역의 발달보다는 뇌 전체의 조직 구조에서 비롯되었을 가능성을 살펴보겠습니다. 이를 위해 인공신경망에 주목해봅시다.

인공신경망은 인공지능의 주요 분야로, 생물학적 신경망을 모방한 구조로 계산을 수행합니다. 1940년대부터 지금까지 인공신경망 연구에는 네 번의 큰 물결이 있었는데, 세 번째 물결이 1980년대였습니다. 저는 그 시기에 캘리포니아에서 대학원생으로 신경과학 연구를 시작했고, 당시의 흥분을 아직도 생생히 기억합니다.

뇌는 복잡해서 이해하기 어려웠고, 지금도 마찬가지입니다. 인간의 뇌에는 약 1000억 개의 뉴런과 100조 개의 연결이 있고, 다양한 종류의 뉴런들이 매우 복잡한 연결망을 이루고 있습니다. 따라서 이 복잡한 시스템이 끊임없이 변하는 세상에서 행동을 안내하기 위해 정보를 어떻게 처리하는지 밝혀내는 것은 엄청난 도전입니다.

실험 신경과학자들은 뇌를 직접 연구합니다. 많은 연구자들이 상대적으로 덜 복잡한 뇌를 가진 동물 모델을 사용합니다. 예를 들어, 신경생리학자들은 동물이 두 개의 레버 중 어느 것을 누를지 결정하는 등의 특정 행동을 할 때 뇌에 미세전극을 꽂아 단일 뉴런의 활동을 관찰합니다. 뇌를 이해하는 또 다른 방법으로, 컴퓨터 신경과학자들은 인공신경망이 무엇을 할 수 있고 어떻게 작동하는지를 연구합니다.

1980년대에 신경과학자들과 엔지니어들은 인공신경망이 뇌에 대한 이해를 크게 발전시키고 시각적 물체 분류 같은 어려운 AI 문제에 새로운 해결책을 제공하기를 기대했습니다. 하지만 상당한 기여에도 불구하고 인공신경망이 기대에 부응하지 못해 초기의 흥분은 점차 사라졌습니다. 현재 인공신경망의 네 번째 물결이 진행 중이며, '딥러닝'이 이 물결을 주도하고 있습니다.

딥러닝

인공신경망은 생물학적 뉴런에서 따온 단순화된 규칙(각 단위가 입력을 합산하고 임계값을 넘으면 출력을 내보내는 '통합과 발화' 같은)에 따라 동작하는 단위(노드나 인공 뉴런)들의 층으로 구성됩니다. 일반적인 인공신경망은 입력층, 출력층, 그리고 다양한 개수의 은닉층을 갖습니다(그림 11.1 참조).

그렇다면 신경망에서 딥러닝이란 정확히 무엇일까요? 이는 여러 개의 은닉층을 가진 인공신경망에서 수행되는 학습을 말합니다. 은닉층은 신경망이 복잡한 비선형 계산을 수행할 수 있게 해줍니다. 신경망의 깊이는 은닉층의 개수를 의미합니다.

그림 11.1. 인공신경망의 구조도

2010년대 초, 과학자들은 더 많은 은닉층을 추가해서(즉, 신경망을 더 깊게 만들어서) 특정 응용 분야에서 인공신경망의 성능을 극적으로 향상시킬 수 있다는 것을 발견했습니다. 심층 신경망은 유명한 이미지 분석 경연대회에서, 특히 2012년 ImageNet 대규모 시각 인식 챌린지에서 다른 방법들을 압도하기 시작했고, 이런 성과가 인공지능 '딥러닝 혁명'을 불러일으켰습니다. 딥러닝은 이제 AI 연구의 거의 모든 분야에서 사용되고 있습니다.

은닉층은 어떻게 작동할까요? 여러 개의 은닉층은 여러 수준의 추상화를 가능하게 하며, 이는 계층적 특성 추출에 유용합니다. 사진으로부터 동물 종류를 인식하도록 신경망을 훈련시킨다고 가정해봅시다(그림 11.2 참조). 일부 샘플 동물 이미지(코끼리, 바다표범 등)로 훈련시킨 후, 이 동물들의 새로운 이미지로 테스트합니다.

얕은 신경망(예: 은닉층이 하나)도 이 작업을 수행하도록 훈련될 수 있지만, 은닉층에서 필요한 특성 감지기의 수가 입력의 수에 따라 기하급수적으로 증가합니다. 심층 신경망은 이 문제를 해결할 수 있습니다.

그림 11.2. 심층 신경망에 의한 특성 계층 학습

그림 11.2에 보인 예에서, 6층으로 된 순방향 신경망은 특성 계층을 형성해서 새로운 이미지로부터 동물 종을 성공적으로 분류합니다. 초기 은닉층은 국소화된 경계 같은 저수준 특성을 나타내고, 이것들이 점차 결합되어 후기 은닉층에서 더 추상적인 특성을 나타내며, 결국 동물 종 원형(예: '코끼리다움')을 위한 고수준 특성을 나타냅니다.

이는 시각적 물체 인식을 구현하는 강력하고 효율적인 방법입니다. 훈련 중에 은닉층에는 동물 종에 대한 정보가 제공되지 않았다는 점을 주목하세요. 신경망은 작업을 달성하기 위해 특성을 계층적으로 나타내도록 스스로 조직합니다.

이런 신경망 연구는 실제로 시각 신경과학의 발견에서 영감을 받았습니다. 시각 처리의 초기 단계 뉴런들은 경계 같은 저수준 특성에 반응하는 반면, 후기 단계 뉴런들은 얼굴 같은 더 복잡한 특성에 반응합니다. 이 예는 고수준 특성 추출이 심층 신경망에서 쉽게 구현될 수 있음을 보여줍니다.

비지도 학습

앞의 예에서 인공신경망은 지도학습의 결과로 추상화를 수행했습니다. 이미지에서 동물의 종이 훈련 중에 인공신경망에 명시적으로 주어졌습니다(은닉층에는 아니지만). 그렇다면 인공신경망이 그렇게 하도록 훈련받았기 때문에 추상화를 수행했다고 주장할 수 있습니다.

다시 말해, 인공신경망은 좁은 영역에서 명시적으로 훈련받을 때만 추상화를 수행할 수 있다는 것입니다. 예를 들어, 동물 종을 분류하도록 훈련된 신경망은 차량 유형을 분류하는 것 같은 다른 영역에서는 성능이 떨어질 수 있습니다.

만약 그렇다면, 심층 인공신경망에서 학습으로 유도된 추상화를 이해하는 것은 인간의 추상화 뒤에 있는 신경 과정에 대한 유용한 통찰을 제공하지 못할 수도 있습니다. 다행히 그렇지 않습니다. 심층 신경망은 비지도 학습을 사용해서 추상적 개념을 나타낼 수 있습니다.

2012년에 Andrew Ng와 Jeff Dean이 이끄는 팀은 수백만 개의 라벨이 없는 이미지(즉, 이미지에 대한 어떤 정보도 제공되지 않음)로 9층 신경망을 훈련시켰습니다. 놀랍게도 3일간의 훈련 후에 얼굴을 선택적으로 인식하는 뉴런들이 나타났습니다. 신경망에서 가장 성능이 좋은 뉴런은 81.7%의 정확도로 새로운 이미지에서 얼굴을 식별했습니다.

이 연구와 후속 연구들은 심층 신경망이 관심 특성에 대한 특정 지시 없이도 고수준 특성(위 예에서는 얼굴의 원형)을 나타낼 수 있다는 것을 설득력 있게 보여주었습니다.

선험적 추상화

더 최근의 연구들은 더욱 놀랍게도 심층 신경망이 어떤 훈련도 없이 추상적 개념을 나타낼 수 있다는 것을 보여주었습니다. 이는 추상적 개념을 나타내는 데 있어 심층 신경망 구조에 특별한 무언가가 있다는 것을 더욱 보여줍니다.

한국과학기술원의 제 동료인 백세범 교수는 생물학에서 영감을 받은 심층 신경망을 만들었습니다. 한 연구에서 그의 팀은 시뮬레이션된 다층 신경망의 뉴런들이 어떤 훈련도 없이 숫자에 특화된 반응을 보인다는 것을 발견했습니다. 다시 말해, 수 감각이 다층 신경망 연결의 통계적 특성에서 저절로 나타난 것입니다.

시뮬레이션된 신경망의 이런 숫자 코딩 뉴런들은 뇌에서 발견되는 숫자 코딩 뉴런들과 비슷한 반응 특성을 보였습니다(9장 참조). 예를 들어, 두 숫자를 구별하는 민감도는 숫자가 커질수록 감소합니다(1과 2를 구별하는 민감도는 10과 20을 구별하는 민감도와 비슷함). 이는 베버-페히너 법칙(감각의 강도는 자극 강도의 로그에 비례)을 따릅니다.

또 다른 연구에서, 팀은 어떤 훈련도 없이 원숭이 시각 경로를 시뮬레이션한 다층 신경망에서 얼굴 선택적 뉴런들을 발견했습니다. 이런 얼굴 선택적 뉴런들은 원숭이 뇌에서 발견되는 얼굴 선택적 뉴런들과 비슷한 많은 반응 특성을 보였습니다.

이런 연구들은 우리에게 두 가지 중요한 점을 알려줍니다. 첫째, 숫자 선택성과 얼굴 선택성이 어떤 학습 없이도 신경망에서 저절로 나타날 수 있다는 것입니다. 둘째, 이런 특성은 충분한 깊이(즉, 충분한 은닉층)를 가진 신경망에서만 발견됩니다.

그렇다면 영장류 뇌처럼 충분히 깊은 신경망은 어떤 사전 경험 없이도 추상적 개념(숫자 감각 같은)을 만들어낼 수 있을 것입니다. 다시 말해, 뇌의 다층 신경망 구조가 추상화 같은 타고난 인지 기능의 원천일 수 있습니다.

개념 세포

인공신경망을 사용한 연구들은 고수준 추상화에 대한 뛰어난 인간의 능력이 고수준 추상화 전용 신경망을 갖기 때문이 아니라 인간의 뇌가 다른 동물들보다 더 많은 연결 층을 갖기 때문일 수 있다고 시사합니다. 사실, 기본적인 회로 구조는 모든 포유류 뇌피질에서 비슷합니다.

이런 관점에서 전전두피질의 고등 인지 기능의 열쇠(9장 참조)는 특별한 신경 회로가 있기 때문이 아니라 그것이 최고차원 연합 피질이기 때문일 수 있습니다. 특히 전두극 피질은 연결 계층의 맨 위에 있어서(그림 9.4 참조) 인간에서 특히 고수준 추상적 개념을 다루는 이유일 수 있습니다.

하지만 해마는 어떨까요? 해마도 최고차원 연합 피질로 여겨질 수 있습니다. 따라서 인간은 감각 입력이 해마에 도달하기 전에 신경망의 여러 층을 거치면서 이런 개념들이 저절로 형성되기 때문에 고수준 추상적 개념을 사용해서 자유롭게 상상할 수 있을 것입니다.

감각 수용체와 해마 사이의 은닉층 수를 세는 것은 뇌피질이 강한 순환 연결(뉴런 그룹이 자기 자신에게 연결)을 갖고 있고 피질의 한 영역이 보통 여러 영역과 연결되어 있기 때문에 순방향 인공신경망에서 은닉층 수를 세는 것만큼 간단하지 않습니다.

또한 우리는 다른 동물 종들 간의 피질 은닉층 수를 체계적이고 정량적으로 비교할 수 있는 제한된 데이터만을 갖고 있습니다. 그럼에도 불구하고, 인간의 뇌가 특히 많은 수의 피질 연합 영역을 갖고 있다는 것은 분명합니다. 예를 들어, 복측 시각 스트림(일차 시각 피질에서 해마로의 경로)에서 중간에 있는 피질 영역의 수가 생쥐, 나무두더지, 회색다람쥐, 원숭이보다 인간에서 훨씬 많습니다.

인간 해마에서 추상화와 관련된 신경 활동을 발견한 다음 연구를 생각해보세요. 간질 발작의 원인을 찾아내는 절차의 일환으로, 인간 간질 환자의 해마와 주변 영역(내측 측두엽)에서 신경 활동이 기록되었습니다.

이런 환자들의 내측 측두엽 뉴런들은 다양한 시각 자극에 대해 다양한 활동 패턴을 보였습니다. 놀랍게도 일부 뉴런들은 특정 사람이나 물체에만 반응했습니다. 예를 들어, 그림 11.3에 보여진 뉴런은 배우 성룡의 사진에는 반응했지만 다른 사람들의 사진에는 반응하지 않았습니다.

그림 11.3. 배우 성룡에는 반응하지만 다른 배우에게는 반응하지 않는 인간 해마 뉴런

놀랍게도 이 뉴런은 성룡의 사진뿐만 아니라 그의 글씨로 쓰여진 이름과 음성으로 들려주는 이름에도 반응했습니다. 이것은 이런 사람 선택적 뉴런들이 단순히 시각적 특징에만 반응하는 것이 아님을 보여줍니다. 오히려 그들은 추상적 개념인 개인의 정체성에 반응합니다. 따라서 이런 세포들은 '개념 세포'라고 명명되었습니다.

동물에서 비슷한 개념 세포를 찾으려는 시도들은 성공하지 못했습니다. 예를 들어, 원숭이의 해마 뉴런들은 무리 안 다른 원숭이들의 사진과 소리에 따로따로 활성화되었습니다. 이것은 인간 해마가 특히 고수준 추상적 개념을 다룰 수 있다는 것을 시사하지만, 다른 해석들(예: 추상적 정체성 코딩이 인간만큼 큰 사회 공동체를 만들지 않는 원숭이들에게는 특별히 유리하지 않을 수 있다)도 똑같이 그럴듯합니다.

주목할 점은, 최고차원 연합 피질인 전전두피질과 해마가 직접적인 소통 채널을 갖고 있다는 것입니다. 해마는 전전두피질로 직접 신호를 보내고, 반대로 전전두피질은 해마로 직접 신호를 보냅니다. 물론 그들은 쐐기앞소엽 같은 다른 뇌 영역을 통해서도 간접적으로 연결되어 있습니다.

해마와 전전두피질이 이런 직접적이고 간접적인 경로를 통해 밀접하게 상호작용하고, 이런 해마-전전두피질 상호작용이 인간에서 고수준 추상적 개념을 사용한 무한한 상상의 기초가 된다는 것은 충분히 가능합니다.

심층 인공신경망

뇌에서 신경망의 깊이가 추상적 사고의 수준을 결정한다면, 매우 깊은 인공신경망의 추상적 개념은 어떨 것일까요? 요즘 인공신경망의 깊이는 일상적으로 100층을 넘습니다. 원래 현대 컴퓨터 게임의 요구를 충족하도록 설계된 강력한 그래픽 처리 장치가 매우 깊은 학습 알고리즘의 구현을 도와주고 있습니다.

이런 심층 인공신경망들이 인간 뇌보다 더 고수준의 추상적 개념을 만들어낼 수 있을까요? 최고 수준의 인간 바둑 마스터를 이긴 첫 번째 컴퓨터 프로그램인 알파고가 인간의 이해를 넘어선 고수준 추상적 개념을 사용해서 승리했을까요?

인간의 뇌는 약 3,500㎤에서 최대 처리 능력에 도달할 것으로 제안되었습니다. 이는 현재(1,350㎤)보다 약 2.5배 큰 크기입니다. 에너지와 신경 처리 제약 때문에, 더 큰 뇌는 덜 효율적일 것입니다. 더 많은 에너지와 강력한 냉각이 필요하고, 이는 혈관이 사용하는 부피를 증가시킬 것입니다.

게다가 뉴런은 신호 처리 속도에 고유한 한계가 있어서, 뇌가 크기를 늘려서 달성할 수 있는 정보 처리 효율성을 제한합니다. 이 추정이 맞다면, 인간의 뇌는 더 깊은 신경망으로 진화할 여지가 있습니다.

만약 돌연변이로 인해 더 깊은 신경망 구조를 가지고 태어난 사람이 있다면, 그들은 어떻게 생각할까요? 그들의 예술적 감각이 우리와 다를까요? 유전자를 조작해서 개가 인간만큼 깊은 신경망 연결을 가지고 태어나도록 한다면, 그 개가 인간과 같은 추상적 사고 능력을 가질까요? 우리는 현재 이런 질문들에 대한 명확한 답을 갖고 있지 않습니다. 하지만 이 방향의 연구가 전혀 없는 것은 아닙니다.

심층 실제 신경망

8장에서 자세히 설명했듯이, 현재의 인간 뇌는 진화 과정에서 신피질이 급격히 확장된 결과입니다. 이는 신피질 발달을 조절하는 일부 유전자의 변이 때문일 가능성이 높습니다.

ARHGAP11B는 인간 신피질 발달에 중요한 유전자 중 하나입니다. 이 유전자는 초기 발달 과정에서 신경 줄기 세포의 증식에 필수적인 역할을 합니다. 다시 말해, 신피질을 위한 뉴런 생산을 촉진합니다. 이 유전자가 동물에서 발현된다면 어떻게 될까요?

지금까지 과학자들은 이 유전자를 생쥐, 족제비, 마모셋에서 발현시켰습니다. 생쥐에서 이 유전자의 발현은 신피질 크기뿐만 아니라 기억의 유연성도 증가시켰습니다.

ARHGAP11B를 발현하는 생쥐와 대조군 생쥐는 고정된 보상 위치를 기억하는 데서는 비슷한 성능을 보였습니다. 하지만 보상 위치가 매일 바뀔 때는 ARHGAP11B를 발현하는 생쥐가 대조군을 능가했고, 이는 향상된 행동 유연성을 보여줍니다. 10장에서 전전두피질에 손상을 입은 사람들이 행동 유연성이 떨어진다는 것을 기억하세요.

작은 원숭이인 마모셋은 어떨까요? ARHGAP11B 발현이 마모셋을 더 똑똑하게 만들까요? 마모셋이 고수준 추상적 개념을 사용해서 생각할 수 있게 할까요? 예상할 수 있듯이, 이런 연구들은 윤리적 문제와 무관하지 않습니다. 그래서 이 연구를 수행한 독일과 일본 과학자들이 실험용 마모셋이 태어나기 전에 프로젝트를 중단했습니다.

그들은 변이 배아를 수술로 제거하고 그들의 뇌를 조사했습니다. 따라서 이런 마모셋들이 일반 마모셋들과 다르게 '생각'했을지는 알 수 없습니다. 하지만 유전자 발현이 마모셋 뇌의 발달을 바꾸었다는 것을 발견했습니다. 그들의 신피질은 눈에 띄게 커지고 주름졌습니다(그림 11.4 참조).

그림 11.4. 마모셋 뇌에서 ARHGAP11B 발현. (왼쪽) 일반 마모셋. (오른쪽 위) 정상 마모셋 태아의 뇌. (오른쪽 아래) 인간 ARHGAP11B를 발현하는 마모셋의 뇌.

인간 뇌의 윗부분에는 많은 주름이 있어서 신피질의 표면적을 늘립니다. 이는 두개골 안의 제한된 공간에서 커진 신피질을 활용하는 방법으로 보입니다. 반대로 정상 마모셋의 뇌는 매끄러운 표면을 갖고 있습니다.

변이된 마모셋 태아들이 표면에 약간의 주름을 가진 커진 신피질을 갖는다는 것은, 만약 그들이 태어나서 성인까지 생존했다면 그들의 '사고'가 정상 마모셋과 상당히 다를 수 있다는 것을 시사합니다.

물론 이런 변이 마모셋의 뇌는 여전히 인간 뇌의 복잡함과는 거리가 멉니다. 따라서 그들의 추상적 사고 능력이 인간의 수준에 접근했을 가능성은 낮습니다. 그럼에도 불구하고, 윤리적 문제에 주의하면서, 이런 연구 분야는 언젠가 인간 뇌만큼 복잡하거나 심지어 더 복잡한 동물 뇌를 만들어낼 수 있을 것입니다.

요약하면, 인간의 고수준 추상적 사고의 신경학적 기초는 아직 명확하지 않습니다. 하지만 이런 문제들을 직접 조사하는 연구들이 미래에 인기를 끌 수 있을 것이며, 윤리적 우려가 따를 수도 있습니다.