제5장

가치 기반 의사결정

이 장에서는 기억과 상상의 기저를 이루는 해마 신경회로 과정 모델을 구축하기 전 마지막 퍼즐 조각으로서 해마의 가치 처리를 살펴볼 것이다. 그렇다면 가치 처리는 기억과 상상에서 해마의 역할과 어떻게 관련되는가? 이는 6장에서 해마의 시뮬레이션-선택 모델을 살펴볼 때 명확해질 것이다. 미리 간단히 답하자면, 이 모델은 CA3가 경험한 사건과 경험하지 않은 사건 모두에 대해 자기 흥분을 통해 다양한 활동 시퀀스를 생성하고, CA1이 그중에서 높은 가치의 활동 시퀀스를 선택하여 우리가 미래에 더 나은 선택을 할 수 있도록 한다고 제안한다. 이 모델에 따르면, 해마는 단순히 과거에 일어난 일을 기억하는 것이 아니라 미래 사건을 계획하는 데 사용되는 장치이다. 이 모델은 해마의 CA1 영역이 가치 신호를 처리하고 표현한다는 발견에 기반을 두고 있다. 우리는 이 장에서 이 문제를 자세히 살펴보고, 그 과정에서 강화학습과 의사결정 신경과학을 간략히 개관할 것이다.

가치, 효용, 그리고 가치 함수

지난 20년간 가치 기반 의사결정의 신경학적 기초를 이해하는 데 많은 진전이 있었다. 이 주제를 연구하는 데 있어 중심 가정은 인간과 동물이 잠재적 선택에 대한 가치를 표현함으로써 선택을 한다는 것이다. 의사결정 신경과학 분야에서 가치(value)는

장기적 기대 수익을 의미한다. 경제학에서 이와 밀접하게 관련된 개념은 효용(utility)으로, 제품이나 서비스를 소비함으로써 얻을 수 있는 유용성이나 즐거움을 의미한다. 스마트폰이 필요하고 비슷한 가격의 두 가지 특정 모델, 즉 애플 아이폰과 삼성 갤럭시를 고려하고 있다고 가정해보자. 각 스마트폰에서 얻을 수 있는 주관적 만족도는 사람마다 다를 것이다. 아이폰이 갤럭시 폰보다 당신에게 더 큰 효용을 가질 수도 있고, 그 반대일 수도 있다. 당신은 가장 큰 효용을 가진 것을 구매할 가능성이 높다. 현재 주류 경제학인 신고전주의 경제학은 사람들(호모 이코노미쿠스)이 효용을 극대화하기 위해 선택한다는 가정에 기반을 두고 있다.

의사결정 신경과학에서 가치 개념은 인공지능의 한 분야인 강화학습(reinforcement learning)에서 가치 함수(value function)로 불린다. 왜 이 인공지능 분야가 강화학습으로 알려져 있는가? 경제학은 소비자와 기업이 의사결정에 대한 완전하고 관련성 있는 정보를 바탕으로 효용을 극대화하려 한다고 가정함으로써 경제적 문제를 설명하고 예측하려 한다. 대조적으로, 강화학습은 의사결정자가 불확실하고 역동적인 환경과 상호작용하면서 정확한 가치 함수와 최적의 선택 전략을 찾는 방법에 초점을 맞춘다. 다시 말해, 강화학습은 진정한 가치 함수를 근사하고 장기적 수익을 극대화하기 위한 최적의 선택 전략을 찾는 학습 과정에 관심이 있다. 강화학습은 의사결정에 대한 신경과학적 연구를 위한 주요 이론적 틀을 제공함으로써 현대 의사결정 신경과학의 토대를 마련했다.

보상 예측 오류

뇌는 어떻게 가치를 처리하고 표현하는가? 이 주제가 신경과학자들 사이에서 인기를 얻게 된 것은 2000년대에 들어서였다. 그 전에 신경과학자들은 뇌를 계산 장치처럼 다루며 감각 처리와 행동 제어 뒤에 있는 계산 과정에 초점을 맞추는 경향이 있었다. 카푸치노와 라떼 중 선택하는 것과 같이 개인의 취향에 따라 달라질 주관적 가치에 기반한 의사결정의 신경 과정에 관심을 가진 신경과학자는 거의 없었다. 다시 말해, 신경과학자들은 뇌가 왜 다른 행동보다 한 행동을 선택하는지보다는 뇌가 어떻게 감각 정보를 처리하고 행동을 제어하는지에 관심이 있었다. 이러한 경향의 극적인 변화는 1997년에 발표된 도파민 뉴런에 관한 이론적 논문에 의해 촉발되었다. /uniF6DC

가치 기반 의사결정

이 논문의 영향을 더 명확히 이해하려면 보상 예측 오류가 무엇인지 이해해야 한다. 앞서 언급했듯이, 강화학습은 불확실하고 역동적인 환경과 상호작용하면서 정확한 가치 함수를 찾는 과정을 다룬다. 어떻게? 가장 간단한 방법은 시행착오를 통하는 것이다; 당신은 선택의 결과(실제 보상)에 따라 현재의 가치 함수(기대 보상)를 업데이트한다. 이 과정을 여러 번 반복하면 주관적 가치 함수는 진정한 가치 함수로 수렴할 것이다.

점심으로 선택할 수 있는 다섯 개의 레스토랑이 있다고 가정해보자. 처음에는 그것들에 대한 당신의 가치 함수(각 레스토랑에서 얻을 수 있는 주관적 만족도)가 비슷할 것이지만, 일정 기간 동안 여러 번 방문하면서 곧 차이가 날 것이다. 특정 레스토랑의 식사가 기대보다 좋았다면 그 레스토랑에 대한 가치 함수를 높이고, 반대로 더 나빴다면 가치 함수를 낮춘다. 이런 식으로 레스토랑 방문을 반복하면 그것들에 대한 가치 함수가 진정한 가치 함수에 가까워질 것이다. 그러나 세상은 정적이지 않다. 우리 예에서 특정 레스토랑이 새 메뉴를 내놓거나 새 요리사를 고용할 수 있으며, 이는 현재의 가치 함수를 레스토랑의 진정한 가치 함수에서 벗어나게 만들 것이다. 그럼에도 불구하고 레스토랑을 방문할 때마다 가치 함수를 업데이트한다면, 당신의 가치 함수는 결국 변화를 따라잡고 새로운 진정한 가치 함수에 근사할 것이다.

이 예에서 볼 수 있듯이, 강화학습의 핵심 요소는 실제 보상과 기대 보상의 차이(보상 예측 오류)이다. 결과가 현재 가치 함수보다 좋으면(실제 보상이 기대 보상보다 좋을 때, 양의 보상 예측 오류) 특정 선택에 대한 가치 함수를 높인다. 반대로 결과가 현재 가치 함수보다 나쁘면(실제 보상이 기대 보상보다 나쁠 때, 음의 보상 예측 오류) 그 선택에 대한 가치 함수를 낮춘다. 물론 실제 보상과 기대 보상이 같으면 가치 함수는 수정되지 않는다. 이런 방식으로 강화학습은 불확실하고 역동적인 환경에서 진정한 가치 함수를 근사할 수 있다.

1997년 논문에서 볼프람 슐츠(Wolfram Schultz), 피터 다얀(Peter Dayan), 리드 몬태규(Reid Montague)는 중뇌 도파민 뉴런이 보상 예측 오류를 신호한다는 것을 보여주었다. 뇌의 광범위한 영역에 투사하는 이 뉴런들은 /uniF63A 자발적 운동과 보상 처리에서 중요한 역할을 한다. 도파민 신경계의 이상은 정신분열증, 파킨슨병,

그리고 중독과 같은 다양한 신경학적 및 정신적 장애와 관련이 있다. 보상 처리와 중독에서의 역할에서 예측할 수 있듯이, 일부 중뇌 도파민 뉴런은 보상 전달과 보상 예측 자극에 반응하여 활동을 증가시킨다. /uniF63B 연구자들은 일부 중뇌 도파민 뉴런이 예상치 못한 보상에만 반응한다는 것을 보여줌으로써 이 발견을 확장했다. 그들의 활동은 보상 자체가 아니라 실제 보상과 기대 보상의 차이와 상관관계가 있다.

그림 5.1은 원숭이에서 기록된 샘플 도파민 뉴런의 스파이크 활동을 보여준다. 초기 단계에서는 보상(주스)이

그림 5.1. 원숭이에서 기록된 샘플 도파민 뉴런의 활동. 이 뉴런은 예측 자극 없이 주스가 주어졌을 때 활동이 증가했다(윗줄; R은 보상 전달을 나타냄). 소리 신호(조건 자극 또는 CS)와 주스 전달을 여러 번 짝지은 후(소리 신호가 항상 주스 전달보다 먼저 나타남), 도파민 뉴런은 더 이상 주스 전달에 반응하지 않았다. 대신 뉴런은 소리 신호(보상 예측 자극)에 반응했다(중간 줄). 소리 신호 후 주스 전달이 생략되면, 도파민 뉴런 활동은 예상된 주스 전달 시간에 감소한다(아래줄). 따라서 이 뉴런의 활동은 실제 보상과 기대 보상의 차이(즉, 보상 예측 오류)를 신호한다. 그림은 Wolfram Schultz, Peter Dayan, P. Read Montague, 'A Neural Substrate of Prediction and Reward,' Science 275, no. 5306 (1997년 3월): 1594에서 허가를 받아 재생산함.

가치 기반 의사결정

원숭이에게 산발적으로 주어져 보상 전달 시간을 예측할 수 없었다. 이전 보고서에 따르면, 이 뉴런은 보상 전달에 반응하여 스파이크 활동을 증가시켰다(윗줄). 다음 단계에서는 보상 전달이 항상 1초 전에 소리 신호로 선행되어 보상 전달 시간을 잘 예측할 수 있었다. 이 단계에서 놀랍게도 도파민 뉴런은 주스 전달에 반응하여 활동을 증가시키는 것을 멈췄다(중간 줄). 다시 말해, 이 도파민 뉴런은 예상된 보상에 반응하지 않았다. 더욱이 소리 신호 후 주스 전달이 생략되었을 때(즉, 예상된 보상이 생략됨), 도파민 뉴런은 발화율을 감소시켰다(아래줄). 세 가지 조건에 대해 보상 예측 오류의 크기가 다르다는 것을 쉽게 알 수 있다. 보상 예측 오류는 주스가 예상치 못하게 전달되었을 때 양수였고(예측 자극 없이 산발적 보상 전달; 윗줄), 같은 양의 주스가 예상대로 전달되었을 때 0이었으며(소리 신호 후 보상 전달; 중간 줄), 주스가 예상치 못하게 생략되었을 때 음수였다(소리 신호 후 보상 생략; 아래줄). 이 연구와 후속 연구들은 도파민 뉴런이 실제 보상이 예상보다 크면 활동을 증가시키고, 반대로 실제 보상이 예상보다 작으면 활동을 감소시킨다는 것을 보여주었다. 이 발견은 일부 중뇌 도파민 뉴런이 강화학습의 핵심 변수인 보상 예측 오류에 반응한다는 것을 명확히 보여준다.

가치의 신경적 표현

중뇌 도파민 뉴런이 보상 예측 오류 신호를 전달한다는 발견은 뇌가 가치를 표현하고 실제 선택 결과에 따라 그것들을 업데이트할 수 있음을 시사한다. 다음 중요한 문제는 뇌가 강화학습의 또 다른 핵심 요소인 가치를 표현하는지 여부이다. 이 질문에 대한 답은 명확하다. 후속 연구들은 쥐, 원숭이, 인간의 뇌의 여러 다른 부분에서 가치 관련 신호를 발견했다. 뇌의 이러한 영역의 뉴런들은 보상의 유형, 양, 확률에 따라 활동을 변경한다. /uniF63C 부록 2는 과학자들이 구체적인 예를 들어 가치 코딩 뉴런을 식별하는 방법을 설명한다. 이러한 연구들은 뇌의 광범위한 영역이 강화학습의 두 가지 중요한 요소인 보상 예측 오류와 가치를 표현한다는 것을 밝혀냈다. 또한 동물과 인간의 선택 행동이 많은 행동 설정에서 강화학습 알고리즘으로 잘 설명된다는 것을 보여주었다.

강화학습의 핵심 아이디어는 직관적이다. 당신은 기대에 따라 선택하고 실제 결과에 따라 기대를 업데이트한다. 이 과정을 반복하면 기대가 실제 결과에 접근하고 그에 따라 성과가 향상될 것이다. 뇌에서 보상 예측 오류와 가치 신호의 발견은 가치 기반 의사결정의 신경학적 기초에 대한 추가 연구를 촉진했다. 이 연구 분야인 의사결정 신경과학은 심리학, 경제학, 인공지능과 밀접하게 관련되어 있다. 경제적 결정의 기저에 있는 신경 과정을 연구하기 때문에 신경경제학이라고도 불린다.

해마와 가치

해마는 오랫동안 가치 신호가 아니라 인지 신호, 특히 공간 신호를 표현하는 구조로 여겨져 왔다; 가치 관련 정보는 뇌의 다른 곳에서 표현되는 것으로 생각되었다. 절차 기억이 아닌 선언 기억에서 해마의 역할을 상기해보라(1장 참조). 또한 장소 세포와 외부 환경의 공간 배치를 표현하는 해마의 역할을 상기해보라(인지 지도; 3장 참조). 물론 해마 뉴런이 보상(예: 음식)과 처벌(예: 전기 충격)에 반응한다는 것은 잘 알려져 있다. 그러나 보상과 가치의 개념은 관련되어 있지만 동일하지 않다. 가치는 보상의 유형, 양, 확률과 그것을 얻기 위한 비용을 고려한 비용-편익 분석의 최종 산물이다. 가치는 경제학과 금융에서 투자자가 금융 투자에서 기대하는 이익인 기대 수익과 같은 개념이다. 보상에 대한 해마 반응은 해마 가치 표현과 일치하지만, 단순히 경험한 사건을 표현하는 해마의 역할을 나타낼 수도 있다(즉, 특정 환경에서 특정 보상을 받은 사건을 기억하는 것).

이러한 이유로 해마에서 가치 표현을 조사하는 데 관심이 있는 과학자는 거의 없었다. 그러나 점점 더 많은 발견들이 해마가 가치 표현에 관여하는 많은 뇌 영역 중 하나임을 나타낸다. 지금까지 쥐, 원숭이, 인간의 해마에서 가치 신호가 확인되었다. /uniF63D 아래에서는 해마의 가치 표현과 가치 기반 의사결정에서 해마의 관여를 나타내는 우리 실험실에서 쥐를 사용한 일련의 발견을 요약할 것이다. 우리 실험실은 다른 많은 실험실과 마찬가지로 뇌의 가치 처리를 초기 탐구할 때 전두엽 피질과 기저핵에 초점을 맞췄는데, 이는 그것들이

가치 기반 의사결정

도파민 뉴런 투사의 표적이고 보상 지향 행동에 강하게 관련되어 있기 때문이다. 이 노력의 한 가지 명확한 결론은 가치 처리가 뇌의 편재적 기능이라는 것이었다; 우리는 쥐 뇌의 광범위한 영역에서 가치 반응 뉴런을 발견했다. /uniF63E

원숭이와 인간 연구에서도 뇌의 광범위한 영역이 가치 처리에 관여한다는 것이 나타났다. /uniF63F 이는 가치 표현이 뇌의 진화적으로 보존된 기능임을 시사한다. 같은 기능이 많은 뇌 영역에 걸쳐, 때로는 전신에 걸쳐 중복적으로 발견되는 경우가 종종 있다. 예를 들어, 생체 시계는 하나의 마스터 시계로도 일주기 리듬을 제어하기에 충분하지만 우리 몸의 거의 모든 세포에서 발견된다. 진화는 /uniF640 처음부터 완전히 새로운 시스템을 발명하는 것이 아니라 이미 존재하는 시스템을 수정하고 개선하는 땜질(tinkering) 과정이다. 따라서 중복 기능은 진화에 깊이 뿌리박혀 있을 가능성이 높다. 일반적으로 주어진 기능이 더 중복될수록 생존과 번식에 필수적일 가능성이 높다. 잠재적 선택의 가치를 표현하고 그에 기반한 최적의 선택을 하는 것은 생존과 번식에 중요할 것이다. 그러므로 뇌 전체에서 가치 신호를 발견하는 것은 놀라운 일이 아닐 수 있다.

우리가 뇌의 다양한 영역에서 가치 반응 뉴런을 발견하면서, 우리는 해마에서 가치 표현의 가능성에 대해 궁금해했다. 해마는 진화적으로 오래된 구조이고, 가치 기반 의사결정이 생존에 중요할 것이기 때문에, 우리는 해마도 가치 처리에 관여할 수 있다고 생각했다. 당시 대학원생이었던 이현정은 쥐 해마에 미세 전극을 이식하여 이 문제를 조사했다.

CA1에서의 가치 표현

해마가 공간 및 인지 신호를 표현하는 데 특화되어 있다는 전통적인 관점을 고려할 때, 우리는 처음에 해마 가치 신호가 존재한다면 해마 자체보다는 해마의 출력 구조에서 더 강할 것이라고 생각했다. 따라서 우리는 삼시냅스 회로의 최종 단계인 CA1과 CA1 출력을 다른 피질 영역으로 전달하는 해마이행부(subiculum)의 신경 활동을 조사하기로 결정했다(그림 4.1 참조). 우리의 신중한 예측은 가치 신호가 CA1이 아닌 해마이행부에서 발견되거나, 두 영역 모두 가치 신호를 전달한다면 신호가 CA1보다 해마이행부에서 더 강할 것이라는 것이었다. 이 예측은 틀렸다.

현정은 목마른 쥐들이 서로 다른 확률로 물 보상을 제공하는 두 표적 사이에서 선택하도록 훈련시켰다. 보상 확률은 정적이지 않고 예측할 수 없게 시간에 따라 변했다. 따라서 쥐들은 역동적이고 불확실한 환경에서 어느 표적을 선택할지 결정해야 했다. 이러한 상황에서 물 섭취를 최대화하려면, 쥐들은 과거 선택과 그 결과의 역사를 바탕으로 두 표적의 보상 확률(두 표적 선택의 가치)을 파악하고 상대적 가치(즉, 보상 확률)를 고려하여 두 표적에 선택을 분배해야 했다. 이 과정은 강화학습으로 잘 포착된다. 실제로 이 과제에서 쥐의 선택 행동은 단순한 강화학습 모델로 잘 예측되었으며, 이는 쥐들이 과거 선택과 그 결과의 역사를 바탕으로 두 표적에 대한 가치를 추정하고 업데이트했음을 시사한다. 현정은 강화학습 모델을 사용하여 두 표적에 대한 시행별 가치를 추정하고 시행별 활동이 가치와 상관관계가 있는 뉴런이 있는지 테스트했다. 가치 코딩 뉴런을 찾는 절차에 대한 자세한 설명은 부록 2를 참조하라.

놀랍게도 강한 가치 신호가 해마이행부가 아닌 CA1에서 발견되었다. /uniF641 CA1 뉴런의 큰 부분이 가치에 반응했지만, 해마이행부 뉴런은 작은 부분만이 가치에 반응했다(가치 코딩 CA1 뉴런의 샘플은 부록 2에 표시됨). 우리는 놀랐지만 동시에 이 예상치 못한 발견에 흥분했다. 과학자에게 당혹스럽지만 스릴 있는 순간은 예상치 못한 결과에 직면할 때 발생한다. 나는 1986년 캘리포니아 대학교 어바인 캠퍼스에서 대학원생으로 신경과학 경력을 시작했다. 나는 오랫동안 해마 기능의 기저를 이루는 신경회로 과정에 대해 생각했지만, 특히 해마 기능에서 CA1의 역할에 관해서는 만족스러운 답을 찾을 수 없었다. 그러나 CA1이 강한 가치 신호를 표현한다는 이 예상치 못한 발견은 돌파구를 제공했다; 우리는 이 발견을 바탕으로 해마 회로 작동의 본질을 포착한다고 생각하는 해마의 새로운 모델을 고안할 수 있었다. 이 모델은 6장에서 자세히 설명될 것이다.

CA3에서의 가치 표현

우리는 해마이행부가 아닌 CA1이 강한 가치 신호를 표현한다는 발견에 충격을 받았다. 주로 인지 정보와 관련이 있는 것으로 알려진 해마가 왜 가치 신호를 표현하는가? 해마 인지 신호 처리는 가치 신호에 의해 어떻게 영향을 받는가?

가치 기반 의사결정

해마 기능에서 가치 신호의 역할은 무엇인가? 이러한 문제를 조사하기 위한 단계로, 우리는 CA1의 주요 입력 구조인 CA3도 가치 신호를 표현하는지 조사했다. 당시 대학원생이었던 이성현은 CA3와 CA1의 가치 신호를 비교했다. /uniF6DC/uniF639 결론은 명확했다. 가치 신호는 CA1보다 CA3에서 훨씬 약했다. 이 결과는 CA3가 CA1 가치 신호의 원천이 아님을 나타낸다. 또한 가치 신호가 CA1에서는 강하지만 주요 입력(CA3) 및 출력(해마이행부) 구조에서는 약하다는 사실은 가치 표현이 해마 하위 영역 중 CA1의 특별한 특성일 수 있음을 시사한다.

CA1이 비활성화되면 어떻게 되는가?

지금까지의 결과는 많은 CA1 뉴런의 스파이크 활동이 두 표적의 가치와 상관관계가 있음을 보여주는 상관 연구의 결과이다. 일반적으로 상관 연구와 중재 연구는 서로 보완한다. 중재 연구에서는 뇌의 특정 부분을 활성화하거나 억제하고 행동에 미치는 결과를 조사한다. 상관 접근법과 중재 접근법이 모두 수렴하는 결과를 산출할 때 특정 뇌 구조가 특정 기능에서 필수적인 역할을 한다고 어느 정도 확신을 가지고 결론을 내릴 수 있다. 우리의 경우, CA1이 강한 가치 신호를 처리하고(상관 접근법) CA1 비활성화가 가치 기반 의사결정을 손상시킨다면(중재 접근법) CA1의 가치 처리 관여에 대한 강력한 증거가 될 것이다. 물론 상관 접근법과 중재 접근법이 항상 수렴하는 결과를 산출하는 것은 아니다. 특정 기능과 관련된 강한 신경 신호가 뇌 구조에서 발견되더라도, 그것의 비활성화는 행동적 결과를 가지지 않을 수 있다. 이는 주어진 기능이 여러 뇌 구조에 의해 중복적으로 제공될 수 있기 때문이다.

이러한 배경으로, 우리는 생쥐의 CA1 비활성화의 행동적 결과를 조사했다. 이 작업은 당시 대학원생이었던 정영석이 수행했다. 사실 나는 이 연구를 수행하는 것을 다소 꺼려했다. 앞서 언급했듯이, 가치 신호는 뇌의 광범위한 영역에서 발견된다. 더욱이 수많은 연구들이 가치 기반 의사결정에서 전두엽 피질과 기저핵의 중요성을 나타냈다. 따라서 해마가 비활성화된 동물들은 가치 기반 의사결정을 위해 이러한 신경계에 의존할 수 있을 것으로 보였다. 더욱이 많은 연구들은 기저핵에 의해 매개되는 것으로 믿어지는 점진적 가치 학습보다는 선언적 기억의 빠른 부호화에서 해마의 역할을 나타냈다(1장 참조). /uniF6DC/uniF6DC 이러한 이유로 나는

CA1 비활성화가 시행 결과에 따라 시행별 가치 조정이 필요한 과제에서 쥐의 선택 행동에 최소한의 영향을 미칠 것이라고 예측했다. 그럼에도 불구하고 이 실험은 CA1이 강한 가치 신호를 표현한다는 발견을 추적하기 위해 필요했다. 이는 대학원생이 그다지 열정적이지 않을 수 있는 유형의 연구이다. 일반적으로 부정적인 발견(즉, CA1 비활성화가 행동에 영향을 미치지 않음)을 발표하기는 어렵다. 우리의 경우, CA1 비활성화가 동물의 선택 행동에 영향을 미치지 않는다면, 비활성화 효과의 부재가 CA1이 가치 기반 의사결정에 필요하지 않기 때문인지 아니면 CA1이 충분히 비활성화되지 않았기 때문인지 알기 어려울 것이다. 감사하게도 이러한 주의사항에도 불구하고 영석은 거의 망설임 없이 이 연구를 수행하기로 동의했다.

내 예측은 다시 한 번 틀렸다. 영석은 CA1 비활성화가 생쥐의 선택 행동을 변경하여 물을 얻는 데 덜 성공적이 되도록 한다는 것을 발견했다. /uniF6DC/uniF63A 그는 화학유전학으로 알려진 기술을 사용하여 해마의 다른 하위 영역(CA1, CA2, CA3, 치상회)을 선택적으로 비활성화하고 생쥐의 선택 행동을 조사했다. /uniF6DC/uniF63B 그런 다음 강화학습 모델을 사용하여 가치 기반 의사결정의 어떤 측면이 영향을 받았는지 연구했다. 그는 CA1 비활성화가 가치 학습을 손상시킨다는 것을 발견했다; 선택 결과에 기반한 가치 업데이트 과정(즉, 보상 예측 오류에 기반한 가치 업데이트)이 CA1 비활성화 생쥐에서 손상되었다. 대조적으로, CA2, CA3 또는 치상회의 비활성화는 생쥐의 선택 행동에 전혀 유의미한 영향을 미치지 않았다. 나는 이 발견에 다시 한 번 놀랐다. 내 추정으로는 긍정적인 발견을 얻을 확률이 50% 미만이었다. 우리는 이 발견을 동료 심사 저널에 발표하는 데 어려움을 겪었다. 이는 아마도 해마가 사실과 사건의 빠른 부호화에는 중요하지만 점진적 가치 학습에는 중요하지 않다는 분야의 오랜 견해 때문일 것이다.

CA1: 가치 전문가

쥐와 생쥐에서의 발견을 요약해보자. 첫째, CA1은 강한 가치 신호를 표현하지만, 주요 입력 및 출력 구조인 CA3와 해마이행부는 각각 가치를 약하게만 표현한다. 둘째, CA1 비활성화는 가치 기반 의사결정을 손상시키지만, 치상회, CA2 또는 CA3 비활성화는 동물의 선택 행동에 유의미한 영향을 미치지 않았다. 이러한 발견의 메시지는 명확하다. 해마 하위 영역 중 CA1의 고유한 특성인 가치 표현은 CA1 기능에서 중요한 역할을 할 가능성이 높다.

가치 기반 의사결정

해마는 전통적으로 인지 정보, 특히 공간 정보를 처리하는 것으로 생각되어 왔다. 이러한 관점에서 CA1의 기능은 당혹스러운데, 이는 CA3와 CA1 뉴런 사이의 공간 발화 패턴이 유사하기 때문이다. 물론 CA3와 CA1 장소 세포 특성 사이에는 미묘한 차이가 발견되지만, 전반적으로 그것들은 매우 유사하다. CA3와 CA1 사이의 기능적 차별화에 관해서, CA3와 CA1 모두 공간 정보(인지 지도)를 표현하는가? 그렇다면 왜 우리는 CA3와 CA1이 모두 필요한가? CA3만으로도 외부 공간 정보를 표현하기에 충분하지 않은가? 이 문제에 대해 수많은 이론이 존재하지만, 나에게는 아무것도 설득력이 없다. 우리의 발견은 이 오랜 문제에 대한 새로운 관점을 제공한다. CA1이 모든 해마 하위 영역 중 가치 전문가라는 것은 CA1의 기능적 역할을 이해하는 단서를 제공한다.

지금까지 우리는 해마 신경망이 기억과 상상을 지원하는 방법을 이해하기 위한 퍼즐 조각들을 살펴보았다. 6장에서는 전체 퍼즐을 보기 위해 그것들을 함께 맞추려고 노력할 것이다.