6장

보상받는 미래를 기억하기

해마를 대상으로 한 많은 연구들이 수행되어 왔다. 2022년 4월 기준으로, PubMed(생물학 및 의학 출판물 검색 엔진)에 '해마(hippocampus)'라는 단어를 입력하면 170,000개 이상의 출판물이 검색된다. 이러한 연구들은 해마에 대한 우리의 이해에 크게 기여해왔다. 우리는 이제 해마의 해부학, 생화학, 생리학, 발달, 기능, 그리고 신경학적 및 정신 질환과의 관련성에 대해 많은 것을 알고 있다. 나는 이전 장들에서 해마의 기억과 상상 기능을 뒷받침하는 신경 회로 작동을 이해하는 데 중요하다고 생각하는 몇 가지 연구들을 선택적으로 소개했다. 요약하자면, 해마는 과거 경험을 기억하는 것뿐만 아니라 미래 사건을 상상하는 데에도 관여한다; 예리파-리플(sharp-wave ripples)과 해마 재생(hippocampal replays)은 수면과 휴식 상태 동안 해마에서 일어난다; CA3는 CA1과 달리 자기 흥분과 순차적 발화를 가능하게 하는 대규모 재귀 투사를 가지고 있다; CA3는 예리파-리플을 생성하고 CA1은 가치 신호를 나타낸다. 우리는 이 장에서 이러한 발견들의 종합인 시뮬레이션-선택 모델(simulation-selection model)을 검토할 것이다.

시뮬레이션-선택 모델

이 모델의 주요 아이디어는 간단하다: CA3는 휴식과 수면 중에 대규모 재귀 투사를 기반으로 다양한 사건 순서를 생성하고(시뮬레이션), CA1은 가치 의존적 신경 활동을 기반으로 높은 가치의 순서를 우선적으로 강화한다(선택). 이런 방식으로, 높은 가치의 사건과 행동을 나타내는 신경 활동 순서가 우선적으로 강화되어 유사한 상황에서 미래에 선택될 가능성이 높아진다. 이것은 우리가 미래에 더 나은 선택을 할 수 있게 해준다.

나는 동료들과 함께 2018년에 이 모델을 제안했다. 우리는 해마가 단순히 과거에 일어난 일을 기억하는 것이 아니라 미래를 위해 높은 가치의 사건과 행동을 시뮬레이션하고 강화한다고 제안했다(미래 계획에서 해마의 역할에 대한 아이디어는 수많은 과학자들에 의해 제안되어 왔다; 우리 논문과 그 안의 참고문헌을 참조하라). 우리는 또한 해마의 이러한 기능이 CA3-CA1 네트워크에서 구현된다고 제안했다. 이는 언뜻 보기에 비효율적으로 보일 수 있다. 왜냐하면 최적의 선택을 준비하기 위해 하나가 아닌 두 개의 신경 네트워크가 필요하기 때문이다. 그러나 시뮬레이션(CA3)과 선택(CA1)을 별도로 수행하는 두 네트워크는 다양한 미래 상황에 대비하는 데 유용한 광범위한 사건과 행동의 생성과 평가를 가능하게 한다. 만약 우리가 시뮬레이션과 선택 모두를 위해 하나의 네트워크에만 의존한다면, 시뮬레이션된 사건이나 행동의 다양성이 현저히 감소할 것이다. 우리는 논문에서 왜 우리가 해마를 시뮬레이션-선택 장치로 간주하는지, 그리고 시뮬레이션-선택 과정이 CA3-CA1 신경 회로에서 어떻게 구현될 수 있는지를 자세히 설명했다. 아래에서 나는 이 모델의 핵심 논점을 요약할 것이다.

시뮬레이터로서의 CA3

왜 우리는 CA3를 시뮬레이터로 간주하는가? 해마는 상상에서 역할을 한다(1장 참조). 또한 휴식과 수면 중에 경험하지 않은 공간 궤적에 해당하는 장소 세포 발화 순서를 생성한다(3장 참조). 이러한 발견들은 해마가 새로운 활동 순서를 생성한다는 것을 나타낸다. 다르게 표현하면, 경험하지 않은 사건 순서를 시뮬레이션한다.

그렇다면 해마에서 시뮬레이션된 순서는 어디에서 생성되는가? 대부분의 과학자들은 CA3 뉴런이 대규모 재귀 투사로 연결되어 있기 때문에 CA3를 그 원천으로 지목할 것이다(그림 4.2 참조). 대조적으로 CA1은 약한 종방향 재귀 투사만을 가지고 있다. CA3 뉴런이 밀접하게 상호 연결되어 있기 때문에, 일부 CA3 뉴런의 활성화는 다른 뉴런들을 활성화시킬 가능성이 높다(자기 흥분). 이러한 순차적 활성화의 전파는 수면과 휴식 상태 중에 예리파-리플과 함께 발생하는 순차적 장소 세포 발화(즉, 재생)와 잘 맞아떨어진다. 4장에서 언급했듯이, 예리파-리플은 CA3에서 시작되어 CA1로 전파된다. 이러한 발견들은 일관되게 CA3가 시뮬레이션된 순서의 원천임을 나타낸다.

그렇다면 CA3는 예리파-리플 동안 어떻게 새로운 활동 순서를 생성하는가? 왜 과거 활성 상태 동안 일어났던 발화 순서를 단순히 반복하지 않는가? 과학자들은 CA3가 CA3 뉴런 사이의 연결 강도를 변경함으로써 탐색 궤적과 같은 경험된 사건의 기억을 저장한다고 믿는다(그림 4.3 참조). 그러나 다음 요인들은 휴식이나 수면 상태에서 활성 탐색 중과 정확히 동일한 활동 순서를 반복하는 것을 방해할 것이다. 첫째, 신경전달물질의 확률적 방출로 인해 뇌 세포 간의 개별 시냅스 통신은 신뢰할 수 없다. 한 뉴런에서 다른 뉴런으로의 메시지는 확률적으로만 전달된다. 둘째, 뇌 상태는 활성 탐색과 수동 휴식 상태 사이에서 크게 다를 가능성이 높다. 쥐에서는 활성 탐색 중에 세타 주파수 리듬 진동이 우세하지만, 수동 상태에서는 느린 진동과 예리파가 우세하다(그림 3.1 참조). 셋째, 억제성 뉴런 활동은 활성 상태에 비해 수동 상태에서 더 낮다. 따라서 CA3 신경 네트워크는 수동 상태에서 더 느슨하게 제어되는 것으로 보인다. 넷째, 들어오는 감각 입력은 활성 탐색과 휴식 또는 수면 상태 사이에서 크게 다를 수 있다. 마지막으로, CA3는 몇 개의 강한 시냅스가 아닌 많은 개별적으로 약한 시냅스로 상호 연결된 네트워크이다. CA3 네트워크의 특이한 특징은 재귀 투사의 엄청난 수이다. 4장에서 검토했듯이, 각 흥분성 CA3 뉴런은 약 12,000개의 다른 흥분성 CA3 뉴런으로부터 시냅스 입력을 받으며, 이는 받는 모든 시냅스 입력의 약 75%를 차지한다(그림 4.2 참조). 그러나 생리학적 연구들은 재귀 투사 시냅스가 개별적으로 약하다는 것을 보여주었으며, 이는 고충실도 활동 순서 생성에는 불리할 것이다.

요약하자면, CA3는 많은 약한 시냅스로 상호 연결된 네트워크이고, CA3 신경 네트워크 상태는 활성 상태와 수동 상태 사이에서 크게 다르며, 들어오는 감각 입력은 활성 상태와 수면 상태 사이에서 크게 다르고, 억제 조절은 수동 상태에서 약하기 때문에, 비활성 상태에서 활성 탐색 중과 동일한 발화 순서를 반복하기는 어려울 것이다. 결과적으로, CA3가 생성하는 재생은 경험된 순서뿐만 아니라 경험하지 않은 순서로도 구성될 것이다. 이런 점에서 무작위성은 CA3 네트워크의 중요한 기능적 요소일 수 있다. 이는 네트워크가 다양한 경험하지 않은(새로운) 순서를 생성하고 고충실도 기억 장치가 아닌 시뮬레이터로 기능할 수 있게 해줄 것이다.

가치 의존적 선택기로서의 CA1

CA3에서 생성된 재생에는 무슨 일이 일어날까? 일부 연구자들은 해마 재생이 가치 관련 신호를 처리하는 것으로 잘 알려진 복측 선조체(ventral striatum)와 안와전두피질(orbitofrontal cortex)과 같은 뇌 구조에서 평가될 것이라고 제안했다. 이 제안은 해마가 주로 가치 관련 정보가 아닌 공간 및 인지 정보를 처리한다는 오랜 견해와 일치한다. 그러나 우리의 결과는 CA1이 가치 전문가임을 나타낸다. 강한 가치 관련 CA1 신경 활동의 결과는 CA3에서 유래한 신경 신호가 관련 가치에 따라 CA1에서 다르게 처리된다는 것이다. 다시 말해, CA1은 관련 가치에 따라 CA3가 생성한 재생을 필터링할 것이다. 예를 들어, CA1은 보상 위치로 이어지는 공간 궤적에 해당하는 것과 같은 높은 가치의 재생을 우선적으로 통과시키는 반면, 비보상 위치로 이어지는 공간 궤적에 해당하는 것과 같은 낮은 가치의 재생은 걸러낼 수 있다. 물론, 여기서 '선택'과 '걸러내기'는 결코 전부 아니면 전무(all-or-none) 과정을 의미하지 않는다. CA3 재생은 관련 가치가 증가함에 따라 CA1을 통과할 가능성이 더 높아질 것이다. CA3는 아마도 휴식과 수면 상태 동안 엄청난 수의 재생을 생성할 것이다. 우리는 CA1이 이러한 CA3 생성 재생을 관련 가치에 비례하여 처리하여 높은 가치의 재생이 우선적으로 선택되고 강화되도록 한다고 제안한다.

시뮬레이션-선택 과정이 CA3-CA1 신경 회로에서 정확히 어떻게 작동하는지 이해하려면, CA3와 CA1 재생이 관련 가치에 의해 어떻게 영향을 받는지 비교해야 한다. 이 문제를 탐구한 연구는 거의 없지만, 지금까지의 발견들은 시뮬레이션-선택 모델과 일치한다. 예를 들어, 발화 영역이 보상 위치 근처에 있는 CA1 장소 세포는 발화 영역이 보상 위치에서 멀리 있는 세포에 비해 예리파-리플 동안 우선적으로 재활성화된다. 대조적으로, CA3 장소 세포는 예리파-리플 동안 이러한 보상 의존적 활성화를 보이지 않는다. 지금까지 CA3와 CA1 재생의 보상 또는 가치 의존성을 비교한 다른 연구는 없다. 그럼에도 불구하고, 수많은 연구들은 쥐에서 보상이 CA1 재생을 촉진한다는 것을 반복적으로 보여주었다. 인간에서는 에피소드적 미래 사건의 상상이 보상에 의해 향상되고, 높은 보상 맥락에 대한 해마 활동 패턴이 학습 후 휴식 중에 우선적으로 재활성화된다. 이러한 결과들은 CA3가 가치와 무관하게 재생을 생성하는 반면 CA1은 높은 가치의 재생을 우선적으로 처리한다는 제안과 잘 일치한다. 이 작업의 기능적 결과는 명확하다. 높은 가치 순서의 선택은 그러한 순서에 대한 신경 표현을 강화하여 미래에 최적의 선택을 안내할 수 있다.

치상회

우리는 시뮬레이션-선택 모델의 핵심 개념을 검토했다. 특히 시뮬레이션-선택 과정의 신경생물학적 구현과 관련된 더 자세한 내용은 2018년에 동료들과 함께 발표한 논문에서 찾을 수 있다. 우리는 해마 삼시냅스 회로의 또 다른 구성요소인 치상회(dentate gyrus)를 제외하고 CA3와 CA1에 초점을 맞췄다. 치상회는 해마 기능에서 무엇을 하는가? 그리고 그 기능은 CA3-CA1 네트워크의 제안된 시뮬레이션-선택 과정과 어떻게 관련되는가?

현재 패턴 분리(pattern separation)가 치상회 역할에 대한 가장 인기 있는 이론이다. 이 아이디어는 CA3가 연합 기억을 저장한다는 David Marr의 이론과 관련이 있다(그림 4.3). 주요 논점은 치상회가 유사한 입력 패턴을 구별되는 패턴으로 분리하여 CA3가 최소한의 간섭으로 많은 패턴(기억)을 저장할 수 있도록 한다는 것이다. 그러나 이 아이디어가 정적 패턴이 아닌 순서에 대한 기억에 적용될 수 있는지는 불분명하다.

패턴 분리가 주요 기능이라는 것을 의심할 다른 이유들이 있다. 나는 오랜 동료인 이종원과 함께 치상회의 주요 기능이 다양한 감각 신호를 함께 묶어서(bind) '공간 맥락'을 형성하는 것이라고 제안했다. 부록 1에서도 이 문제를 간략히 논의한다. 간단히 말해서, 우리는 해마의 삼시냅스 회로가 우리가 결합-시뮬레이션-선택(binding-simulation-selection)이라고 부르는 것을 수행한다고 생각한다. 치상회는 다양한 감각 신호를 함께 묶음으로써 우리가 어디에 있는지(우리의 공간 맥락)를 인식할 수 있게 하고, CA3와 CA1은 함께 각 공간 맥락에서 높은 가치의 순서를 강화하기 위해 시뮬레이션-선택을 수행한다.

모델의 함의

시뮬레이션-선택 모델은 경험적 검증을 기다리는 이론이다. 그럼에도 불구하고, 이는 기존 이론으로 쉽게 설명할 수 없는 발견들을 일관되게 설명한다. 예를 들어, 이 모델은 왜 해마가 기억뿐만 아니라 상상에도 관여하는지, 왜 기억이 변조되기 쉬운지, 왜 해마가 가치를 나타내는지, 왜 해마가 CA3 외에도 CA1이 필요한지, 그리고 왜 장소 세포 특성이 CA3와 CA1에서 유사한지를 간단한 시뮬레이션-선택 체계로 설명한다. 또한 이 모델은 목표 지향적 행동과 기억 강화의 기초가 되는 신경 과정에 대한 새로운 관점을 제공한다.

첫째, 이 모델은 목표 지향적 공간 탐색의 두 가지 핵심 과정, 즉 공간 및 가치 표현을 단일 신경 메커니즘으로 설명한다. 일반적으로 목표 지향적 공간 탐색은 해마에 표현된 공간 정보와 뇌의 다른 곳에 표현된 가치 정보에 의해 지원된다고 가정된다. 그러나 시뮬레이션-선택 모델에서는 공간 정보와 가치 정보가 모두 해마에 표현된다. 따라서 목표 지향적 공간 탐색은 해마 내의 간단한 시뮬레이션-선택 과정으로 설명될 수 있다. 탐색과 가치 처리에 전용된 두 개의 별도 신경 시스템을 가정할 필요가 없다.

둘째, 이 모델은 기억 강화에 대한 새로운 관점을 제공한다. 우리는 1장에서 기억 강화에 대한 문제와 논쟁을 검토했다. 초기에 형성된 기억이 시간이 지남에 따라 영구적인 기억이 되기 위해 왜, 어떻게 강화되는지는 여전히 불분명하다. 시뮬레이션-선택 모델은 기억 강화가 우발적인 기억을 강화하는 것이 아니라 과거 경험을 바탕으로 최적의 전략을 찾는 과정이라고 가정한다. 이 관점은 기억 강화에 대한 기존 이론과 근본적으로 다르다.

DYNA

미래를 위한 귀중한 옵션을 적극적으로 선택하고 강화하는 과정으로서의 기억 강화는 잘 알려진 기계 학습 알고리즘과 놀라울 정도로 유사하다. 5장에서 언급했듯이, 강화 학습은 역동적이고 불확실한 환경에서 최적의 행동 계획을 찾는 것을 목표로 하는 인공 지능의 한 분야이다. 에이전트는 가치 함수를 기반으로 행동을 선택하고 행동의 결과를 바탕으로 가치 함수를 업데이트한다. 이 반복적인 과정을 통해 에이전트는 진정한 가치 함수를 추적하고 적응적인 선택을 할 수 있다.

그러나 이러한 시행착오 접근법의 단점은 비효율성이다. 종종 진정한 가치 함수에 근사하기 위해서는 엄청난 수의 시행이 필요하다. 이는 최종 목표에 도달하기 위해 긴 일련의 행동이 필요할 때 특히 문제가 된다. 특정 상황(Y)에서 특정 행동(X)을 선택하는 것이 높은 가치인지 낮은 가치인지 알기는 어려울 것이다. 만약 그 상황에서 그 행동을 선택한 결과가 긴 일련의 행동 후에만 드러난다면 말이다. 이것은 일반적으로 강화 학습 알고리즘이 비디오 게임 Montezuma's Revenge를 마스터하는 데 어려움을 겪는 이유를 설명한다. 이 게임에서 주인공 파나마 조는 몬테수마의 피라미드에서 목적지인 보물 방에 도착하기 전에 많은 단계를 거쳐야 한다.

이 어려움을 극복하기 위해 제안된 한 가지 해결책은 오프라인 상태에서 시뮬레이션을 수행하여 시행착오 가치 학습을 보완하는 것이다. 가구로 가득 찬 방을 효과적으로 청소하는 방법을 익히려는 로봇 청소기를 상상해보자. 가구 배치가 복잡하면 전체 바닥을 덮을 수 있는 가능한 궤적이 엄청나게 많기 때문에 방을 청소하는 최상의 전략을 찾는 데 오랜 시간이 걸릴 수 있다. 로봇 청소기가 실제 청소 경험에만 의존한다면, 방에 대한 최상의 전략을 알아내는 데 몇 달 또는 몇 년이 걸릴 수 있다.

이 문제를 해결하는 한 가지 방법은 가능한 궤적을 시뮬레이션하여 가치 함수를 학습하는 것이다. 이것이 David Sutton이 1991년에 제안한 Dyna 알고리즘의 핵심 아이디어이다. 이 알고리즘은 두 단계로 가치 함수를 학습한다: 먼저 환경과 상호 작용하면서 가치 함수를 학습하고(시행착오 학습), 그런 다음 행동을 시뮬레이션하고 그 결과를 평가하여 가치 함수를 학습한다(오프라인 학습). 우리의 예에서, 로봇 청소기는 실제 청소를 통해 다양한 공간 궤적에 대한 가치 함수를 학습한 다음 실제 이동 없이 시뮬레이션을 통해 학습한다. 이는 로봇이 실제로 청소 과정을 수행하지 않고도 엄청난 수의 시행을 평가할 수 있기 때문에 학습 속도를 크게 촉진할 수 있다.

시뮬레이션-선택 모델과 Dyna 알고리즘 사이의 유사성은 놀랍다. 둘 다 제한된 경험을 바탕으로 시뮬레이션을 통해 가치 학습 속도를 증가시킨다. 불확실한 환경에서 정확한 가치 함수를 나타내는 과정은 시행착오 학습에만 의존한다면 오랜 시간이 걸릴 수 있다. 물론 환경이 안정적이라면 결국 정확한 가치 함수를 학습할 수 있다. 그러나 잠재적 포식자와 같은 경쟁자들은 당신이 가치 함수를 정확하게 나타낼 때까지 친절하게 기다려주지 않는다. 밖은 정글이다. 더욱이, 환경은 종종 역동적으로 변한다. 느린 학습으로는 역동적인 환경에서 결코 최적의 선택을 할 수 없을 것이다. 왜냐하면 환경(따라서 진정한 가치 함수)이 당신이 그것을 마스터하기 전에 변할 수 있기 때문이다. 로봇이 시행착오를 통해 방에 대한 최상의 청소 전략을 마스터하는 데 1년이 걸린다고 가정해보자. 또한 방의 거주자와 가구 배치가 3개월마다 바뀐다고 가정해보자. 그렇다면 로봇은 결코 방을 가장 효율적으로 청소할 수 없을 것이다. 이 문제는 시뮬레이션-선택을 사용하여 학습을 가속화함으로써 해결될 수 있다.