6장

보상받는 미래를 기억하기

해마에 대한 연구는 정말 많이 진행되어 왔습니다. 2022년 4월 기준으로 의학 논문 검색 사이트인 PubMed에 '해마'라고 검색하면 17만 개가 넘는 연구 논문이 나옵니다. 이 연구들 덕분에 우리는 해마에 대해 정말 많은 것을 알게 되었습니다. 해마의 구조, 화학적 특성, 생리 기능, 발달 과정, 그리고 각종 뇌 질환과의 관계까지 말이죠.

저는 앞선 장들에서 해마의 기억과 상상 기능을 이해하는 데 특히 중요한 연구들을 선별해서 소개했습니다. 간단히 정리하면 이렇습니다: 해마는 과거를 기억할 뿐만 아니라 미래를 상상하는 데도 관여합니다. 우리가 잠들거나 쉴 때 해마에서는 '예리파-리플'이라는 특별한 뇌파와 함께 경험을 다시 재생하는 현상이 일어납니다. CA3라는 해마 부위는 뉴런끼리 서로 연결되어 연쇄 반응을 일으킬 수 있는 특별한 구조를 가지고 있고, CA1이라는 부위는 가치를 판단하는 신호를 처리합니다. 이 장에서는 이런 발견들을 종합한 '시뮬레이션-선택 모델'이라는 새로운 이론을 살펴보겠습니다.

시뮬레이션-선택 모델이란?

이 모델의 핵심 아이디어는 매우 간단합니다. CA3는 우리가 쉬거나 잠들 때 다양한 상황을 머릿속에서 시뮬레이션합니다. 그러면 CA1이 그중에서 가치 있고 유용한 것들을 골라내어 강화합니다. 마치 여러 시나리오를 머릿속에서 연습해보고, 그중 좋은 것들을 기억해두는 것과 같죠. 이렇게 하면 나중에 비슷한 상황에서 더 나은 선택을 할 수 있게 됩니다.

저와 동료들은 2018년에 이 이론을 발표했습니다. 우리는 해마가 단순히 과거를 기억하는 장치가 아니라, 미래를 대비해 유용한 시나리오를 미리 연습하고 준비하는 장치라고 제안했습니다. 이 기능은 CA3와 CA1이라는 두 개의 네트워크가 협력해서 수행합니다.

언뜻 보기엔 비효율적으로 보일 수 있습니다. 왜 하나가 아니라 두 개의 네트워크가 필요할까요? 하지만 시뮬레이션과 선택을 분업하면 훨씬 다양한 상황을 준비할 수 있습니다. 만약 한 네트워크가 두 가지 일을 다 한다면, 상상할 수 있는 시나리오의 다양성이 크게 줄어들 것입니다. 마치 요리사와 심사위원이 따로 있는 요리 대회가 요리사가 자기 요리를 스스로 평가하는 것보다 더 공정하고 다양한 결과를 낳는 것과 비슷합니다.

CA3는 상상력의 엔진

왜 CA3를 시뮬레이터라고 부를까요? 앞서 살펴본 것처럼 해마는 상상에 중요한 역할을 합니다. 특히 우리가 쉬거나 잠들 때, 실제로 경험하지 않은 새로운 경로나 상황을 머릿속에서 만들어냅니다.

그런데 이런 상상의 시나리오는 해마의 어디에서 만들어질까요? 대부분의 과학자들은 CA3를 지목합니다. CA3의 뉴런들은 거미줄처럼 서로 촘촘히 연결되어 있어서, 한 뉴런이 활성화되면 다른 뉴런들도 연쇄적으로 활성화됩니다. 마치 도미노처럼 말이죠. 반면 CA1은 이런 상호 연결이 훨씬 약합니다.

그렇다면 CA3는 어떻게 새로운 시나리오를 만들어낼까요? 왜 과거에 일어났던 일을 그대로 반복하지 않을까요?

여기에는 여러 이유가 있습니다:

1. 뇌 신호는 확률적입니다: 뉴런 사이의 신호 전달은 100% 확실하지 않고 확률적으로 일어납니다.

2. 뇌 상태가 다릅니다: 활발히 활동할 때와 쉴 때의 뇌 상태는 완전히 다릅니다. 활동할 때는 세타파가, 쉴 때는 느린 파동이 주를 이룹니다.

3. 억제 신호가 약해집니다: 쉴 때는 뇌 활동을 제어하는 억제 신호가 약해져서 더 자유로운 활동이 가능합니다.

4. 감각 입력이 다릅니다: 깨어있을 때와 잠들었을 때 받는 감각 정보가 완전히 다릅니다.

5. 연결이 약하고 많습니다: CA3는 강한 연결 몇 개가 아니라 약한 연결 수만 개로 이루어져 있습니다. 각 CA3 뉴런은 약 12,000개의 다른 뉴런으로부터 신호를 받습니다.

이런 특성들 때문에 CA3는 과거를 정확히 재현하는 대신, 과거 경험을 바탕으로 새로운 시나리오를 만들어냅니다. 이 '무작위성'은 버그가 아니라 오히려 중요한 기능입니다. 덕분에 다양한 새로운 상황을 상상할 수 있게 되는 거죠.

CA1은 가치 판단의 심판관

CA3가 만들어낸 시나리오들은 어떻게 될까요? 기존 이론에서는 이런 시나리오들이 뇌의 다른 부위(복측 선조체나 안와전두피질 같은 곳)에서 평가될 거라고 생각했습니다. 하지만 우리 연구 결과는 CA1 자체가 바로 가치를 판단하는 전문가라는 것을 보여줍니다.

CA1은 CA3에서 만들어진 시나리오들을 그 가치에 따라 다르게 처리합니다. 예를 들어, 보상으로 이어지는 좋은 시나리오는 통과시키고 강화하지만, 별로 유용하지 않은 시나리오는 걸러냅니다. 물론 이것은 전부 아니면 전무의 과정이 아닙니다. 가치가 높을수록 통과 확률이 높아지는 것이죠.

실제로 연구 결과를 보면, 보상 위치 근처의 CA1 뉴런들은 예리파-리플 동안 더 활발하게 재활성화됩니다. 반면 CA3 뉴런들은 이런 보상 의존적 활성화를 보이지 않습니다. 또한 인간 연구에서도 높은 보상과 관련된 상황이 휴식 중에 더 자주 재활성화되는 것이 관찰되었습니다.

이런 선택 과정의 결과는 명확합니다. 가치 있는 시나리오들이 강화되면, 미래에 비슷한 상황에서 더 나은 선택을 할 수 있게 됩니다.

치상회의 역할

지금까지 CA3와 CA1에 집중했는데, 해마에는 치상회라는 또 다른 중요한 부분이 있습니다. 치상회는 무엇을 할까요?

가장 인기 있는 이론은 '패턴 분리'입니다. 비슷한 기억들을 서로 구별되게 만들어서 혼동을 막는다는 것이죠. 하지만 저와 동료 이종원 교수는 다른 견해를 가지고 있습니다. 우리는 치상회가 다양한 감각 정보를 하나로 묶어서 '내가 지금 어디에 있는지'를 파악하게 해준다고 생각합니다.

간단히 말해서, 해마의 세 부분은 이렇게 협력합니다:

• 치상회: 감각 정보를 묶어서 현재 상황 파악
• CA3: 다양한 시나리오 시뮬레이션
• CA1: 가치 있는 시나리오 선택과 강화

이 모델이 설명하는 것들

시뮬레이션-선택 모델은 아직 완전히 검증된 것은 아니지만, 기존 이론으로 설명하기 어려웠던 많은 현상을 설명할 수 있습니다:

1. 왜 해마가 기억과 상상 둘 다 담당할까? - 미래를 준비하기 위해 과거를 활용하기 때문입니다.

2. 왜 기억이 왜곡되기 쉬울까? - 정확한 재현이 아니라 유용한 시나리오 생성이 목적이기 때문입니다.

3. 왜 해마가 가치를 판단할까? - 유용한 시나리오를 선별하기 위해서입니다.

4. 왜 CA3와 CA1이 둘 다 필요할까? - 시뮬레이션과 선택을 분업하기 위해서입니다.

또한 이 모델은 두 가지 중요한 새로운 관점을 제공합니다:

첫째, 목표 지향적 행동의 통합 설명: 기존에는 공간 정보(해마)와 가치 정보(다른 뇌 부위)가 따로 처리된다고 생각했지만, 이 모델에서는 둘 다 해마에서 통합적으로 처리됩니다.

둘째, 기억 강화의 새로운 이해: 기억 강화는 단순히 경험을 굳히는 과정이 아니라, 미래에 유용한 전략을 찾고 강화하는 적극적인 과정입니다.

DYNA 알고리즘과의 유사성

흥미롭게도, 이 시뮬레이션-선택 모델은 인공지능 분야의 DYNA 알고리즘과 매우 비슷합니다.

로봇 청소기를 예로 들어보겠습니다. 복잡한 가구 배치가 있는 방을 효율적으로 청소하려면 어떻게 해야 할까요? 실제로 청소하면서만 학습한다면 최적의 경로를 찾는 데 몇 달이 걸릴 수 있습니다.

DYNA 알고리즘(1991년 David Sutton 제안)의 해결책은 이렇습니다:

1. 실제 청소하면서 학습 (경험 학습)
2. 가만히 있으면서 머릿속으로 시뮬레이션 (오프라인 학습)

이는 우리 뇌의 시뮬레이션-선택 모델과 놀라울 정도로 비슷합니다. 둘 다 제한된 경험을 바탕으로 시뮬레이션을 통해 빠르게 학습합니다.

이것이 왜 중요할까요? 실제 세상은 위험하고 빠르게 변합니다. 포식자는 당신이 천천히 학습할 때까지 기다려주지 않습니다. 환경도 계속 변합니다. 만약 방의 가구 배치가 3개월마다 바뀌는데 로봇이 최적 경로를 찾는 데 1년이 걸린다면, 영원히 효율적인 청소를 할 수 없을 것입니다.

시뮬레이션-선택을 통한 빠른 학습은 이런 문제를 해결합니다. 우리 뇌는 잠들 때나 쉴 때 미래를 위한 준비를 하고 있는 것입니다.