1940년대 인공신경망(ANNs Artificial Neural Networks)은 뇌를 모방하려는 야심에서…

1940년대 인공신경망(ANNs Artificial Neural Networks)은 뇌를 모방하려는 야심에서 출발했다. 맥컬럭과 피츠가 제안한 단순 모델은 뉴런이 입력을 받고 임계치를 넘으면 출력을 내는 논리 게이트처럼 작동했다. 당시 학자들은 “머신이 곧 뇌처럼 사고할 수 있다”는 구상을 가졌다. 그러나 이 초기 모델은 단순한 흉내에 불과했고, 시간이 지나면서 뇌과학과 인공지능은 서로 다른 길로 흩어졌다. 뇌과학은 인간의 뉴런이 얼마나 복잡한 화학적·전기적 과정을 거치는지, 시냅스 가소성, 장기 강화, 억제 신호, 심지어 글리아세포까지 학습과 인지에 관여한다는 사실을 하나씩 밝혀냈다. 초기 AI 연구자들의 짐작과 달리 뇌는 단순한 전선망이 아니라 동적이고 다층적인 생물학적 시스템이라는 점이 드러난 것이다. 반대로 AI 연구는 뇌를 정밀 재현하려는 집착을 내려놓고, 단순화된 수학적 모델, 자료와 처리능력 대량화에서 돌파구를 찾았다. 역전파(backpropagation) 같은 알고리즘은 실제 뇌에는 존재하지 않지만, 기계 학습에는 탁월하게 효과적이었다. 여기서 아이러니가 생긴다. 뇌를 정확히 흉내내지 못한, 뇌에 대한 오해에 바탕한 신경망이 오히려 언어, 이미지, 전략 게임 등에서 눈부신 성과를 냈다. 결과적으로 인공신경망은 생물학적 사실과는 거리가 멀지만, 강력한 패턴 인식과 함수 근사 도구로 자리 잡았다. 물론 뇌과학의 발견을 반영하려는 노력도 꾸준히 이어졌다. 예를 들어, 시각 피질 연구에서 비롯된 ‘수용장(receptive field)’ 개념은 합성곱 신경망(CNN)의 구조적 기초가 되었고, 보상 회로의 도파민 신호는 강화학습 알고리즘 설계에 아이디어를 주었다. 최근에는 스파이킹 신경망(spiking neural networks)처럼 신경의 발화 시점을 모사하려는 시도도 있다. 그러나 이런 연구들은 주류가 되지 못했다. 이유는 간단하다. 실제 성과는 공학적 단순화에서 더 많이 나왔기 때문이다. 오늘날 딥러닝과 트랜스포머 아키텍처 같은 모델들은 뇌의 생리학과 거의 닮은 점이 없다. 대신 대규모 데이터, 막대한 연산 자원, 정교한 최적화 기법을 바탕으로 급격한 진보를 이루었다. 다시 말해 뇌를 더 닮게 만들려는 노력이 없는 것은 아니지만, 그것이 AI 발전의 핵심 동력이 된 적은 거의 없다. 인간 뇌의 복잡성을 충실히 반영하기보다, 수학적으로 단순하면서도 성능이 검증된 방법에 연구와 산업이 집중된 것이다. 결국 뇌과학과 AI는 같은 뿌리에서 출발했지만 현재는 병렬적으로, 그러나 서로 다른 속도로 달리고 있다. 뇌과학은 인간 정신의 비밀을 탐구하는 학문으로, AI는 실용적 성능을 극대화하는 기술로 발전했다. 그럼에도 불구하고 “신경망”이라는 이름은 여전히 남아 있다. 뇌와는 다르지만, 뇌처럼 학습하고 문제를 푸는 것처럼 보이는 시스템을 가리키는 상징이 된 것이다. 이 점이야말로 AI 발전의 가장 흥미로운 아이러니라 할 수 있다. 사실 인간 뇌에 대한 표면적 이해에서 출발한 모델로도 이 정도 성과를 낸 건 앞으로도 장기적으로는 뇌를 모방하려는 노력이 더 필요할 수도 있다는 뜻이지만, 당장은 GPU 등 하드웨어적 아키텍쳐에서 구현하기에 효율적인 방식이 선호된다. 아직 딥러닝이 도달하지 못한 뇌의 에너지 효율, 일반화 능력, 환각 회피(집중력?) 등은 미래에 뇌의 원리를 더 깊이 반영한 모델이 해결하게 될지도 모른다.