AI 모델을 훈련하면, 데이타를 주면 처음엔 외운다. 문제-답, 문제-답, 이렇게 외우기 때문에 외운 문제 외의 응용문제를 주면 전혀 맞추지 못한다. 근데 이 훈련을 반복하면 어느 순간 갑자기 정확한 답을 내놓기 시작한다. 서서히 맞추는 비율이 높아지는 게 아니라 0%에서 거의 90% 이상으로. 반복 학습 과정에서 신경망 내부 표현이 구조화되면서 일반화 능력이 생긴다. 배운다는 게 무엇인가, 어떻게 이뤄지는 것인가 궁금해지 게 만든다.

덧셈을 어떻게 배우는가 연구해보니, 더하기 문제를 주면 문제와 답을 외우기만 하다가, 어느 순간에 답을 맞추기 시작하는데, 내부 작동 원리를 보니 cos(x)cos(y)−sin(x)sin(y)=cos(x+y) 라는 방식으로 두 수를 더하는 방식을 개발해서 더하고 있었다. 하나와 둘이 합쳐져서 셋이 된다기 보다 웨이브 패턴을 그려 답일 경우에만 나타나는 패턴을 인식한다. 산수를 배우기 위해 기하학을 사용했다. 입력을 고차원 공간에서 주기적 함수처럼 임베딩하고 그 패턴을 활용했다.

뛰는 법을 배우기 위해 랜덤한 동작 수만가지를 동시에 시뮬레이션해서 그 중 가장 앞으로 잘 나가는 놈들에 보상을 주면 육상선수처럼 아름다운 모습은 아니고 기괴한 모습으로 앞으로 굴러가는 로봇 모델들을 볼 수 있지만, 어쨌건 앞으로 빨리 가는 건 성공하는 것과 비슷하다.