Hanul Jeon
POSTS

수학기초론에 대한 몇몇 오해

수학기초론에 대해 키워드 검색을 돌리거나 그냥 인터넷을 쭉 보고 있다 보면 이런저런 이야기들을 보게 되는데, 그 중에서 몇 가지 흔한 오해들을 맞닥뜨리고는 합니다. 이런 오해 중에서는 개념이 어려워서 혼동한 결과 나온 것들도 있고, 사회적인 이유에서 비롯한 것들도 있으며 이게 오해라고 해야 할 지 묘한 지점에 놓인 것들까지 다양합니다. 그 중 제가 봤던 것을 몇 가지 정리해보고자 합니다.

1. “현대대수학에서는 0을 자연수로 보기도 한다”

수학기초론과 연관이 없어 보이는 문장이지만 한때 꽤 퍼졌던 말이고 자연수가 0이냐 마느냐는 수학기초론과 피상적으로나마 연관이 있기 때문에 넣어보았습니다. 해당 문구의 출처는 아마도 계승혁 교수님의 집합론 과목 기말고사에서 나왔던 문제를 설명하는 글인 것으로 보입니다. 원본 글은 찾지 못 했지만, 해당 글의 돌아다니는 캡처본의 내용을 옮겨 적어보겠습니다.

[수리과학부]; 자연수를 하나쓰시오. (단, 해당 답안이, 모든 수강생들이 쓴 자연수의 평균의 절반에 가까울수록 점수가 높아짐.)

교수가 의도한 모범 답안은 수강생 모두가 0을 적어 모두가 승리하는 것 (현대대수학에서는 0도 자연수 취급)그렇지만 당연히 기상천외한 답이 나와서 교수는 자연수 외에 이상한 답을 제외하고 비슷한 점수를 부여함.

문제는 해당 과목은 현대대수 시험이 아니란 것입니다. 그리고 현대대수 내 모든 세부분야가 0을 자연수로 취급하는 것도 아닙니다. 위키피디아에서는 이렇게 명시하고 있기는 합니다:

Mathematicians have noted tendencies in which definition is used, such as algebra texts including 0, number theory and analysis texts excluding 0, logic and set theory texts including 0, dictionaries excluding 0, school books (through high-school level) excluding 0, and upper-division college-level books including 0.

수학들은 (자연수 집합에 대한) 어떤 정의가 쓰이는 지에 대해 경향성에 대해 지적했습니다: 대수학 교재들은 보통 0을 포함, 수론 및 해석학 교재들은 보통 0을 제외, 논리 및 집합론 교재들은 0을 포함. 사전들은 0을 제외. 고교 과정까지의 교과서들은 0을 제외. 학부 수준의 책들은 0을 포함.

대수학 교재와 해석학 교재에 대한 경향성은 Gerald A. Edgar가 지적한 것으로 나와 있습니다. 하지만 이는 경향성에 가깝고 절대적이지 않습니다. 가령, Artin이 쓴 대수학 책에서는 0이 자연수가 아니라고 주장하고 있습니다. 이는 Artin이 대수적 수론을 했다는 데서 기인한 것으로 보입니다. 반면 MacLane이 쓴 대수학 교재나 Hungerford가 쓴 교재에선 0을 자연수라 하고 있는데, 이는 0이 자연수여야만 $(\mathbb{N},+)$이 모노이드가 되기 때문인 것으로 보입니다.

반면, 집합론 및 논리학에서는 매우 높은 확률로 0을 자연수에 포함시킵니다. 왜냐하면 그렇게 해야만 하기 때문입니다. 0이 “당연히 자연수이기 때문에” 포함시킨다는 선험적 사실은 제쳐두고서라도, 각종 정의들에서 0을 자연수에서 빼면 골치아파집니다. 가령, 집합론 안에서 자연수 집합을 구성할 때 자연수가 유한 서수임을 이용하는데, 유한 서수는 0을 포함합니다.

해당 일화가 인용된 과목은 집합론이고, 따라서 집합론 및 논리학 내에서의 관용을 준용했을 가능성이 큽니다. 특히 해당 일화에서 현대대수를 언급해야 할 이유는 없습니다.

2. “학부 수준에서 ‘수학적 기초론’에 빠지는 것은 위험하다.” (이인석 저, “선형대수와 군”, p.55, 주석 22, 개정판 2쇄, 2016, 서울대학교출판문화원.)

해당 분야를 공부하는 입장에서 할 말이 굉장히 많아지는 발언입니다만, 공개적으로 해도 괜찮은 선에서 타협해봅시다. 우선 해당 발언이 나왔을 만한 맥락에 대해 짐작해보는 것부터 합시다. 제가 이인석 교수님의 수업을 직접 들어본 것도 아니고 그 분의 생애에 대해 아는 것도 없으니 순전히 짐작밖에 할 수 없습니다만, 몇 가지 짐작해볼 만한 단서는 있습니다.

이인석 교수님이 쓴 논문들이나 지도교수 (Walter Feit: Mathematics geneaology에는 없지만 학위논문에 기재되어 있음.) 의 연구분야로 미뤄보았을 때 이 분은 “굉장히 구체적인” 수학을 해 왔습니다. 여기서 구체적이라 함은 구체적인 기술이 주어진 대상들을 연구한단 것을 말합니다.

이인석 교수님이 해 오신 분야의 입장에서, 추상적인 분야는 직접 연관되지 않는 한 그렇게 도움되지 않습니다. 다루는 대상이 전부 가산이거나 잘 해야 실수 집합과 같은 크기인 수학을 하는 사람에게 크기가 도달 불가능한 기수인 군에 대한 이론은 별 의미가 없습니다. 한편으로, 수리논리학은 이해까지 가는 과정에서 함정이 많아서 잘못 이해하기 쉽습니다. (이 부분에 대해선 나중에 다시 짚어봅시다.) 어쩌면, 한때 추상적인 분야에 흥미가 있었지만 모종의 계기로, 그리고 자신의 연구에 별 필요하지 않다는 것을 알게 된 이후, 더 알 필요가 없다는 입장을 취하게 된 것처럼 보입니다.

해당 발언의 일면으로, 수학적 기초론을 혼자서 공부하는 것에 위험성이 있는 것은 사실입니다. 이는 제가 기초론을 공부하겠다는 분을 만날 때마다 하는 이야기인데, 해당 분야를 공부할 때 나타날 법한 위험성에 대해 몇 가지 적어봅시다.

해당 분야를 공부할 때의 어려움에 더해서, 나오는 개념들이 여간 추상적이라서 바로 소화시키기 힘들다는 점, 그래서 피상적으로 볼 때 오해하기 쉽다는 점도 문제가 됩니다. 가령, 적지 않은 사람들이 실수 집합의 크기를 $\aleph_1$이라고 합니다. (이는 다른 문항에서 좀 더 다뤄봅시다.) 수학기초론이란 분야가 멋져 보이는 것은 (아마도) 사실이겠지만, 이러한 어려움은 해당 분야를 특히 혼자서 공부하는 데 큰 장벽으로 다가오고, 따라서 잘못 배울 가능성도 증가시킵니다. 해당 분야를 하는 사람이 적어서 혼자서 공부해야 할 가능성이 낮지 않다는 데서 이런 위험은 다른 수학 내 분야에 대해 더 실질적입니다. 그리고 이러한 난이도는, 해당 분야를 독학할 때 소요되는 자원과 시간을 증가시키며 다른 분야를 공부할 시간을 비례해서 잃을 가능성도 높입니다. 수학 전반에서 무슨 분야를 할 지 못 정한 사람에게는 독일 지도 모르겠습니다.

하지만 이인석 교수님의 발언이 비록 위의 경우를 의도했더라도, 해당 발언이 기초론을 공부하면 안 된다는 맥락으로 인용되는 경우도 많다는 데서 해당 분야를 하는 입장에서 경각심을 느끼게 합니다. 아무리 어렵다고는 하지만 결국 사람이 하는 분야입니다. 이인석 교수님이 해당 분야를 배우려고 했던 시점과 달리 요즘에는 Mathoverflow, Mathematics Stackexchange 등에 관련된 질문과 대답들이 적지 않게 풀려 있고, Peter Smith 씨가 논리학 공부를 어떻게 해야 할 지 쓴 가이드북과 각종 강의록들을 웹 상에서 찾아볼 수 있습니다. 이전과 달리 Joel David Hamkins 교수님이나 Peter Koellner 교수님이 논리학의 대중화에 힘쓴 결과 비록 전부 영어로 적혀 있긴 하지만 이전보다 접근성 좋은 문헌들의 숫자도 늘었습니다. 물론 누군가의 밑에서 배우는 것에 비해 효율이 낮다는 것은 부정하지 못 하겠으나, 저도 그렇게 공부해서 현재 지금 분야로 박사과정을 하고 있고 마냥 불가능하지 않다고 이야기하고 싶습니다.

그러니, 논리학을 공부하겠다는 생각이 강하다면 이인석 교수님의 문구에 의식할 것 없이 지금 공부를 시작하는 게 맞지 않을까요? 수학적 성숙도를 상당히 요구하는 분야라는 것은 부정하지 않겠습니다만, forcing 정도의 내용은 타 국가에서도 석사 수준의 과목으로 취급되니 원래 어려운 것이 맞고, 수리논리학이나 기초적인 계산가능성 이론 정도는 학부 수준에서도 배울 여지가 있다고 생각합니다.

3. 실수 집합의 크기는 $\aleph_1$이다.

이는 논리학을 배우지 않은 수학자들뿐 아니라 공식적인 유튜브 채널에서조차 저지르는 오류입니다.. 이는 비한국어권이라고 딱히 낫지도 않습니다. 논리학자가 그래도 조금이나마 있으니 조금이라도 더 잘 정정될 뿐입니다. 알레프 수를 이해할 때 쓸 만한 유한한 예시가 없다 보니, 그리고 $\aleph_1$과 실수 집합의 크기 $2^{\aleph_0}$ 사이에 다른 기수가 있다면 들 만한 구체적인 예시도 초보자 수준에선 없기 때문에 더더욱 몰이해하고는 합니다.

이에 대한 답은 잘 알려져 있으니 여기서 더 자세히 상술하지는 않으려고 합니다. 연속체 가설은 “통상적인 집합론” (보다 정확히는, 제르멜로-프렌켈 집합론 + 선택공리, 이하 $\mathsf{ZFC}$) 에서 증명도 반증도 불가능합니다. 그리고 다음이 성립합니다: 만약 $\mathsf{ZFC}$의 모형이 있다면

왜 이 사실들이 연속체 가설의 결정불가능성을 말하는 지도 이 글에서는 생략합니다. 다른 글들이 더 잘 다룰 것이라 생각합니다. 저는 여기서 다른 주장에 집중해보려고 합니다.

  1. 그러면 연속체 가설에 대한 고민은 끝난 거 아닌가?
  2. 연속체 가설을 받아들이느냐 마느냐는 유용성에 따라 결정하면 될 일이다.

우선 첫 번째는, 그렇게 생각할 수도 있긴 합니다. 그리고 실제로도 이 이후로 보통 수학자들이 수학기초론에 대해 관심을 잃은 것도 같습니다. 최근의 Coq이나 Lean을 위시한 proof assistant가 상황을 바꿀 지는 모르겠습니다.

하지만, 코언이 1963년의 연속체 가설의 증명불가능성을 증명한 이후에도 연속체 가설에 대한 논의는 끝나지 않았습니다. 가령, 괴델은 연속체 가설이 그럼에도 거짓일 것이라 생각했습니다: 보다 정확히는, 괴델이 연속체 가설의 반증불가능성을 보인 1938년에는 연속체 가설이 성립할 것이라 믿었지만, 어느 순간 의견을 바꾸었습니다. 하지만 연속체 가설은 $\mathsf{ZFC}$ 반증이 불가능합니다. 따라서 괴델은 “참이지만 $\mathsf{ZFC}$에 없는 다른 공리가 있어서 연속체 가설을 반증할 것”이라고 믿었습니다.

그러면 왜 괴델은 연속체 가설이 거짓이라 생각했을까요? 괴델이 제시한 이유 중 하나는 다음과 같습니다:

정의. 어떤 집합 $A\subseteq \mathbb{R}$이 강하게 측도 0 (strong measure zero) 이라는 것은 모든 양의 실수열 $\langle \epsilon_n\mid n\in\mathbb{N}\rangle$에 대해 어떤 구간들의 열 $\langle I_n\mid n\in\mathbb{N}\rangle$이 있어 모든 $n$에 대해 $| I_n|<\epsilon_n$이고 $A\subseteq \bigcup_n I_n$이다.

가산집합은 강하게 측도 0입니다. 그러면 그 역도 성립할까요? 하지만 연속체 가설을 이용하면 비가산이면서 강하게 측도 0인 집합을 찾을 수 있습니다. 괴델은 이를 비직관적으로 보았고, 따라서 연속체 가설이 성립하지 않아야만 한다고 결론지었습니다. 물론 괴델은 연속체 가설이 증명하는 “역설적인” 다른 예시들도 들었고 이 중 몇몇은 다음과 같습니다:

(참고: Kurt Gödel, What is Cantor’s continuum problem?. Amer. Math. Monthly 54 (1947), 515–525.)

이 예시들이 얼마나 비직관적일지는 저는 모르겠습니다. (저는 저 예시만으로는 연속체 가설을 부정하기엔 좀 부족하다고 느낍니다.) 괴델은 거대 기수 (large cardinal)를 이용해서 연속체 가설을 결정할 수 있다고 보았는데, 비록 거대 기수가 적지 않은 명제들을 결정하는 것은 사실이지만 거대 기수는 연속체 가설을 결정할 수 없다는 사실이 이후 알려집니다.

하지만 괴델의 “거대 기수로 연속체 가설을 결정한다”는 아이디어는 다른 형태로 변형되어서 연속체 가설을 결정하는 다른 공리로 이어집니다. 집합론적 우주 (set-theoretic universe)는 서수로 이뤄진 “높이”와 멱집합으로 주어지는 “폭”으로 결정되는데, 거대 기수 공리를 그 “높이”를 높이는 공리라 생각하면, 그 “폭”을 넓히는 공리도 있을 것입니다. 집합론자들은 강제법 공리 (forcing axiom) 가 그 역할을 한다고 말합니다. 강제법 공리를 설명하려면 이름답게 강제법 (forcing) 에 대해 설명해야 하지만, 대충 말하자면, “있을 법한 집합은 이미 있다”는 내용의 공리입니다. 강제법 공리의 일종인 진강제법 공리 $\mathsf{PFA}$ (proper forcing axiom)은 연속체 가설을 부정할 뿐 아니라 $2^{\aleph_0} = \aleph_2$임을 증명합니다. 거기에 더해서, 진강제법 공리는 크기가 $\aleph_1$인 대상에 대한 명제를 “자연스럽게” 결정하는 특징이 있습니다. 이는 그 중 일부입니다:

(참고: Justin T. Moore. The proper forcing axiom. Proceedings of the International Congress of Mathematicians. Volume II, 3–29. Hindustan Book Agency, New Delhi; distributed by 2010.)

따라서 진강제법 공리는 “집합론적 우주의 폭을 극대화”할뿐 아니라 “유용”하니 받아들여져야 할 공리이고, 이는 연속체 가설을 부정하므로 연속체 가설이 거짓이란 논증을 할 수 있습니다. 물론 진강제법 공리가 다른 공리들만큼 자연스러운 공리느냐는 반론 또한 가능할 것입니다.

그 외로, Matthew Foreman 등은 작은 기수가 거대 기수 성질을 가진다는 가정 하에서 연속체 가설이 결정될 수 있다는 것을 발견합니다. Generic large cardinals이라고 불리는 이 성질들은 아이디얼 (ideal)의 saturation, denseness 등으로도 기술되는데, 이와 관련된 명제를 몇 적자면 이러합니다:

정리. (Foreman, Woodin) 만약 $\omega_2$ 위에 $\omega_1$-dense ideal이 존재한다면 연속체 가설이 성립한다.

(참고: Matthew Foreman, Generic large cardinals: new axioms for mathematics? Proceedings of the International Congress of Mathematicians, Vol. II (Berlin, 1998) Doc. Math., Extra Vol. II(1998), 11–21.)

그 외로도 연속체 가설에 대한 여러 입장들과 논지들이 있지만, 이 글에서는 여기까지만 하려고 합니다. 다른 논지 중 일부는 제 과거 글에서 찾아볼 수 있습니다. 그리고 이런 논지들 중 일부는 공리의 유용성에만 의존하지 않는다는 데서, 두 번째 문항에 대해서도 답이 될 것 같습니다.

4. 러셀이나 힐베르트의 형식주의는 실패했다. 누가 그런 방식으로 수학을 하는가?

우선, 러셀은 형식주의를 주장하지 않았다는 데서 시작합시다. 러셀이 주장한 것은 논리주의이고, 힐베르트가 주장한 것이 형식주의입니다. 러셀의 “수학 원리”가 담고 있는 형식적인 증명 때문에 착각하기 쉬울 듯하지만, 러셀의 주장이 형식주의가 아니라 논리주의인 이름을 단 이유는 러셀이 한 시도가 수학을 논리학 위에 올려놓는 작업이였기 때문입니다. 러셀의 논리주의적 프로그램으로부터 러셀이 도입한 유형이론 (type theory) 에서 의미가 완벽히 배제되어야 한다는 주장을 꼭 함의되지는 않습니다. 한편, 힐베르트는 형식 이론 (formal theory)은 의미를 완벽히 배제해야 한다는 주장을 포함하고 있습니다.

이 글에서 논리주의와 형식주의의 차이를 다루고 싶지는 않기 때문에 이에 대한 설명은 여기까지 해 둡시다. 하지만 힐베르트의 형식주의에 대해서는 좀 더 이야기해두는 게 좋을 것 같습니다. 힐베르트의 형식주의 역시 무모순한 수학적 토대를 찾기 위한 시도로서 등장했고, 다음과 같은 개요를 가졌습니다:

  1. 모든 수학적 분야를 표현할 수 있는 형식 이론을 만든다. 그 형식 이론은 잘 정의된 기호들의 집합과 공리들, 추론 규칙을 가진다.
  2. 해당 형식 이론이 무모순함을 보인다. 그 무모순성 증명은 “유한주의적”이여야 한다.
  3. 해당 형식 이론이 완전함 또한 보인다. 즉, 해당 이론은 모든 주장을 증명 혹은 반증한다. 그 완전성 증명 역시 “유한주의적”이여야 한다.

$\mathsf{ZFC}$같은 집합론이나 페아노 산술 $\mathsf{PA}$, 이차 산술의 부분체계들 등이 형식 이론의 예시라 할 수 있습니다. 형식 이론 자체는 수학적인 대상으로 간주할 수 있고, 따라서 주어진 형식 이론이 무모순하다는 주장 역시 수학적인 진술일 수 있습니다. 하지만 “이 형식 이론이 무모순하다”라는 주장을 어디서 증명하느냐는 문제가 따릅니다. 가령, $\mathsf{ZFC}$는 $\mathsf{PA}$가 무모순함을 증명할 수 있습니다. 하지만 이 사실만으로 $\mathsf{PA}$가 진짜 무모순인지는 의구심이 들 수 있는데, 왜냐하면 $\mathsf{ZFC}$는 무한히 큰 대상들을 표현할 수 있고 $\mathsf{PA}$가 무모순하다는 증명도 무한히 큰 대상 (정확히는, 자연수 구조) 에 의존하기 때문입니다. 하지만 $\mathsf{PA}$가 무모순하다는 증명을, 가령 $\mathsf{PA}$에서 증명할 수 있다면? 페아노 산술이 다루는 대상은 전부 유한하기 때문에, $\mathsf{PA}$가 무모순하다는 “주장”이 좀 더 현실성 있게 들릴 것입니다. 물론 $\mathsf{PA}$가 모순을 함의해서 “$\mathsf{PA}$가 무모순하다”는 주장을 증명할 가능성은 남아 있지만요.

힐베르트가 말한 “유한주의적”이란 표현은 사실 모호합니다. 힐베르트 본인조차 유한주의적이란 게 무엇인지 분명히 하지 않았습니다. Richard Zach 씨에 따르면, 힐베르트와 베르나이스 (Paul Bernays)는 원시 재귀 함수 (primitive recursive function) 들이 유한주의적이라 주장하긴 했지만 모든 유한주의적인 대상이 원시 재귀 함수에 의해 주어진다는 주장은 하지 않았습니다. 하지만 논의의 편의상, 모든 유한주의적 대상이 원시 재귀 함수뿐이라고 봅시다. 원시 재귀 함수에 대한 사실들은 원시 재귀 산술 (Primitive recursive arithmetic, $\mathsf{PRA}$) 위에서 표현 가능하고, 따라서 힐베르트 계획을 다음과 같이 읽을 수 있습니다:

우리들이 할 수 있는 수학을 담을 수 있는 이론 $T$를 찾은 다음, “$T$가 무모순하고 완전하다”는 주장을 $\mathsf{PRA}$ 위에서 증명하자.

이는 괴델의 불완전성 정리 때문에 좌절됩니다: 우리들이 할 수 있는 수학을 담을 만한 이론이라면 $\mathsf{PRA}$보다 강력해야만 하고, 그런 이론들은 항상 증명 또는 반증 불가능한 명제를 갖습니다. 또한, 그렇게 강력한 이론의 무모순성은 $\mathsf{PRA}$ 위에서 증명될 수 없습니다. 그런 의미에서, 힐베르트의 계획은 좌절되었습니다.

그러면 힐베르트의 계획에서 어느 부분이 잘못되었을까요? 이런 철학적인 질문에는 답이 하나가 아닙니다. 형식주의자들이 받아들일 만한 답은, 완벽히 유한주의적인 증명에서 벗어나서 초한귀납법 (transfinite induction)을 허용함으로써 주어진 형식 이론의 무모순성을 확립할 수 있다는 것입니다. 겐첸 (Gerhard Gentzen)은 “$\mathsf{PRA}$ + $\varepsilon_0$이 정렬순서이다”로부터 $\mathsf{PA}$가 무모순함을 보입니다. 물론 $\mathsf{PA}$가 완전하단 증명은 여전히 불가능합니다. 하지만 무모순하다는 것만으로 어디입니까. 하지만 강력한 이론일수록 더 큰 서수에 대한 정렬성을 가정해야 하고, 적당한 서수를 찾는 것조차 일이 됩니다. 이러한 계획은 서수 분석 (ordinal analysis) 으로 이어집니다.

하지만 괴델의 의견은 달랐습니다. 괴델은 수학적 개념이 실재하는 대상이라는 실재론자(realist)였고, 자신의 불완전성 정리가 힐베르트 프로그램의 실패를 의미하며, 한편 이후에 공리의 참 / 거짓 여부 또한 결정 가능하다는 주장을 견지합니다. 그 두 가지 기준 중 하나는 공리가 얼마나 유용하느냐이며, 다른 하나는 괴델의 합리론(rationalism)과 결부되어 있습니다.

이제 원래 질문인 “누가 힐베르트나 러셀이 말한 것처럼 수학을 기호 놀음으로 하느냐”는 질문으로 돌아가봅시다. 위의 설명을 읽고 눈치챘을 지도 모르지만, 러셀의 형식화나 힐베르트의 형식화는 수단이지 목적이 아닙니다. 보다 정확히는, 러셀은 수학을 논리학으로 표현하기 위한 수단으로서, 힐베르트는 무모순한 수학의 토대를 표현하는 수단으로써 형식적인 수학을 주장했습니다. 이런 주장이 꼭 “수학은 기호 놀음이여야 한다”는 주장을 함의하지는 않습니다. Michael Detlefsen의 “Hilbert’s formalism”에 따르면, “수학은 기호 놀음이라는 게 힐베르트의 주장이다”는 힐베르트의 형식주의에 대한 최악의 오해 중 하나이며, 이에 대한 바일 (Hermann Weyl)의 해명을 인용합니다:

Hilbert fully agrees with Brouwer in that the great majority of mathematical propositions are not “real” ones conveying a definite meaning verifiable in the light of evidence. But he insists that the non-real, the “ideal propositions” are indispensable in order to give our mathematical system “completeness”. Thus he parries Brouwer, who had asked us to give up what is meaningless, by relinquishing the pretension of meaning altogether, and what he tries to establish is not truth of the mathematical proposition, but consistency of the system. The game of deduction when played according to rules, he maintains, will lead to the formula $0\neq 0$). In this sense, and in this sense only, he promises to salvage our cherished classical mathematics in its entirety.

힐베르트는 수학적 명제의 대부분이 증거에 비추어 확인 가능한 명확한 의미를 전달하는 “실제” 명제가 아니라는 점에서 브라우어의 의견에 전적으로 동의합니다. 그러나 그는 비실재적인 “이상적인 명제”는 우리의 수학적 체계 “완전성”을 부여하기 위해 필수불가결하다고 주장합니다. 따라서 힐베르트는 의미에 대한 주장을 전적으로 포기함으로써 의미없는 것에 대해 포기하라는 브라우어의 주장을 회피했으며, 그가 확립하려고 하는 것은 수학적 명제의 진리가 아니라 체계의 일관성입니다. 그는 규칙에 따라 행해질 때의 추론 게임이 공식 $0\neq 0$ 으로 이어질 것이라고 주장합니다. 이런 의미에서, 그리고 이런 의미에서만 그는 우리의 소중한 고전 수학을 전부 구원할 것을 약속합니다.

(“이상적인 명제”에 대한 의미는 Detlefsen의 논문 p297-298을 참고할 것.)

한편 힐베르트 본인은, 자신의 형식 체계는 단순한 기호 놀음이 아니라 인간 사고의 단편을 잡아내고 있다고 보았습니다. 이 주장 자체에 얼마나 동의하느냐는 독자의 몫이지만, “수학은 형식 체계 아래에서의 기호 놀이여야만 한다”와 “이 형식 체계는 우리들이 하는 수학적 사고의 일부를 잡아낸다”가 같은 주장이 아니라는 데에는 수긍할 수 있을 것이라 생각합니다.

힐베르트의 철학에 대한 “최악의 오해”의 기반에는 몇 가지 이유가 있는 것으로 보입니다. 첫째, 브라우어가 힐베르트에게 반론하면서 제기한 “힐베르트의 형식주의는 수학을 기호놀음으로 보는 것이다”라는 말의 표현력이 단편적으로 먹혀든 것 같습니다. 그리고 이보다 더 중요한 둘째, 수학자들이 수학을 하는 행위 (mathematical practice) 와 수학에 대한 존재론 (ontology of mathematics)을 구분하지 않는다는 점 때문에 그런 것 같습니다. 일반적으로, 대부분 수학자는 수리철학적 주장에 신경쓰지 않습니다. 그래도 수학을 할 수 있기 때문입니다. 그러기 때문에, 수리철학적 질문을 받으면 이를 자신이 하던 수학에 빗대어서 생각하고는 하는데, 이는 종종 잘못된 결과로 이어지고는 합니다. Toby Meadows 씨의 말을 빌리자면,

(…) I think some mathematicians confuse the (often interesting) project of organizing their mathematical intuitions with doing philosophy. Sometimes these project overlap. Often they do not.

(…) 난 수학자들이 (종종 흥미로운) 자신들의 수학적 직관을 조직하는 것과 철학함을 혼동한다고 본다. 이 둘은 종종 겹치지만, 대개 그렇지 않다.

힐베르트의 수학에 대한 견해나 이에 대한 괴델의 반박이나, 수학에 대한 존재론에 대한 주장으로 보는 것이 좀 더 자연스럽습니다. 하지만 “수학을 하는 행위”와 “수학에 대한 존재론”을 잘 구분하지 않는 사람으로서는 전자를 후자로 혼동하기 쉽습니다: 수학자들은 수학을 할 때 어떤 심상을 갖고 수학을 하는 경우가 많고, 그 심상을 수학적 실체로 간주하는 경우가 많기 때문입니다.

하지만 그 심상은 “수학을 함”의 일부이지, 그 심상이 반드시 “수학 그 자체”여야 할 이유는 없습니다. 한 극단으로, “수학이란 Lean에서 증명 가능한 기호열들이다”란 주장도 철학적 주장으로 생각해볼 수는 있는 것입니다. (전 동의하지 않습니다.) “수학자들이 갖고 있는 심상이 수학 그 자체이다”란 주장을 해 볼 수 있지만, 이것이 수학적 실재론의 형태일지 수학교육학적 구성주의 (constructivism: 브라우어의 구성주의와 다름에 유의) 일지, 그리고 서로 모순되는 심상이 있으면 어느 쪽이 수학을 이루는 지 등 썩 당연하지만은 않을 철학적 문제를 먼저 해결해야 할 것입니다.

해당 글과 조금 연관있는 주제로, New Mathematics의 실패에 대한 이야기가 있습니다. “아이들에게 형식적으로 수학을 가르치려다 실패했다!”는 말로 좀 더 통용되는데, 여기서 이 주장에 대해서 더 깊게는 다루지 않겠습니다. 해당 동영상 (영어)을 참고하는 것을 추천합니다. 하지만 해당 동영상에서 나오는 덜 알려졌을 몇 가지 논점을 짚어보자면 이렇습니다:

5. 집합론은 수학의 기초이다.

틀린 말은 아닙니다. 하지만 그 의미가 잘못 전달되는 경우가 많은 것 같아서 넣어봤습니다. 우선 수학의 기초라는 말이 무슨 뜻인지 되짚어봐야 할 것 같습니다. “집합론은 수학의 기초”라는 말은 다음 중 하나로 해석되고는 합니다:

이 중 옳은 뜻은 후자이고 틀린 뜻은 전자입니다. 왜 그런지 설명해봅시다.

수학기초론이 태동하게 된 배경에는 수학의 무모순성을 확립하려는 시도가 있었습니다. 미적분학을 엄밀하지 않게 다룬 결과 초래된 모순들을 해결하기 위해 해석학이 발생했고, 해석학 및 그 외 추상적인 수학들의 토대를 제공하기 위해 프레게, 러셀을 비롯한 여러 수학자들이 수학의 기초는 어때야 하는지에 대한 논의를 시작한 것입니다. 그리고 그 과정에서 우리들이 하는 수학을 전부 포함할 수 있는 형식 이론들이 등장합니다. 러셀과 화이트헤드가 1910년대에 제시한 수학 원리 (Principia Mathematica)가 그 예시 중 하나이고, 1920년대에 형태가 확립된 $\mathsf{ZFC}$도 그 예시일 수 있겠습니다.

여기서 알 수 있듯, 기초론적 이론으로 제시된 집합론이 현재의 형태로 정착된 시기가 러셀-화이트헤드 체계의 형식화 시점보다 늦을 뿐더러, 당대에도 “수학을 올려놓을 수 있는 형식 이론”이 유일하지 않았습니다. 현재 시점에서도, 비록 $\mathsf{ZFC}$가 기초론적 이론으로서 강한 헤게모니를 갖고 있지만, 다른 기초론적 이론들도 공존하고 있습니다. 게다가, 마치 알고리즘을 설계할 때 의사코드(pseudocode)로 구현하고 다른 프로그래밍 언어로의 구현을 잘 신경쓰지 않는 듯이, 거의 대부분의 수학자는 자신이 하는 수학 밑에 무엇이 깔려 있는 지 신경조차 쓰지 않습니다.

또한, 수학기초론이 태동하는 와중에 등장한 여러 이론들, 그리고 힐베르트 프로그램이 의도했던 바를 돌아보면, 무모순한 어떤 이론을 설계한 다음 그 위에 수학을 건설함으로써 수학의 무모순성을 확립하겠다는 줄거리를 따라갑니다. (브라우어의 직관주의는 그 관점에서 좀 벗어나 있기는 합니다만, 여기서 주된 논점은 아니므로 넘어갑시다.) 즉 무모순한 이론으로 수학을 환원하는 것인데, 이런 관점에서 봤을 때 앞서 언급한 전자보다 후자의 관점으로 “집합론은 수학의 기초이다”를 해석하는 것이 좀 더 자연스럽습니다.

현대 수학의 형식화에서 집합적인 언어가 중요하기 때문에, 전자의 의미가 여전히 아주 틀리지 않다는 주장을 생각해볼 수 있습니다. 현대 수학에서 형식화를 아주 분리해낼 수 없다는 것은 사실입니다. 그리고 그 형식화의 발전의 역사가 집합론의 역사와 어느 정도 궤를 같이 한다는 것 또한 사실입니다. 하지만 이것이 집합론과 수학의 형식화가 한몸이라는 뜻은 아닙니다. 가령, HoTT 교재에서 집합론이 아닌 이론에서 어떻게 수학을 형식화할지 묘사하고 있습니다. 즉, 집합론적이지 않은 수학의 형식화는 이미 존재합니다. 하지만 근시일내에 type theory에 기반한 수학을 가르칠 지는 불명이니 당분간은 (어쩌면 꽤 오래) 집합론적 언어 위에 수학을 올리는 커리큘럼을 따라갈 것이고, 기초론에 별 관심 없는 사람들은 “집합론은 수학의 기초이다”란 문장에 대해 앞으로도 쭉 오해하지 않을까 생각합니다.

(차후에도 몇 가지 주장이 글에 추가될 수 있음.)