
해석학
대수학과 기하학에 대하여, 함수의 연속성에 관한 성질을 미분 및 적분의 개념을 기초로 하여 연구하는 수학. 미적분학, 미분 방정식론, 적분 방정식론, 집합론, 실함수론, 복소수 함수론 따위가 있다.≒해석- 국립국어원 표준국어대사전
- 안녕하세요 Fig.1 입니다. 저번 뉴스레터에서 이제는 AI가 조사도 잘해서 역사 조사 자체가 무의미해진 것 같다고, 그래서 앞으로는 서비스나 어떤 형태의 결과물이 있을 때만 글을 발행하겠다고 말씀드렸었죠. 근데 그 말이 무색하게 그냥 역사 조사로 찾아왔습니다. (물론 서비스도 만들고 있습니다.)
- 이젠 주기적 발행의 의무가 없고, 뉴스레터로 발행하지 않는데도 계속 혼자 역사를 조사하고 정리하고 있더라고요. 계산기가 있고 AI가 계산을 잘하지만 스도쿠를 취미로 하는 것과 비슷한 느낌이랄까요. 결국 저는 그냥 역사 조사를 좋아하는 사람인 것 같습니다.
- 기억하는 분이 계실 지 모르겠지만, 시리즈로 조사하고 있던 것 중에 끝내지 못한 것들이 있습니다. 생물학의 역사 그리고 수학의 역사인데요. 이건 이것대로 마무리를 해야겠다는 생각이 들었습니다.
- 그래서 이번 뉴스레터는 해석학의 역사입니다. 그래서 이번 글은 해석학의 역사입니다. 기존에 대수학과 기하학의 역사를 다뤘고, 이번 해석학까지 하면 수학의 큰 흐름은 어느 정도 마무리된다고 볼 수 있습니다. (위상수학과 정수론까지 포함해 다섯 분야로 나누기도 하지만, 그 둘까지 다룰지는 아직 모르겠습니다.)
- 해석학의 역사는 다른 과학적 발견과는 결이 다릅니다. 새로운 것을 점점 발견해가는 방향이 아니라, 먼저 직관적으로 변화를 계산하는 법을 찾아내고, 이후 그 모순을 하나씩 보완해가는 방식으로 발전해왔거든요. 케플러가 술통의 부피를 재던 방법이 뉴턴의 미적분이 되었고, 버클리의 철학적 비판이 코시의 엡실론-델타 논법을 낳았으며, 칸토어의 무한집합론은 괴델의 불완전성 정리로 이어졌습니다. 응용에서 출발해 이론적 토대로 나아간 것이죠.
- 이런 걸 보면 AI의 역사도 해석학의 역사와 비슷하게 흘러가지 않을까 하는 생각을 합니다. 지금의 AI는 대량의 데이터로 작동하지만 그 내부 구조는 여전히 명확히 알 수 없다고 하잖아요. 하지만 기술이 발전하면 언젠가는 그 구조도 엄밀하게 이해하게 되지 않을까요. 미적분이 처음엔 직관에 기대다가 오랜 시간을 거쳐 엄밀한 언어로 정착된 것처럼 말이죠.
Fig.1 변화하는 양(변수)를 수학에 도입한 데카르트

르네상스 이후 유럽은 항해·무역·군사 기술이 급격히 발달하면서 기존 수학으로는 다루기 어려운 문제들이 쏟아졌습니다. 선박의 위치를 정밀하게 계산하거나, 대포가 날아가는 궤적을 예측하고, 기계의 움직임을 분석하려면 변화하는 현상을 다루는 새로운 수학이 필요했죠.
이런 배경 속에서 1637년 데카르트René Descartes 는 《방법서설》의 부록 《기하학》에서 좌표기하학을 선보였습니다. 점을 좌표로, 곡선을 방정식으로 표현하면서 그는 '수'와 '도형'이라는 두 개의 세계를 하나로 통합했습니다. 더 나아가 고정된 값이 아닌 변화하는 양(변수)이라는 개념을 수학에 도입했죠. 이로써 운동과 변화가 처음으로 수학의 연구 대상이 되었고, 자연스럽게 미분과 적분의 필요성이 생겨났습니다.
Fig.2 수학의 새로운 문제 해결을 위해 미분법이 출현하다
데카르트가 변수라는 개념을 도입하자, 이후 수학자들은 저마다의 방식으로 변화와 운동을 수학적으로 포착하려 했습니다.
① 케플러

케플러Johannes Kepler 는 행성 운동의 두 번째 법칙, 즉 "행성과 태양을 잇는 반경 벡터는 같은 시간에 같은 면적을 쓸고 지나간다"는 사실을 증명하면서 타원을 수많은 작은 삼각형으로 분할해 넓이를 구하는 방법을 사용했습니다. 그는 저서 《술통의 부피를 구하는 새로운 방법》에서 이 아이디어를 체계화해 93종의 입체 부피를 계산했는데, 이것이 적분의 초기 형태였습니다.
② 카발리에리

카발리에리Bonaventura Cavalieri 는 1635년 《불가분량의 연속 기하학》에서 '불가분 원리'를 제시했습니다. 두 입체도형이 동일한 두 평행면 사이에 놓이고, 그 사이 임의의 평면으로 자른 단면의 넓이가 항상 같다면 두 입체의 부피도 같다는 원리입니다. 도형을 무한히 얇은 층으로 쪼개어 비교한다는 발상은 훗날 적분의 논리적 토대가 되었습니다.
③ 페르마
페르마Pierre de Fermat 는 1637년 《극댓값과 극솟값을 구하는 방법》에서 오늘날 '페르마의 극값법'이라 불리는 방식을 제시했습니다. x를 x+e로 바꿔 식을 전개하고 e를 0에 가깝게 보내는 방법으로, 오늘날의 미분법과 거의 일치합니다.
④ 배로

배로Isaac Barrow 는 《기하학 강의》에서 미분 삼각형 방법을 사용해 곡선의 접선을 구했습니다. 그는 뉴턴의 스승이기도 했으며, 미분과 적분이 서로 역연산 관계에 있다는 미적분학의 기본정리를 기하학적으로 직관한 인물로 평가받습니다.
Fig.3 뉴턴 & 라이프니츠 — 미적분의 탄생과 우선권 전쟁

이처럼 여러 수학자들이 각자의 방식으로 쌓아 올린 아이디어들을 뉴턴Isaac Newton 과 라이프니츠Gottfried Wilhelm Leibniz 가 독립적으로 종합해 미적분을 완성했습니다.
두 사람은 같은 결론에 도달했지만 출발점이 전혀 달랐습니다. 뉴턴은 물리학자의 눈으로 미적분에 접근했습니다. 그에게 미적분은 운동을 기술하기 위한 도구였습니다. 물체의 순간 속도를 구하려면 아주 짧은 시간 동안의 변화량을 계산해야 하는데, 뉴턴은 이를 '유율(fluxion)'이라 불렀습니다. 그의 미적분은 시간에 따라 변하는 양을 다루는 역학적 개념이었고, 1687년 《프린키피아》에서 만유인력 법칙과 행성 운동을 설명하는 데 직접 활용되었습니다. 반면 라이프니츠는 기하학자의 눈으로 접근했습니다. 그는 곡선의 접선과 곡선 아래 넓이를 구하는 문제에서 출발했고, 이 두 문제가 서로 역연산 관계임을 파악했습니다. 라이프니츠에게 미적분은 수학이 인간의 사유를 합리적으로 표현하는 '보편 수학'이 되어야 한다는 철학적 신념의 산물이었습니다.
두 사람의 차이는 기호에서도 극명하게 드러납니다. 뉴턴은 변수 위에 점을 찍는 방식(ẋ)으로 미분을 표현했는데, 이 기호는 시간에 따른 변화라는 물리학적 맥락 밖에서는 쓰기 불편했습니다. 반면 라이프니츠는 dy/dx와 ∫ 기호를 고안했습니다. dy와 dx가 각각 독립적인 양처럼 다뤄질 수 있어서 치환적분이나 연쇄법칙 같은 계산을 직관적으로 표현할 수 있었습니다. 뉴턴의 기호는 영국에서만 수십 년간 고집되었고, 이 고집이 오히려 영국 수학계를 유럽 대륙의 발전에서 뒤처지게 만들었다는 평가를 받습니다.
두 사람의 추종자들은 1699년부터 1714년까지 우선권 논쟁을 벌였습니다. 뉴턴은 1687년 《프린키피아》에서, 라이프니츠는 1684년 독일의 학술지 《Acta Eruditorum》에서 각자의 연구를 발표했지만 뉴턴은 계산법을 먼저 고안했지만 17세기 바로크 과학의 연구 관행에 따라 발표를 미루었기 때문에 오늘날 학계에서는 두 사람 모두 동등한 발견자로 인정합니다.
Fig.4 베르누이 형제 — 미적분을 유럽에 퍼뜨리다

야코프Jakob Bernoulli 와 요한Johann Bernoulli 형제는 라이프니츠로부터 미적분을 배워 유럽 대륙에 퍼뜨린 핵심 인물들입니다. 두 사람은 처음에는 협력했지만 점차 치열한 라이벌 관계로 변했고, 이 경쟁이 오히려 수학의 발전을 이끌었습니다.
1696년 요한은 《Acta Eruditorum》에 최속강하선 문제를 난제로 공개했습니다. "중력만을 받아 A점에서 B점까지 가장 빠르게 내려가는 곡선은 무엇인가?" 요한은 이 문제를 광학의 빛의 굴절과 연결해 풀었고, 뉴턴은 문제를 받은 당일 밤 풀어냈다고 전해집니다. 라이프니츠·야코프·로피탈도 각자의 풀이를 제출했는데, 정답은 사이클로이드 곡선이었습니다. 형 야코프는 이 문제를 풀면서 더 어려운 변형 문제를 만들어 동생에게 역으로 도전했고, 이 과정에서 변분법의 핵심 아이디어가 싹텄습니다.
변분법이란 수많은 가능한 함수들 중 특정 조건을 최소화하거나 최대화하는 함수를 찾는 방법입니다. 일반 미적분이 "어떤 x값에서 함수가 최솟값을 갖는가"를 묻는다면, 변분법은 "어떤 함수가 주어진 조건을 최소화하는가"를 묻는 한 차원 높은 문제입니다. 최속강하선은 그 출발점이었고, 이 아이디어는 이후 오일러와 라그랑주에 의해 독립된 학문으로 완성됩니다.
Fig.5 미적분, 비판에 직면하다
그러나 미적분은 태어나자마자 거센 비판에 직면했습니다. 핵심 문제는 '무한소'의 정체였습니다. 무한소는 0이 아니면서도 0처럼 취급되었는데, 이 모순을 당시 수학자들은 명쾌하게 해명하지 못했습니다.
네덜란드의 노이벤티트Bernard Nieuwentijdt 는 무한소와 0의 차이가 불분명하다고 지적했고, 무한소의 합이 과연 유한한 값이 될 수 있는지 의문을 제기했습니다. 프랑스의 롤Michel Rolle 은 미적분을 "교묘한 궤변의 집합체"라며 정면으로 비판했습니다.
가장 날카로운 비판은 철학자 버클리George Berkeley 에게서 나왔습니다. 그는 dy/dx를 두고 "유한량도 아니고 무한소도 아니며 0도 아닌, 죽은 값의 유령"이라고 표현했습니다. 또한 dy/dx가 접선이 아닌 할선을 결정할 뿐이며, 고차 무한소를 무시해 오차를 없애는 방법도 결국 오차를 서로 상쇄하는 것에 불과하다고 꼬집었습니다. 이 비판은 당시 미적분의 논리적 허점을 정확히 짚은 것이었습니다.
Fig.6 미적분의 엄밀성을 향한 첫 걸음
① 오일러
이에 수학자들은 미적분의 토대를 다지려 했습니다. 그 선두에는 오일러Leonhard Euler 가 있었습니다. 그는 기하학을 미적분의 근간으로 보는 시각에 반대하고, 함수를 순수한 형식으로 연구했습니다. 1748년 《무한소 해석학 입문 Introductio in analysin infinitorum》에서는 함수를 해석학의 중심 개념으로 삼고, f(x) 표기법을 도입하며 함수를 "변수와 상수로 어떤 방식으로든 구성된 해석적 표현"으로 정의했습니다.

이 책에서 오일러는 테일러 급수를 해석학의 핵심 도구로 적극 활용했습니다. 테일러 급수란 무한히 미분 가능한 함수를 다항식의 합으로 표현하는 방법으로, 1715년 브룩 테일러Brook Taylor 가 《증분법》에서 공식화했고 콜린 매클로린Colin Maclaurin 이 0을 중심으로 한 특수한 경우를 체계화했습니다. 오일러는 이 도구를 이용해 sin, cos, e^x 같은 초월함수를 무한급수로 표현하고, 나아가 e^(iπ) + 1 = 0이라는 오일러 항등식을 이끌어냈습니다. 미적분을 기하학에서 떼어내 산술과 대수학의 기반 위에 세웠다는 점에서, 오일러의 방법은 실수 체계에 기반한 해석학으로 나아가는 길을 열었습니다.
② 라그랑주
라그랑주Joseph-Louis Lagrange 는 한 걸음 더 나아갔습니다. 그는 1760년 《부정 적분의 최댓값과 최솟값을 구하는 새로운 방법에 관한 시론》에서 베르누이 형제가 씨앗을 뿌린 변분법 문제를 해석학적으로 다루는 방법을 제시하며, 오일러의 기하학적 접근을 순수 대수적 방법으로 대체했습니다. 오일러는 라그랑주의 아이디어에 감명받아 자신의 방법을 버리고 라그랑주의 방식을 받아들였으며, 이 과정에서 오일러-라그랑주 방정식이 정립되었습니다.

이후 1787년 《해석함수론》에서는 무한소, 소멸하는 양, 극한 같은 모호한 개념 없이 순수하게 대수적 방법만으로 미적분 전체를 전개하려 했습니다. 심지어 이 책의 소제목도 "무한소나 극한 개념 없이 유한값으로 귀결되는 대수 분석의 예술"이었죠. 또한 1788년 《해석역학 Mécanique Analytique》에서는 고전역학을 순수하게 대수적으로 재서술해 이론 물리학의 새 지평을 열었습니다.
③ 카르노
1797년 카르노Lazare Carnot 는 무한소를 둘러싼 당시의 두 가지 상반된 견해를 정리했습니다. 하나는 무한소를 오차 보정의 수단으로 보는 견해, 다른 하나는 소멸하는 0으로 보는 견해였습니다. 카르노는 "무한소는 임의의 0이 아니라 연속성 정리에 의해 도출되는 0"이라는 입장을 제시하며 연속성 개념의 중요성을 강조했습니다.
그러나 이러한 시도들은 방향은 옳았지만 아직 완전하지 않았습니다. 오일러는 무한급수를 다루면서도 수렴 조건을 엄밀히 따지지 않았고, 라그랑주는 무한소 대신 도입한 '도함수'의 존재를 당연한 것으로 가정했습니다. 카르노의 연속성 개념도 직관적 설명에 머물렀습니다. 결국 세 사람 모두 무한소라는 모호한 개념을 몰아내려 했지만, 그 자리를 채울 극한의 엄밀한 정의를 끝내 만들어내지 못했습니다.
Fig.7 복소수 체계를 정립한 22살의 가우스
미적분이 발전하는 과정에서 해결해야 할 또 하나의 중요한 과제가 있었습니다. 바로 대수학의 기본정리(FTA), 즉 "모든 다항식은 복소수 안에서 근을 가진다"는 정리의 증명이었습니다.
미적분에서 적분을 계산할 때 분수 형태의 함수를 자주 다루게 되는데, 이런 함수를 적분하려면 먼저 분모를 인수로 쪼개야 합니다. 이 작업이 가능하려면 "모든 다항식은 반드시 인수로 분해된다"가 보장되어야 했죠. 즉 대수학의 기본정리가 참이어야만 적분 계산의 기반이 흔들리지 않는 것이었습니다. 17세기 초 지라르와 데카르트가 증명 없이 이를 언급했고, 대부분의 수학자들이 참이라 믿었지만 라이프니츠는 1702년 논문에서 오히려 이를 부정하기도 했습니다.
1746년 달랑베르Jean le Rond d'Alembert 가 처음으로 증명을 시도했고, 곧이어 오일러도 자신의 증명을 내놓았습니다. 그러나 두 사람의 증명은 모두 "근이 존재한다"는 사실을 암묵적으로 가정한 채 논리를 전개하는 순환논리였습니다. 당시에는 복소수 체계 자체가 아직 엄밀하게 정의되지 않았기 때문에 이 문제를 완전히 해결하기 어려웠습니다.
가우스Carl Friedrich Gauß 는 1799년 불과 22세의 나이에 완성한 박사 논문에서 이 문제를 정면으로 돌파했습니다. 그는 논문 서두에서 달랑베르와 오일러의 증명이 가진 허점을 조목조목 지적하고, 기하학적 방법을 도입해 당시 기준으로 가장 엄밀한 증명을 제시했습니다. 훗날 가우스는 같은 정리를 서로 다른 방법으로 세 번 더 증명했는데, 마지막 네 번째 증명(1849)은 복소수 평면을 활용한 것으로 오늘날의 관점에서 가장 완전한 증명으로 평가받습니다.
대수학의 기본정리 증명은 단순히 방정식 풀이의 문제가 아니라, 복소수 체계의 수학적 정당성을 확립한 사건이었습니다. 복소수가 허구가 아닌 엄밀한 수 체계임이 확인되자, 이제 남은 과제는 미적분 자체의 기초를 논리적으로 세우는 일이었습니다.
Fig.8 해석학, 드디어 엄밀성을 갖추다
19세기 초 미적분은 물리학과 공학에서 눈부신 성과를 냈지만 그 기초는 여전히 불안정했고, 오일러와 라그랑주의 시도에도 무한소의 모순은 완전히 해소되지 않았습니다.
① 볼차노
볼차노Bernhard Bolzano 는 1817년 극한 개념을 통해 연속을 처음으로 명확히 정의했습니다. 그는 "함수가 연속이다"는 것을 기하학적 직관 없이 순수하게 논리적으로 표현하려 했으며, 중간값 정리를 엄밀하게 증명한 최초의 수학자였습니다. 그러나 오스트리아의 작은 도시에서 활동하던 그의 연구는 당시 수학계의 주류에 닿지 못한 채 수십 년 동안 묻혀버렸습니다. 볼차노의 업적이 재발견된 것은 그가 세상을 떠난 후였습니다.
② 코시
코시Augustin-Louis Cauchy 는 볼차노와 독립적으로 같은 문제를 파고들어 훨씬 큰 영향을 미쳤습니다. 그는 1821년 《해석학 교정(Cours d'analyse)》에서 극한·연속·미분·적분을 차례로 엄밀하게 정의해 수학적 개념들을 더 이상 그림이나 직관 없이도 설명할 수 있게 만들었습니다.
예를 들어 극한을 생각해봅시다. 이전까지는 "x가 2에 가까워지면 f(x)도 어떤 값에 가까워진다"는 말을 직관적으로만 받아들였습니다. 코시는 여기서 한 발 더 나아가, '가까워진다'는 말이 정확히 무슨 뜻인지를 정의했습니다. 얼마나 가까이 다가가면, 함수값도 얼마 이내로 들어온다 — 이 관계를 명확히 수치로 표현한 것입니다. 연속·미분·적분도 마찬가지였습니다. 코시는 이 모든 개념들을 "그래프가 이어져 보인다" 혹은 "무한히 작은 양의 비" 같은 애매한 말 대신, 극한이라는 하나의 도구로 차례로 정확하게 다시 정의했습니다.
오일러의 시대에는 급수를 자유롭게 더하고 빼던 것이 당연했는데, 코시는 이것이 얼마나 위험한지를 보여주었습니다. 예를 들어 1 − 1 + 1 − 1 + ⋯ 을 계속 더하면 값이 0과 1 사이를 오가며 결코 하나의 값으로 수렴하지 않습니다. 오일러는 이런 급수에도 1/2이라는 값을 부여했지만, 코시는 수렴하지 않는 급수에는 합을 말할 수 없다고 못 박았습니다. 이처럼 당연하게 여겨지던 계산들에 '이 조건이 만족될 때만 유효하다'는 제한을 달기 시작한 것이 코시의 핵심적인 공헌이었습니다.
③ 아벨

같은 시기 아벨Niels Henrik Abel은 코시의 연구를 한층 발전시켰습니다. 코시가 수렴의 중요성을 처음 강조했다면, 아벨은 코시조차 놓친 구멍을 찾아냈습니다.
코시는 "연속인 함수들을 무한히 더해도 결과는 여전히 연속이다"라고 주장했습니다. 하지만 아벨은 이것이 항상 참이 아님을 구체적인 예로 보였습니다. 매끄러운 함수들을 무한히 더했는데 결과가 갑자기 뚝 끊기는 불연속 함수가 나올 수 있다는 것이었습니다. 이 발견은 "무한히 더하는 것"이 유한히 더하는 것과 본질적으로 다를 수 있다는 사실을 수학계에 각인시켰습니다.
④ 디리클레

디리클레Peter Gustav Lejeune Dirichlet 는 함수 개념 자체를 근본부터 다시 정의했습니다. 오일러의 정의, 즉 "해석적 표현으로 주어진 것"에서 벗어나 "정의역의 각 원소에 공역의 원소가 하나씩 대응되는 규칙"이라는 현대적 함수 정의를 제시했습니다. 이 정의는 그래프로 그릴 수 없는 함수, 공식으로 표현할 수 없는 함수까지 포함하는 급진적인 확장이었습니다. 디리클레 자신도 유리수에서는 1, 무리수에서는 0의 값을 갖는 함수를 제시했는데, 이것은 어느 점에서도 연속이 아닌 함수로 당시 수학자들에게 큰 충격을 주었습니다.
⑤ 바이어슈트라스

바이어슈트라스Karl Weierstrass 는 이 흐름의 정점에 섰습니다. 바이어슈트라스는 극한의 정의를 엡실론-델타 언어로 완전히 형식화하고 무한소라는 개념을 수학에서 완전히 추방했습니다. 그리고 모든 구간에서 연속이지만 어디서도 미분 불가능한 함수를 실제로 구성해 보였습니다. 이 함수를 보고 당시 수학자들은 경악했습니다.
푸앵카레는 이런 함수들을 "괴물"이라 불렀고, 에르미트는 동료에게 쓴 편지에서 "이 공포스러운 재앙에서 등을 돌리겠다"고 표현했습니다. 그러나 이 발견이 의미하는 바는 명확했습니다. 직관은 믿을 수 없으며, 수학은 오직 엄밀한 논리 위에서만 세워져야 한다는 것이었습니다.
⑥ 데데킨트
엄밀성 확립의 마지막 과제는 실수 체계 그 자체를 정의하는 일이었습니다. 1872년, 수학자들은 더 이상 기하학에 의존하지 않고 유리수만을 재료로 실수를 순수하게 논리적으로 구성하려 했습니다. 데데킨트Richard Dedekind 는 유리수를 둘로 나누는 ‘절단’으로, 칸토어Georg Cantor는 수열이 수렴하는 과정을 통해, 바이어슈트라스는 유계 단조 수열을 이용해 실수를 정의했습니다.
이어 페아노Giuseppe Peano가 자연수의 공리 체계를 정리하면서 유리수 이론이 완성되었고, 실수 체계의 기초도 마침내 하나의 논리적 구조로 정리되었습니다.
Fig.9 칸토어의 집합론과 수학의 위기
아이러니하게도 해석학에 엄밀성을 부여하기 위해 탄생한 집합론이 수학 전체의 위기를 불러옵니다. 그 출발점은 ‘무한’이라는 개념을 새롭게 이해하려는 시도에서 시작되었습니다.
1870년대 칸토어는 푸리에 급수의 수렴 문제를 연구하다가 무한집합론을 창시했습니다. 그는 집합의 크기를 ‘일대일 대응’으로 정의하며, 무한 집합들 사이에도 서로 다른 크기가 존재한다는 사실을 밝혀냈습니다. 특히 정수와 짝수처럼 부분과 전체가 같은 크기를 가질 수 있다는 점은 기존의 직관을 완전히 뒤흔드는 발견이었습니다. 더 나아가 그는 유리수 역시 정수와 같은 크기의 무한에 속한다는 사실을 보였습니다.

그러나 칸토어의 결정적인 통찰은 여기서 멈추지 않았습니다. 그는 대각선 논증을 통해 실수 집합은 어떤 방식으로도 정수와 일대일 대응시킬 수 없다는 사실을 증명했습니다. 즉, 무한에도 서로 다른 ‘크기’가 존재하며, 실수의 무한은 정수의 무한보다 더 크다는 것입니다. 이는 처음으로 “무한은 하나가 아니다”라는 사실을 수학적으로 확립한 사건이었습니다. 이 발견은 당시 수학계를 충격에 빠뜨렸고, 그의 스승 레오폴트 크로네커Leopold Kronecker 가 공개적으로 칸토어를 비난하기도 했습니다. 그러나 그의 이론은 결국 수학의 모든 분야를 집합론의 언어로 통일할 수 있다는 가능성을 열며, 19세기 말 수학 개념의 통합이라는 거대한 비전을 제시했습니다.
그러나 1903년 버트런드 러셀Bertrand Russell 은 집합론의 근본에 모순이 있음을 드러냈습니다. 이른바 '이발사의 역설'로 알려진 이 역설의 요지는 이렇습니다. 어떤 이발사가 "스스로 면도하지 않는 사람만 면도해 준다"고 선언했습니다. 그렇다면 이 이발사 자신은 면도할 수 있을까요? 스스로 면도하면 자신의 규칙에 따라 면도해서는 안 되고, 면도하지 않으면 규칙에 따라 면도해야 합니다. 어느 쪽이든 모순입니다. 집합론에서도 "자기 자신을 원소로 포함하지 않는 모든 집합들의 집합"을 정의하면 동일한 모순이 발생합니다. 이는 집합론이 스스로를 무너뜨릴 수 있다는 충격적인 사실을 드러냈습니다.
이 위기에 대응하는 방식을 둘러싸고 수학의 3대 학파가 출현했습니다. 고트로프 프레게Gottlob Frege 와 러셀이 주도한 논리주의는 수학이 논리학의 일부에 불과하며, 수학의 모든 개념과 정리를 논리적 공리로부터 유도할 수 있다고 보았습니다. 루이트전 브라우어르Luitzen Egbertus Jan Brouwer 가 이끈 직관주의는 수학적 진리는 인간의 정신적 구성 행위에 의해서만 존재한다고 보았으며, 존재 증명만으로는 불충분하고 실제로 구성 가능해야 한다고 주장했습니다. 다비트 힐베르트David Hilbert 가 제창한 형식주의는 수학을 기호들의 체계로 보고, 모순이 없는 공리 체계라면 그 내용의 참·거짓과 무관하게 수용 가능하다고 보았습니다. 힐베르트는 1900년 파리 국제수학자대회에서 23개의 미해결 문제를 제시하며 "수학의 무모순성과 완전성을 증명하겠다"는 야심찬 계획을 선언했습니다.
그러나 1931년, 25살이었던 쿠르트 괴델Kurt Gödel 은 불완전성 정리를 발표해 힐베르트의 꿈을 근본적으로 무너뜨렸습니다. 그는 수학적 명제와 증명 과정을 모두 숫자로 표현할 수 있다는 점을 이용해, 스스로의 증명 가능성을 언급하는 문장을 구성했습니다. 그 결과 “이 문장은 증명될 수 없다”는 형태의 명제가 등장하며, 어떤 형식 체계 안에는 참이지만 그 체계 안에서는 결코 증명할 수 없는 명제가 반드시 존재한다는 사실을 보였습니다. 또한 어떤 체계도 자기 자신의 무모순성을 그 체계 내부에서 증명할 수 없다는 점도 함께 밝혔습니다.
그러나 괴델의 정리가 수학을 멈추게 만든 것은 아니었습니다. 수학의 완벽한 체계는 불가능하다는 것을 인정하고, 그 위에서 무엇을 할 수 있는지를 탐구하는 방향으로 나아갔습니다. 이후 해석학은 함수 하나를 연구하는 학문에서 벗어나 함수들의 공간을 다루는 이론으로 확장되었고, 편미분방정식과 확률론, 물리학과 결합하며 현대 과학의 핵심 언어로 자리 잡게 됩니다.
Reference.
- 지즈강. (2011). 수학의 역사. 더숲
- 김용운. (2013). 김용운의 수학사. 살림
- 강문봉. (2007). 역사속 수학이야기 (25) ‘무한집합론’ 수학자 칸토어. 경향신문. URL: https://www.khan.co.kr/article/200706261458042
- 김대식. (2014). [김대식의 'Big Questions'] ‘부분은 전체보다 작다’를 증명할 수 없는 무한의 세계. 중앙일보. URL: https://www.joongang.co.kr/article/15688991
* 본 글은 일부 자료 정리 과정에서 AI의 도움을 참고했습니다.
의견을 남겨주세요