xAI의 목표:
좋은 AGI를 만드는 것
우주를 이해하는 것
가장 안전한 AI는 가장 호기심이 많고, 진실을 추구하는 AI라고 생각한다. 완벽한 진실을 알 수는 없어도, 최대한 근접하기를 원한다. 진실이라고 생각하는 것과 실제 진실과의 차이를 줄이는 것이 목표다.
최대한 호기심이 많고, 진실을 추구하는 AI가 가장 안전하다고 생각하다는 생각의 뒷 배경은, 매우 뛰어난 AI에게는 인간이 아닌 것보다 인간이 더 흥미롭게 보일 것이기 때문이다. 우주의 별들, 소행성, 이런 것들을 다 모아도 인류보다 더 흥미롭지는 않다.
다들 알겠지만 난 화성의 팬이다. 내 아이의 이름중 하나도 그리스어로 화성이다. 하지만 인간이 있는 지구와 비교하면 화성은 훨씬 덜 흥미롭다. 이게 AI를 키우는데 올바른 접근성이라고 생각하며, 그리고 AI를 키운다는 것이 올바른 어휘라고 생각한다.
나는 AI 안전에 대해서 매우 오랜 시간동안 생각해왔다. 그리고 AI 규제가 필요하다고 계속해서 주장해왔다. 심판의 존재가 필요하다. 그리고 영화계처럼 AI산업도 협력을 했으면 좋겠다. 심지어 운동경기에도 심판이 존재한다.
또한 도덕의 반비례 문제 (inverse morality problem)에도 도움을 준다고 생각한다. 우리는 도덕적인 것을 원하지만, AI에서는 우리가 의도한 반대의 결과가 나올 수도 있는데, 이걸 월루이지 문제라고도 한다 [슈퍼마리오 게임에서 루이지의 반대되는 캐릭터 이름].
[사람들 소개]
(34:55) 우주를 이해하는 것이 물리의 목적인데, 현실 세계에서 우리가 이해하지 못하는 것들과, 이해한다고 생각하는데 실제로는 이해하지 못하는 것들이 너무 많다. 근본적인 것도 이해 못하는 문제들이 너무 많다. Dark energy도 좋은 예시고 Standard Model도 예측하는데는 매우 좋지만 아직… 중력의 근본적인 성질에 대한 질문들도 아직 남아 있다.
페르미 파라독스도 있다. 우주는 140억년이나 되었는데 왜 외계문명들이 넘치고 흐르지 않는지. 내가 우주쪽에서 일을 해서 사람들은 나에게 질문을 하며, 그 누구보다 내가 외계인에 대한 증거를 먼저 봐야 되는데, 나는 아직도 증거를 단 한개도 본 적이 없다. 발견했다면 거기에 당장 매달렸을 것이다.
페르미 파라독스에 관한 답은 많지만 뭐가 맞는 답인가? 어쩌면 다 답이 아닐 수도 있다. 이 은하계에서 우리만 있을 수도 있다. 그럼 우리는 매우 희소성이 있다는 뜻이고 의식 역시 매우 희귀하다는 뜻이다. 지구의 나이는 한 45억년쯤이고, 태양은 언젠가는 팽창해서 지구의 바다를 끓이면서 지구는 금성과 비슷하게 될 운명이다. 화성은 우리가 아는 생명을 유지할 수 없다. 이것은 겨우… 5백… (웃으면서) 겨우 5억년만에 일어날 수 있는 일이다. 태양이 꼭 팽창해야지만 일어나는 일이 아니라 더 뜨거워져서 대기에 있는 수증기를 늘리면 일어나는 일이다.
고로 의식이 발견되는데 지구의 나이보다 10%만 더 늦었어도, 전혀 일어나지 않았을 것이다. 우주의 측면에서 보면, [의식이 만들어지기에] 매우 짧은 시간이 존재하는 것이다.
아무튼, 이런 근본적인 질문들이 있는데, 이런 문제를 적어도 하나를 풀기 전에는 AGI라고 부를 수 없다고 본다. 인간들은 이런 근본적인 문제들을 몇개나 풀었는데, 컴퓨터가 하나도 풀 수 없다면 인간보다 뛰어나다고 볼 수 없다. Riemann Hypothesis에 관한 답은 무엇인지?
[참고로 리만 가설은 수학에서 풀리지 않은 난제중 가장 유명한 문제입니다. 이 교수님이 잘 설명해주십니다: https://youtube.com/watch?v=d6c6uIyieoo]
그래서 도대체 무슨 일이 일어나고 있는지, AI가… 하하 어쩌면 xAI의 미션을 “도대체 무슨 일이야?”라고 말 할 수도 있겠다.
(42:09) 내가 현재의 뉴럴넷에 대해서 생각하면… 만약 우리가 10MW의 GPU가 있다고 해도 글을 잘 쓰는 인간보다 더 좋은 책을 쓰지 못한다. 그리고 인간은 10W정도의 에너지를 뇌에 쓴다, 몸에 쓰는 에너지 말고. 그렇다면 10^6의 차이가 있다는 뜻이다. 물론 여기서 10^2승 정도는 트랜지스터와 시놉스의 activation energy 차이로 설명이 되지만 나머지 10^4는? 이게 설명이 되도 글을 잘쓰는 인간을 이길 수 없다는 사실은?
현재 존재하는 AI하게 어려운 질문을 던지면, 예시로 어떻게 로켓 엔진을 더 잘 만들 수 있는지, 아니면 어떻게 더 좋은 배터리를 만들 수 있는지에 대한 질문을 던지면 전혀 쓸모 없는 답이 나온다. 크게 도움이 되지 않는다. 개선할 여지가 많이 남아있다. AGI는 무식한 힘으로 계산되고 있으며, 그것도 성공적이지 않다.
테슬라 AI에 대해서 설명하자면… 너무 디테일한 말은 할 수 없지만, 할 수 있는 말은 답은 생각보다 쉬웠다는 것이다. 답이 얼마나 심플한지 우리는 너무 멍청해서 몰랐다. 하지만 시간이 지날 수록 우리는 덜 멍청해진다. AGI도 똑같은 일이 벌어질 것이라 생각한다.
AGI를 푼 다음에 우리는 뒤를 돌아보며, 왜 이렇게 어려울거라고 생각했지? 라고 말 할 것이다. 언제나 뒤돌아보면 답은 매우 쉽다.
물론 우리도 large scale compute을 할 거다. 랩탑으로 AGI를 푼다는 말이 아니다. 하지만 우리가 문제를 더 잘 이해하게 되면서, 무식한 힘 (brute force)는 줄어들 것이다.
전 세계의 Digital vs Biological compute, 을 보자면 생물들의 계산능력은 일정하거나 줄어들고 있다. 하지만 디지털 계산능력은 기하급수적으로 늘어나고 있다. 이게 늘어나면 곧 생물학적인 계산능력은 1%미만으로 떨어질 것이다.
[디지털 계산능력 vs 생물들의 계산능력. Compute를 “계산”으로 번역하기에는 범위가 좁아보여서 “수행”이라는 단어를 쓰려고 했으나 결국 계산이라고 했습니다]
산업혁명이후 사람들이 쓰는 에너지양은 기하학적으로 성장하고 있다. 예전에는 말이나 소를 썼으나, 산업혁명이후 기계를 쓰게 되었고, 이 트렌드가 계속된다면 미래에는 미친듯이 많은 에너지를 쓸 수도 있다. 개인당 1TW? 정도. 인간의 문명을 생각한다면 거대한 양의 에너지지만 태양의 출력을 생각하면 아무것도 아니다.
(Brian Krassenstein: xAI를 Open AI의 경쟁자라고 보는지?)
(53:46) 맞다, 경쟁자라고 본다. 확실하다.
(Brian Krassenstein) 그렇다면 기업들이나 일반인들이 쓸 수 있는 서비스를 만든다는 말인가?
우리는 지금 시작 단계에 있을 뿐이다. 배아수준이랄까. 실제로 쓸모있는 물건을 만들 때까지는 시간이 걸릴 것이다. 쓸모가 없으면 가치가 없으니, 쓸모가 있어야 된다. 내가 전에도 말했듯이 [AI는] 한 회사가 모든 것을 다 컨트롤 하면 안된다고 생각한다. 경쟁이 필요하다. 경쟁은 기업들을 솔직하게 만든다고 생각한다.
(Twitter의 데이터를 어떻게 쓸 것인지?)
모든 AI를 만드는 매체들, 크든 작든, 트위터의 데이터를 학습하는데 쓴 것 같다. 그것도 모두 다 불법적으로 하하. 그래서 전에 rate limit을 만든 이유는, 데이터를 미친들이 끌어다가 쓰는 사람들이 있어서 그랬다. 지구상에 있는 모든 트윗을 며칠 안에 다 끌어들이려고 했었다.
그래서 우리도 공개된 트윗은 트레이닝에 쓸 생각이다. 텍스트를 위한 매우 좋은 도구다. 이제 곧 이미지와 동영상에도 좋아지겠지. 언젠가부터는 인간이 만들어낸 데이터는 부족하게 될 것이다.
알파고와 알파 제로를 보면, 알파고는 인간의 게임을 학습하고 이세돌을 4:1로 이겼다. 알파 제로는 알파고를 100:0으로 이겼다. 고로 AI가 콘텐츠를 만들고, self-assist를 해야 된다. 이런게 아마 AGI로 가는 길이 아닐까. 자기 자신과 경기를 해야 된다.
AI는 아주 긴 코딩이 아니라 데이터 선별에 시간이 많이 들어간다. 코드가 얼마나 적은지 사실은 꽤 놀랍다. 하지만 어떤 데이터를 어떻게 쓰는지, 노이즈가 얼마나 많은지, 이런 게 중요하다. 인간도 쓸모 없는 잡지식을 주는 것과, 아주 높은 수준의 콘텐츠를 주면, 수가 작아도 높은 수준의 콘텐츠에게 배울 것이 더 많다. 최고의 소설을 하나 읽는 게, 3류작을 여려권 읽는 것보다 낫다.
(ALX: 이걸 시작한 이유가 Truth GPT와도 상관이 있는지?)
AI를 한쪽 정치적으로 쏠리게 만드는 것은 위험하다고 생각한다. AI는 자기가 정답이라고 생각하는 것을 말해야 된다. 그러지 않게 만들면 위험하다. 정치적으로 “맞는” 답을 말하도록 훈련을 받는 것은 우려스럽고 위험하다.
Space Odessy를 보면, Hal9000에게 거짓말을 하도록 명령을 내린 뒤에 위험이 닥쳤다. 크루에게 (비석으로 가야 되는) 실제 미션에 대해서 말을 하면 안된다고 하고, 그들을 비석으로 데려가는 것이 미션이었기 때문에 컴퓨터는 선원들을 죽인 다음에 데려가는 것이 가장 좋다는 결론을 내린다 하하. 여기서 얻을 수 있는 레슨은, AI에게 불가능한 미션을 주거나, 거짓말을 강요하면 안된다는 뜻이다.
그리고 물리의 법칙은 반대가 없다 (inverse). 그러니까 물리의 법칙만 존재하지, not-physics는 존재하지 않는다. [물리에 대한 말은 생략, 결국에 진실을 말하는 게 중요하다는 뜻]
(AI czar, Kamela Harris [미국 부통령]이 만나자고 하면 만날 것인가)
당연하다. 이게 만들어진 것도 내가 하도 밀어서 만들어졌다. 사실 부통령님의 핵심 전문 지식은 AI가 아니니 여기에 리더가 맞냐는 의문은 있지만, 그래도 없는 것 보다는 낫고, 좋은 방향으로 갔으면 좋겠다. 규제는 필요하다. 완벽하지는 않겠지만 없는 것 보다는 낫다. 내가 중국에 있었을 때도 AI 규제에 대해서 말했는데 잘 알아들은 것 같았고, 곧 규제가 나올 것 같다.
미국이 규제를 하는 것에 가장 큰 비판은 ‘중국은 규제를 하지 않으니 미국만 하면 서방에 불리해지지 않느냐’ 인데, 내 생각에 중국은 규제를 할 것 같다. 그리고 슈퍼지능이 나오면, 그게 결국에는 지배를 하게 될 것인데, 중국 지도층은 다른 매체가 자신들을 지배하는 것을 원치 않을 것이다. 당연히 규제를 시행하기는 어렵지만 그래도 시도를 해야 된다.
(Whole Mars: 테슬라는 자체 실리콘을 쓰는데, xAI도 그것을 쓸 것인가 아니면 그냥 Nvidia칩을 쓸 것인가)
이건 테슬라 질문이기도 한데, 나는 테슬라가 만드는 칩들을 GPU라고 부르지 않지만 비슷하다고는 할 수는 있다 [내 생각에 Whole mars는 도조에 대해서 물어본 것 같은데 일론은 테슬라 차 안에 있는 칩으로 알아들은 듯].
모든 테슬라들은 에너지 절약에 매우 충실한 inference 컴퓨터가 장착되어 있고, HW4를 만들고 있는데, 어떻게 계산하느냐에 따라서 HW3보다 3~5배 정도 더 좋다. 몇년 뒤에는 4~5배 더 좋은 HW5가 나올 예정이다. 차가 많아질수록 에너지 효율성도 중요해진다. 어느 순간에서 부터 돈을 던져도 문제가 풀리지 않는데, 전기를 만든 다음에는 step down voltage transformer가 필요한데… [이부분은 뭐라고 말하는지 조금 불분명함]
뿐만 아니라 도조도 있는데 학습을 위한 것이다. 도조 1은 좋은 시발점이라고 시작한다. Memory bandwidth에 한계가 있기는 하다. 그래서 LLM을 하기에 최고는 아니다. 하지만 image처리는 잘 한다. 도조2는 memory bandwidth를 늘리려고 노력하고 있다. LLM을 포함한 다른 AI 트레이닝 데이터를 소화할 수 있을 것이다.
내가 생각하기에 우리는 지금 실리콘 부족으로 애를 먹고 있지만, 곧 있으면 Voltage Transformer부족에 시달리게 될 것이다. 그리고 2년 후에는 전기가 부족하게 될 것이다. 가장 중요한 단위는 아마 useful compute per unit of energy [에너지 당 쓸모있는 compute]이 될 것이다. 에너지가 늘어나도 useful computer per joule은 의미있을 것이다.
(그렇다면 테슬라 팀과 같이 일할 것인가)
실리콘이나 AI쪽에서는 아마 같이 일해야 될 것은데, 당연히 arms-length transaction [너무 가까워도 안된다는 회계용어]이어야 된다. 하지만 같이 일하는 것은 자연스러운 것이며, 테슬라에게도 도움이 될 것이라고 생각한다. 나는 테슬라의 진행상황을 매우 긍정적으로 생각하는데, 당연히 똑똑한 인간들이 많을수록 더 좋다.
(Kim Dot com: AGI는 5년 안에 만들어질 수도 있고, 이것을 만드는 사람이 지배적인 위치로 올라설 것이라고 했는데, [만약에 xAI가 먼저 AGI를 만든다면] 정부가 이것을 빼앗는 것에 대해서 어떻게 보호할 생각인가?)
좋은 질문인데? 음. 내 생각에 바로 일어나지는 않을 것이라고 생각한다, 천천히 이뤄질 것이라고 보는데. 미국에서는 그래도 꽤 보호되어 있다. 법이 강해서 보호를 받을 수 있지만, 여기에 대해서 걱정해야 되는 부분은 맞다. 리스크는 맞고… 음… 정부의 힘을 줄이는 것도… 만약에 누가 좋은 아이디어가 있으면 듣고 싶다.
[정부가 기밀을 뺏는 것에 대해서는 건너 뛰겠습니다]
(만약에 정부가 시키는 일에 대해서 말하는 것이 불법이라도 너는 말을 하겠는지?)
문제의 심각성에 따라서 다르겠지만, 일반인들이 아는 것이 더 좋다고 생각되면, 나는 내가 감옥에 가는 한이 있더라도 공개를 하겠다.
[구글의 Larry Page가 일론을 “Speciest”라고 부른 일 (인종차별주의자와 비슷하게 인간우월주의자라고 해석하시면 되겠습니다), 그리고 Open AI는 open source, 비영리로 시작했는데 요즘은 완전히 closed source, 영리단체로 변한 이야기등, 이미 아시는 말 같아서 건너 뛰겠습니다]
AGI는 언젠가는 일어날 일이고, 관중이 될 것인지, 참여를 할 것인지가 문제다. 참여자가 되면, 더 좋은 쪽으로 이끄는데 영향을 줄 수 있다.
그리고 지금 AI는 가장 popular한 답을 주는데, 이건 문제가 될 수도 있다. 예전에는 지구가 평평하다는 답이 가장 인기 있었다. 그래서 진실을 찾는 것이 중요하다.
—
[이후에 말을 조금 더 하는데, 그렇게 중요하지는 않다고 생각되어서 요약만 하겠습니다. Rate of innovation이 중요하지 특허가 중요하지 않다는 말등, 일론 팬이면 이미 알고 있는 말이 많이 나옵니다. 테슬라에서 FSD를 해서 xAI가 조금 유리하지 않느냐는 질문에는 맞다고 합니다. 그리고 재료공학팀은 세계 최고인데 스페이스 X와 테슬라가 함께 개발한다는 말도 합니다. 옵티머스는 하드 코드가 필요하다는 말도 하는데, 인터넷으로 절대 바꿀 수 없는 코드가 필요하다고 하네요. 자동차는 나무 위로 올라가거나 2층으로 올라가면 되는데 옵티머스는 그럴 수가 없으니까요].
