스마트폰이 멸종하고 '세계1위'가 뒤집힌다. '반도체'와 '인공지능AI'이 한 몸이 된다.(정인성 작가 2부) :: ChatGPT 정리

> English Summary

> English Full Text

 

[ 요약 ]

인공신경망은 CPU보다 용량이 크고, 인공지능은 우리가 꿈꾸는 것과는 차이가 있습니다.
이에 따라 우리가 생각하는 인공지능이란 개념을 다시 한번 생각해 볼 필요가 있습니다.

인공지능은 바둑 AI나 스타크래프트, 언어 모델 GPT 등 다양한 형태가 있지만, 결국 스스로 학습하고 배우는 컴퓨터 시스템을 의미합니다.
하지만 인공지능을 통해 만들어진 제품들이나 서비스는 반도체, 컨트롤러 등 다양한 기술의 결합체로 이루어져 있습니다.
따라서 이러한 기술들이 결합된 제품이나 서비스를 만들기 위해서는 많은 데이터와 시간, 노력이 필요합니다.
인공지능을 구현하는 과정에서 기술적인 제약이 있고, 기술적인 제약을 극복하기 위해서는 많은 노력과 시간이 필요합니다.

인공지능은 스스로 학습하고 배우는 시스템으로, 프로그래머는 이러한 시스템을 만들어 놓고 데이터만 입력하면 스스로 문제를 해결하게 됩니다.
인공지능이 발전하면서 뇌세포를 모방하는 아이디어가 등장했지만, 연결 관계를 모르기 때문에 멈춰있었습니다.
그러나 캐나다에서는 인공신경망을 학습시키는 방법을 발견하여, 인공신경망을 활용한 기술 발전이 이루어졌습니다.
이를 위해 GPU가 필요하게 되었습니다.

이전에는 순서도를 놓고 프로그램을 작성했지만, 이제는 인공신경망을 크게 구성하고 그 안에서 값을 바꾸어 가며 정답을 찾는 방식으로 바뀌었습니다.
또한 고사양 그래픽 처리를 위해 CPU와는 다른 형태의 VG라는 그래픽 전용 칩이 개발되어 사용되고 있습니다.
GPU는 CPU에 비해 그래픽 처리에 특화되어 있기 때문에 많은 그래픽 작업에 활용되고 있습니다.

인공지능 기술을 상업용으로 사용하고자 할 때, 데이터의 쌍이 잘 갖춰진 데이터베이스를 찾는 것이 중요합니다.
인터넷에서 데이터를 그대로 긁어오는 것은 어렵고, 데이터 정제가 필요합니다.
인공지능은 요약에 적합하며, 인트로덕션과 본문을 요약하는 일은 잘 됩니다.
적용할 분야에 맞는 데이터베이스를 찾아서 활용해야 합니다.
인공지능은 문제와 정답을 하나만 가지고 배울 수 없으며, 많은 양의 데이터를 필요로 합니다.

인공신경망은 용량이 매우 커서 고용량 고속 메모리의 수요가 높아졌습니다.
메모리 시장에서는 HBM 등의 고용량 고속 메모리들이 주요 판매 품목입니다.
이에 따라 메모리 시장에서는 연구개발 수요보다는 꾸준한 사용 수요가 필요하다는 의견이 나오고 있습니다.

세레브라스와 같은 회사들은 엔비디아 GPU보다 더 효율적이고 비용 효율적인 칩을 제작하고 있습니다.
이러한 칩들은 대규모 신경망 연산에 적합하며, 적은 용량으로 많은 데이터를 처리할 수 있습니다.
이러한 칩은 데이터가 풍부한 분야에서 가치가 있으며, 예를 들어, 3000단어 이상의 대화를 처리하거나, 적은 비용으로 대용량 데이터 처리를 해야 할 때 사용할 수 있습니다.
현재 이러한 칩을 사용하기 위해서는 대규모 집합체에 많은 칩을 엮어야 하는데, 이는 비용이 많이 들며 효율적이지 않습니다.
따라서 새로운 칩이 개발되어야 하며, 이를 위해 반도체 기술의 발전이 필요합니다.

 

 

반응형

 

Smartphones are extinct and the 'world's number one' is overturned. 'Semiconductors' and 'A.I.' become one body (Inseong Jung, Part 2)
https://www.youtube.com/watch?v=Lfa_fufag_Y 

 

 

 

[ 한글 전체 ]

인공신경망은 특징이 CPU가 잘하는 일은 아니라는 거예요.
숫자가 5를 넘으면 "안녕하세요" 말하는 코드를 쓴다.
이거는 용량 진짜로 몇 킬로바이트 안 하거든요.
근데 제가 동일한 일을 하려는 걸 인공신경망으로 만들면 용량이 몇 백배 커요.
엔비디아 GPU도 완벽한 칩은 아니에요.
Azure 슈퍼컴퓨터의 그래픽 카드 만개를 엮었다고 했잖아요.
그렇게 엮으면 비효율도 크고 비용도 크거든요.
GPT를 통하면 인공지능 변호사 뭐 이런 거 만들려면 데이터 장벽부터 있는 거야.
예전에는 PC였고, 스마트폰이었고, 지금은 서버인데 제4의 어떤 수요를 만들려면요?
"안녕하세요.
머니인사이드 시청자 여러분, 정인성 작가입니다.
저는 원래 반도체 회사에서 반도체 관련한 시뮬레이션 일을 하고 있었고요.
최근에 인공지능 관련해서도 새로운 책을 쓸 수 있었고요.
지금은 이제 동료들이랑 인공지능 개발 쪽으로 와 있습니다.
교체들을 완제품을 만들고 나면 이 반도체들을 또 뭉쳐서 그 위에다가 조그만 컨트롤러를 붙여서 막 동작을 하게 만들어요.
쉽게 말하면 원본 반도체가 아니고, 반도체들을 결합해서 새로운 가치를 만드는 거죠."이제 그런 것들을 시뮬레이션으로 검증하는 일을 했어요.
인공지능은 용어를 구분할 필요가 있는데, 인공지능은 우리 꿈 같은 것이에요.
그러니까, 우리가 하고 싶은 것을 쉽게 말하면, 이 인공지능이란 요소가 딱 잘 정의되지는 않는데요.
예를 들어, 예전에 있던 그 바둑에 있는 바둑 AI나 스타크래프트에서 이제 컴퓨터 상대를 넣었어요.
그런 것도 다 인공지능이라고 불러요.
실제로는 그렇게 부를 수 있고요.
그러니까, 인공지능이라는 걸 자체가 굉장히 어마어마한 개념이고 그렇지는 않은 거예요.
근데 이제 우리 일반인들 입장에서 좀 터미네이터 같은 걸 생각하겠죠.
인공지능으로 일하는 입장에서 인공지능은 어떤 물건이냐 하면, 스스로 배워요.
저는 이제 프로그래머인데, 프로그램을 짜서 컴파일을 하거나, 아니면 스크립트를 실행하면 얘가 막 돌아가거든요.
근데 시킨 대로 돌아가요.
예를 들면, 제가 정말 어렵게 엄청 힘든 건데, 계란과 고양이를 구분하는 프로그램을 만들었다고 해볼게요.
근데 이 프로그램은, 제가 그 다음에 코끼리를 어떻게 구분하려고 하면 다시 짜야 돼요.
또 코끼리를 구분하는 코드를 막 짜야 되죠.근데 이제 저는 사실 어떻게 하고 싶냐면, 프로그램 하나를 만들어 놓고 코끼리 사진만 넣으면, 코끼리도 프로그램이 제가 다시 짜는 것과 있는 프로그램도 사진만 모아서 긁어 넣는 것 중에 뭐가 쉽겠어요?
사진만 넣으면 훨씬 쉽죠.
"프로그램 짜라" 그러면 끼약하겠지만, 코끼리 사진을 천 개 모아오라 하면 아마 즐겁게 모아올 거라고요.
그냥 당연히 확실히 쉽죠.
그게 지금 말하는 이제 인공지능에서 중요한 요소들은 그런 거예요.
바둑 인공지능도 다 인공지능이고, 한데 지금 우리가 중요하게 여기는 요소는 얘가 스스로 배워서 내놓는 결과를 바꾸는 물건이란 거예요.
이제 그쪽을 중요하게 봐온 게 그 인공지능인 거예요.
반도체는 그거와 뭐가 관계가 있느냐 하면, 지금 제가 말씀드리는 건 다 컨셉이죠.
어떻게 만드는지에 대한 얘기가 없잖아요.
그래서 그런 인공지능을 만드는 아이디어가 여러 개 있었어요.
SVM 같은 방법도 있고, 코드를 엄청 무식하게 짜보는 방법도 있고요.
IBM 왓슨처럼 막 만드는 방법도 있는데, 요거 다 다른 형태의 프로그램이잖아요.이 방법들 중에 제가 A라는 방법을 택하면, 예를 들어 CPU가 빨라야 되고 메모리는 적어도 되고, B라는 방법을 쓰면 CPU보다 메모리가 중요하고 요런 식으로 바뀌어요.
왜냐하면 프로그램도 그냥 CPU에서 도는 게 아니고요.
CPU가 잘하는 일 중심으로 프로그램을 짜야 빠른 거잖아요.
그게 반도체랑 인공지능 기술의 핵심인 거야.
우리는 인공지능이라는 추상적인 개념을 만들고 싶고요.
그래서 그 추상적인 개념이 돌아가게 하기 위해서 여러 가지 아이디어를 쓰는 거예요.
그 중에 지금 제일 잘 되는 게 인공신경망이라는 개념이에요.
인간의 뇌세포 구조를 좀 따라 해서 그 신경망을 이제 우리 학습시키는 방법을 알아냈기 때문에 학습시키면 우리가 원하던 인공지능은 스스로 뭐 배우고 뭐 진짜 의미를 스스로 배우진 않죠.
이제 우리가 코드를 다시 짜줘야 할 필요없이 데이터만 넣어서 다시 학습시키면 원하는 결과가 나오고, 그런 걸 할 수 있는 게 이제 인공신경망이야.
근데 이 인공신경망은 특징이 CPU가 잘하는 일은 아니라는 거예요.그러니까, 이제 기존의 CPU만 있던 90년대와 2000년대와는 달리, 지금은 엔비디아 GPU를 사용하고 있어요.
우리는 하고 싶은 일 중에서, 그 일을 제일 잘하는 방법론을 찾아요.
어떤 방식으로 프로그램을 만들어야 스스로 잘 배우는 프로그램이 될지, 그리고 그 프로그램들은 각자 원하는 반도체가 달라요.
그 일을 잘할 수 있는 반도체가 다르죠.
그렇게 움직이는 거예요.
원하는 결과가 튀어나오는 좀 신기한 상황이 된 거죠.어떻게 보면 CPU가 좀 더 똑똑한 칩인데, 우리가 지금 보는 인공지능 기술은 좀 무식한 방식으로 좀 더 나은 지성을 구현하는 모습이에요.
그러니까, 인간 머리가 일단 그런 식으로 돌아가잖아요.
왜냐하면 인간 그 유전자 안에 CPU 설계가 들어있겠어요.
그럼 복잡한 설계가 있을까요?
인간 안에 그 CPU 안에는 그 수십억 개의 트랜지스터가 막 연결되어 있는 설계도가 있는데, 인간은 그렇지 않잖아요.
뇌세포들은 다 보면 특정 뇌세포의 자극이 들어오면 인접한 뇌세포에 특정 그 역치 값을 넘으면 자극을 전달하고 역치를 안 넘으면 자극을 안 잔다고 이렇게 돼 있어요.
그 연결 관계를 수천에 모아 놓으면 지성이 되는 거잖아요.
과거에는 문제가 뭐였냐 하면, 어 그러면 우리 인간 내 모습을 좀 따라 해서 이렇게 막 연결하면 지성이 나올 거야 이론상.
그걸 문제는 뭐냐면, 이 연결이 예를 들면 A라는 내 세포랑 B라는 내 세포 사이 연결을 얼마나 강하게 전달해줘야 돼?
이런 걸로 하나도 모르는 거예요.그러니까, 우리가 앞에서 말한 프로그래밍이란 개념은 아까 말한 것처럼 조건문을 쓰는 거였는데, 이제는 그 세포와 세포 사이 연결 강도가 0.1이냐 0.3이냐 이런 거를 고민해야 되는 상황이 된 거예요.
문제가 뭐겠어요?
수십억 개가 있는데, 그 중에 요거 세포 하나 딱 해서 얘네 둘 사이에 이게 영향을 뭘 주는 거야 하면 그걸 알아내겠냐는 거예요.
그걸 알 수가 없잖아요.
그래서 오랫동안 힘들었던 거예요.
인공지능 인간 뇌세포를 따라해 보자는 아이디어가 뭐 그렇게 참신한가요?
이게 60년대에 이미 나왔던 아이디어에요.
근데 왜 사라졌다가 이제야 떠올랐냐?
그때는 어, 그래 이렇게 하면 될 거 같은데, 정확하게는 뇌세포와 뇌세포의 연결 관계를 어떻게 해줘야 얘가 잘 돌아가는지를 몰랐던 거예요.
그러니까 몇 십 년을 쉰 거죠.
이제 몇 십 년 동안 그래서 아무도 못 해보고 있었다가, 캐나다 쪽에서 이제 그거 학습시키는 방법을 알아낸 거예요.
그때, 아, 여기 데이터를 넣고 결과값에서 어떤 식으로 계산을 해주면 인공신경망이 서서히 정답률이 올라가게 만들 수 있다.
요거를 알아냈어요.
그때 그 방법을 써 보니까, GPU를 써야 빨라요.그렇게 해서 지금의 상황이 된 거예요.
이건 쉽게 말하면 프로그램 쓰는 방법이 바뀌어 버린 거예요.
기존에는 프로그램 쓸 때, 제가 순서도를 놓고요.
순서도를 잘못 짜면 버그고 그랬는데요.
지금은 인공신경망을 크게 구성을 해놓고 그 안에서 값이 정답을 낼 수 있는 형태로 그 수많은 소수점을 바꿔 가야 되는 거예요.
그래서 GPU가 필요한 거죠.
원래 옛날 게임들은 그 화면에 표시하는 거랑 게임의 그 움직임들을 표시하는 걸 전부 CPU가 했어요.
근데 이제 컴퓨터란 게 PC라는 게 나오고 계속 유행하다 보니까, 사람들이 점점 더 높은 그래픽을 원해요.
점점 더 그래픽 좋은 게임도 하고 싶고 영화도 만들고 싶고 이런 거요.
근데 말씀드렸지만, CPU는 분기 처리를 잘해요.
조건 처리를 잘하죠.
근데 그 고급 그래픽을 계속 해보니까, 이게 CPU에 잘 맞지 않았던 거예요.
그때도 그래서 CPU에 잘 맞지 않으니까, 이제 VG라고 부르는 그래픽 전용 칩을 만들어서 쉽게 말하면, 이런 걸 제가 여기 인테리어를 해야 되는데, 인테리어 디자인도 하고 막 벽지도 붙이고 뭐 청소도 다 했는데, 이제는 CPU가 그 GPU라고 부르는 협력사를 데려와서, 저는 여기는 도배하고 여기는 청소하고 시켜 놓으면, 이걸 하고 가게 하는 거예요.그리고 저는 이제 앉아서 막 계속 다음번에 도배해야 될 곳을 찾고 있고요.
그 GPU라는 녀석이 와서 도배 같은 일을 해주는 거예요.
이 GPU는 제가 하는 일은 잘 못하지만, 제가 잘 못하는 걸 잘 하는 거죠.
결국은 CPU라는 칩이 모든 일을 잘 하기에는 한계가 있었던 거예요.
왜냐하면 CPU가 그 아까 말한 조건문 처리를 잘하려면 그쪽에 소자를 써야 되는데, 거기에 소자를 쓰면 다른 쪽에 쓸 소자가 없잖아요.
제조할 때 그러니까 모든 걸 잘할 수 없으니까 생겨난 일이죠.
다행스럽게도 엔비디아가 의도한 바는 아니겠죠.
아마 인공지능 기술을 해내기 위해서 여러 연구를 하는데, 제일 잘 되는 기술이 그래픽이랑 비슷한 연산을 요구했던 거예요.
왜냐면 그래픽도 결국 소수점 많이 곱하고 더하고 하는 거예요.
살짝 얻어걸리는 느낌도 있죠.
이거는 그래픽을 했는데 회사가 계속 커야 되니까 CPU는 못하고 GPU는 잘하는 일을 계속 하자 다녔어요.이 회사가 "어, 이게 잘 될 거야" 라는 그런 느낌으로 바로 가서 2006년 7년에 막 지른 게 아니고, 전 세계 사람들이 좀 GPU를 쓰기 편하게 이제 CUDA 이런 걸 만들어 놨어요.
그러니까 엔비디아 생각이 이런 거요.
이게 그래픽에만 쓰진 않겠지 뭐, 슈퍼컴퓨터나 시뮬레이션에도 쓸 수 있고, 그래서 그 물리 연산하는 회사를 인수하기도 하고 그랬어요.
근데 이제 그런 걸 그냥 만들어 놓고 "칩 쓰세요" 라고 하면은, 쓰는 법을 몰라요.
사람들이 왜냐면, 제가 CPU 용으로 프로그램 짜던 사람이 GPU 형으로 프로그램 짜려고 하면 진입 장벽이 꽤 높거든요.
그래서 엔비디아는 그걸 조금이나 좀 편하게 해주려고 CUDA 이런 것들을 마련을 해 놓은 거죠.
그래도 마련해 놓은 상황이 이거, 쉽게 말하면 캐나다에서 집어다 써본 거에 가까워요.
어, 그랬더니 연산 속도가 5배 빨라졌어요.
뭐, 이런 식으로 결과가 나오니까 이제 옆방 대학원생이 이걸로 이제 하나 쓰던 논문을 한 달에 5개씩 쓰고 있으면, 그러면 나도 써야 되고, 그 옆방 대학원생도 쓰고 할 거잖아요.
당연히.근데 이게 굉장히 반도체 비즈니스에서 사실은 중요한 요소예요.
옆 사람이 썼는데 안 되던 게 됐잖아요.
그러면 그걸 본 옆 사람이 쓰죠.
그러면 이제 이걸 잘 쓰는 사람이 논문 찍어내면서 유명해지죠.
그러면 어느 순간 그게 거대한 그 프로그래머 집단으로 변해요.
그러면 이제 지금 2023년 상황에서 제가 대학원 갖도록 하고 논문 써야 되는데 인공지능으로 논문을 써야 되겠는데, 그러면 컴퓨터를 마련하는데 뭘 마련할 거냐 이거예요.
전 지금 하나도 안 해봤으니까 일단 남들 하는 걸 다 모방해야 된다니까요.
남들 쓰는 컴퓨터 사고 그럼 당연히 엔비디아 GPU 들어가요.
그리고 인공지능 한 번도 안 돌려 봤으니까 인터넷에 돈을 오픈 소스를 받아다가 인공지능을 돌려봐야 돼요.
그 오픈 소스는 뭘로 쓰여 있겠어요?
이것도 엔비디아 GPU를 전제하고 써놨다고요.
코드를 그러니까 AMD가 못하는 거예요.
이거를 AMD 그래픽카드로 이제 뭔가 해보려고 실제 실험은 하지도 못하는 거예요.
자, 근데 엔비디아 거 쓰면 물어보면 되잖아.
"야, 너는 어떻게 했니?" 이렇게.
그게 그 반도체 비즈에서 되게 중요한 걸요.생태계예요.
이게 어떻게 보면 메모리 같은 건 그런 생태계가 좀 약하고요.
인텔의 CPU 같은 것도 그런 생태계를 가지고 있잖아요.
그러니까 한참 동안 인텔 CPU가 지금도 그렇게 힘들어 해도 살아 있는 거예요.
여기에 맞춰진 프로그램이 많으니까, 반도체 시장은 이제 당분간은 그 거대신경망, 특히 자연의 신경망이 잘 된다고 했으니까, 아마 그쪽에 연구개발 수요는 올라갈 거예요.
근데 영국 개발 이상으로 이제 꾸준한 수요를 만들어 내려면 많은 부분에서는 연구를 해봐야 된다고 생각해요.
왜냐하면 지금 신경망 학습시키는 게 장점만 있는 건 아니에요.
이 단점은, 얘가 인간이랑 제일 큰 차이점이 데이터 한두 개 보고 학습이 안 된다는 거예요.
예전에 여기 버니 사이드 시청자 여러분은 영상을 몇 만 개씩 봐야 특정 테마를 익힐 수 있는 것이 아니잖아요.
하나만 봐도 익히죠.
근데 인공지능은 문제와 정답상 하나 가지고 배울 수가 없고 엄청 많이 봐야 돼요.
그 GPT를 통한 뭐 인공지능 변호사 뭐 이런 거 만들려면, 일단 데이터 장벽부터 있는 거야.
질문과 정답상이 충분히 있냐.그런 것들이 지금은 다 조사가 안 되고, 이제야 사람들을 찾아보는 중일 거잖아요.
그러니까 전 당분간은 연구개발 수요는 크겠지만, 이게 정말 세상을 바꿀 만큼 여기저기 적용될 건지, 아니면 마이크로소프트만 검색엔진과 오피스에 쓸 건지, 이거는 저는 좀 봐야 된다고 생각해요.
일단 제일 크게 쓰이는 건 역시 메모리죠.
인공신경망의 특징 중 하나는 CPU 용으로 짠 프로그램보다 용량이 엄청나게 크다는 거예요.
정말 코드를 잘 짜서 숫자가 5를 넘으면 "안녕하세요" 말하는 코드를 쓴다.
이거는 용량 진짜로 몇 킬로바이트 안 하거든요.
근데 제가 동일한 일을 하려는 걸 인공신경망으로 만들면 용량이 몇 백배 커요.
실제로는 그래서 메모리 중에 고용량 고대역폭 메모리가 중요한 거예요.
지금 일단 한국에서 제일 주요하게 팔리는 것들은 인공지능 쪽에 그 HBM 같은 그 고용량 고속 메모리들이죠.
그쪽에서는 확실히 수요가 있다고 말이죠.
그러니까 이런 느낌이야.
예를 들면, 제가 CPU 프로그램에다가 1 + 1을 계산하게 시키면 프로그램 용량 해봤자 얼마나 하겠어요.
근데 저한테 1 + 1 물어보고 MRI 찍으면 주식회사 벌거벗어졌다가 없어진다고요.
되게 비효율적이잖아요.그렇게 보면 그 용량이 크다니까요.
그렇게 여기 뇌세포 하나하나로 옮겨 놓는 거잖아요.
1+1을 하기 위해서 뇌세포를 거쳐가는 신호의 개수가 뭐, 3개겠냐 이거예요.
1+1은 세 개 들어가면 한 개 나오는 게 아니고 수백 업계가 막 여기서 반응을 하잖아요.
그 거를 재현해야 되는 거잖아요.
그 컴퓨터에 내부에 맞춰서 당장 물량을 딱 고민해 보면, 마이크로소프트 에저 슈퍼 컴퓨터가 엔비디아 V100인가 하는 학습용 GPU를 만개인가 엮었거든요.
근데 이 만개의 메모리 용량이 40만 기가바이트.
그래요, 엄청 큰 거 같지만 우리 평균 스마트폰에 뭐 8기가 들어가잖아요.
8기가 들어가면 이거 2만 개 팔아도 스마트폰으로 한 5배, 40이랑 팔으니까 5배죠.
그러면 스마트폰 판매량으로는 만 10만 개 정도 되겠네요.
근데 스마트폰 1년에 10억 개 팔잖아요.
전 세계, 그러니까 요것만으로는 물량이 엄청 크지 않다는 얘기를 하는 거예요.
그 Azure 슈퍼컴퓨터한테 1년에 한 100개씩 팔아도 전체 메모리 물량에서 크진 않죠.물론 메모리 용량당 단가는 크게 쳐 주겠지만, 그래서 이게 그 GPT 같은 게 메모리 시장에 이제 예전에는 PC였고 스마트폰이었고 지금은 서버인데 제 4의 어떤 수요를 만들려면요?
지금 영국 개발 수요로 안 된다는 이야기를 하는 거예요.
연구개발 수요 말고 꾸준히 사용되는 수요가 있어야 되는데 왜냐하면 영국 개발하는 건 결국 한 번 살고 잘 안 되면 버릴 거잖아요.
근데 꾸준히 써야 되면 영구 계속 살고, 그 상업용으로도 계속 살아야 되니까 수요가 꾸준히 늘어나죠.
근데 그걸 알려면 사실 메모리 시장이나 엔비디아를 볼 게 아니고, 우리가 GPT 같은 걸로 하고 싶은 사업 모델 중에 데이터들의 쌍이 잘 갖춰져 있는 곳이 있나 그거를 알아야 답을 할 수 있다는 얘기인 거예요.
전 그래서 지금은 그걸로 막 메모리 시장에 확 바뀔 거다 그렇게까지 기대하지 않아요.
지금 인공지능은요, 우리가 좀 이렇게 착각들을 하는 게, 인터넷에는 데이터가 무한하니까, 그냥 데이터 넣으면 똑똑해지겠네라고 생각하는 거는 그렇지가 않아요.
예를 들면, 제가 개와 고양이를 구분시켜야 된다고 하면요, 사진만 넣는 게 아니라 사진에 개라고 써놔야 돼요.고양이 사진에 고양이라고 써놔야 되고요.
그렇게 질문과 정답 쌍이 있어야 배울 수 있는 거야.
사진은 그래도 좀 쉬워요.
이거 뭐 사람 몇 명 쓰면 사진 100만 개 만들 수 있을 거야 아마.
근데 말하는 인공지능은 어떨까요?
이거 질문과 대답 쌍을 만들기 쉬울까요?
이게 우리 인터넷에 글을 그냥 긁으면 질문과 대답 쌍이 충분히 많이 나올까요?
그러니까 그 안에서는 질문과 대답 쌍 자체를 찾는 것도 되게 어렵고요.
그리고 그 중에 그 신뢰할 수 있는 말이 있느냐, 이것도 되게 중요해요.
지금 GPT 같은 게 학습이 잘 될 수밖에 없는 게, 요약 같은 건 되게 잘하거든요.
해보면 왜 요약이 잘 되냐 하면, 요약은 이미 그 인터넷에 쌍이 많이 있거든요.
제가 일일이 GPT에 만들어 줄 몇 테라바이트 데이터를 일일이 질문 답변 쓰는 건 수학적으로 말이 안 돼요.
왜냐하면 사람이 열심 맞춰봤자 제가 한번 만다노 뭐 치는 것도 힘든데 일주일 동안.
근데 뭐 얘는 뭐 수백억 단어가 필요한데 사람 뽑아서 한다고 되겠어요?
그게 안 되죠.
대부분의 있는 데이터 중에 좋은 데이터를 그 정제해서 쓰는 게 중요해요.근데 예전에 요약 같은 거는 위키펫이야 이런 거 있잖아요.
인트로덕션 아니, 사실상 요약이에요.
그리고 밑에가 본문이잖아요.
본문을 주고 이거 요약해져 한 다음에 정답을 인트로덕션 같은 걸 넣어서 할 수가 있거든요.
그런 일들은 잘 되는 거예요.
근데 이제 예를 들면, 우리가 BT가 세상을 바꾸려면 그런 식으로 쓸 수 있는 데이터가 있는 곳이어야 적용 가능한 거예요.
예를 들면, 제가 법조계 쪽으로 GPT를 쓰고 싶고, GPT를 학습시키고 싶잖아요.
그러면은 그것도 판례랑 답이 있어야 되는데, 그것도 이제 얼마나 좋은 판례인지 이런 걸 다 매겨 줘야 된다는 거야.
그 양도 많아야 되는 거죠.
그리고 그러고 나면 사업성 문제가 생겨요.
그렇게 한국에서 이거 학습을 시켰는데 미국에 쓸 수 있어요.
그거 못 쓰죠.
미국법이 아니니까.
이거는 상장된 회사는 아닌데, 세레브라스 이런 회사들이 있어요.
정확하게는 엔비디아 GPU도 완벽한 칩은 인공지능 쪽에선 범용적이고 쓰기 편한 칩이긴 한데, 얘도 한계가 있어요.
예를 들면, 지금 돈은 ChatGPT가 더 말했지만, 그 Azure 슈퍼 컴퓨터에 그래픽카드 만개를 엮었다고 했잖아요.근데 그렇게 엮으면 비효율도 크고 비용도 크거든요.
그래서 이제 세르브라스 같은 회사는 그만한 GPU를 하나씩 엮을 바에 이따만한 칩을 이제 웨이퍼 하나 해놓고 그 안에 신경망을 한 번에 다 올리자 이런 식으로 얘기를 해요.
GPT3 이거는 그 단일 GPU 안에 다 안 들어가서 이거를 쪼개서 담기 위한 노력도 많이 하고 그 비효율이 많거든요.
근데 이제 그런 거대한 집에는 신경망이 한 번에 딱 들어가죠.
그러면 기존에는 이론상으로는 할 수 있지만 GPU의 용량 한계로 회복이 힘들었던 걸 많이 해 볼 수 있어요.
그런 집들을 쓰면 저는 이제 그런 부류의 칩들을 보는 건 나쁘지 않다고 생각해요.
정확하게 이제 조건은 두 개 있어요.
이런 칩들이 잘 되려면 첫째로, 지금 채찍 PT와 비슷한데 거대한 언어 모델이죠.
이게 내가 하려고 하는 사업 분야에 데이터가 아까 말한 형태의 데이터가 있고요.
그런 데이터들의 풍족하고 근데 엔비디아 G 있으면 원가가 좀 안 나오는 애들, 이런 애들일 때 가능성이 있는 거야.
예를 들면, 제가 비즈니스를 하고 싶은데, 채찍 PT 같은 지금 공개된 거는 그 한 3천 단어 정도만 입력으로 들어갈 수 있어요.제가 대화를 주고받는다면 대화 총합이 3000단어 넘어가면 까먹어요.
얘는 원래 그런 디자인인 거야.
근데 그거를 늘리려면 늘릴 때 데이터도 많이 필요하고요.
늘린 다음에 사양도 훨씬 많이 먹어요.
이제 기술 발전이 좀 있긴 하겠지만, 지금 상황에서는 그 3000 단어를 6천 단어로 늘리면 4배 정도 커져요.
얘가 대충 그 연산에 이렇게 4배씩 커지게 되니까, 제가 이제 사업 모델을 봤더니 3000단어 부족하고, 뭐 8만 단어까지 하고 싶다 이러면, 엔비디아 GPU 지금 만개 엮어서 했는데, 몇 개 엮어서 할 거예요?
그때 100만 개였고 살 건가요?
그렇게 할 수 없잖아요.
그러면 새로운 반도체 찾는 거죠.
그 아파트들의 건폐율을 보면, 보통 17% 쇼프입니다.
땅을 2호 20평만 줘야 돼.
100평 되려면 10층이 돼야 200평 나오잖아요.
그죠.
자이 시스템을 아시면, 부동산에 제가 장담한 건데, 반은 이미 안 옵니다.
나머지는 디테일입니다.
이걸 정확히 모르고 적당히 이쁘다 뭐 이런 거 얘기할 필요 없습니다.

 

 

SMALL

[ English Summary ]

Neural networks have more capacity than CPUs, and artificial intelligence is not what we dream of.
As a result, we need to rethink what we think of as artificial intelligence.

Artificial intelligence takes many forms, such as Go AI, StarCraft, and language model GPT, but at its core, it is a computer system that learns and teaches itself.
However, products and services created through AI are a combination of various technologies such as semiconductors and controllers.
Therefore, it takes a lot of data, time, and effort to create a product or service that combines these technologies.
In the process of implementing AI, there are technical constraints, and it takes a lot of effort and time to overcome technical constraints.

AI is a system that learns and teaches itself, so programmers can create such a system and just input data and it will solve problems on its own.
As artificial intelligence has evolved, the idea of mimicking brain cells has emerged, but it has been stalled because we don't know the connections.
However, in Canada, researchers found a way to train an artificial neural network, which led to technological advances utilizing artificial neural networks.
For this, GPUs became necessary.

Previously, we used to write programs with flowcharts, but now we're building large neural networks and changing values within them to find the right answer.
In addition, dedicated graphics chips called VGs, which are different from CPUs, have been developed and used for high-end graphics processing.
GPUs are specialized in graphics processing compared to CPUs, so they are being used for many graphics tasks.

If you want to use AI technology for commercial purposes, it's important to find a well-paired database of data.
It's difficult to scrape data off the internet, and data needs to be cleaned.
AI lends itself to summarization, and does a good job of summarizing introductions and body copy.
You need to find the right database for your application and utilize it.
AI can't learn with just one problem and one answer, it needs a lot of data.

Neural networks are very large, which increases the demand for high-capacity, high-speed memory.
In the memory market, high-capacity high-speed memories such as HBM are the main sales items.
As a result, there is an opinion that the memory market needs steady usage demand rather than R&D demand.

Companies like Cerebras are making chips that are more efficient and cost-effective than Nvidia GPUs.
These chips are well suited for large-scale neural network computations, and can process a lot of data with less capacity.
These chips are valuable in data-rich applications, for example, when you need to process conversations of 3000 words or more, or when you need to process large amounts of data at low cost.
Currently, these chips require many chips to be woven into a large aggregate, which is costly and inefficient.
Therefore, new chips need to be developed, and this requires advances in semiconductor technology.

 

 

 

[ English Full Text ]

The thing about neural networks is that they don't do things that CPUs are good at.
I write code that says "hello" when the number is over 5.
It's really only a couple kilobytes.
But if I try to do the same thing with a neural network, it's hundreds of times larger.
Nvidia GPUs aren't perfect chips either.
You mentioned stitching together 10,000 graphics cards in an Azure supercomputer.
That's a lot of inefficiency and a lot of cost.
With GPT, if you want to make an AI lawyer or something like that, there's a data barrier.
It used to be PCs, it used to be smartphones, and now it's servers, so how do you create a fourth demand?
"Hello.
Money Insider viewers, I'm Inseong Jung.
I used to work at a semiconductor company doing simulation work for semiconductors.
Recently, I was able to write a new book on artificial intelligence.
Now I'm working with my colleagues on AI development.
After we make the replacements into a finished product, we stack them together and put a small controller on top of them to make them work.
In other words, it's not the original semiconductor, it's the combination of semiconductors that creates new value." Now I've been working on validating those things with simulations.
We need to distinguish the terminology, because AI is like our dream.
I mean, it's kind of like what we want to do, but this element of artificial intelligence is not really well defined.
For example, the Go AI in that old game of Go, or in StarCraft, where you now have a computer opponent.
All of those things are called AI.
You can actually call it that.
So, I mean, it's a really big concept, and it's not.
But now, for us laypeople, it's kind of like the Terminator.
For those of us who work with AI, it's like, it's self-learning.
I'm a programmer now, and I write a program and I compile it, or I run a script, and it just goes.
But it does what you tell it to do.
For example, let's say I wrote a program that was really, really hard, really hard, that separates eggs from cats.
But this program, if I then try to figure out how to distinguish an elephant, I have to rewrite it.
But now I'm actually thinking, what would be easier, if I just made a program, and I just put in a picture of an elephant, and the elephant is also a program, and I have to rewrite it, or I have a program, and I have to scrape together a picture of the elephant?
It's much easier to just put a picture in.
If you tell me, "Write a program," I'm not going to be able to do it, but if you tell me to collect a thousand pictures of elephants, I'm going to have fun collecting them.
It's just so obviously easy.
That's what I'm talking about now, the important things in AI.
Go A.I. is all A.I., but what we're looking for now is something that changes the outcome of what it learns and produces.
That's what we've been looking at is the artificial intelligence.
What does semiconductors have to do with it, everything I'm talking about is a concept.
I'm not talking about how to make it.
So I had a lot of ideas about how to make that AI.
Some of them are SVMs, some of them are really dumb code.
And then there's a way to just build it, like IBM Watson, which is a different type of program, and if I do method A, which is, for example, I want the CPU to be fast and the memory to be minimal, and if I do method B, I want the memory to be more important than the CPU, and so on and so forth.
Because the program doesn't just run on the CPU.
You have to organize your program around what the CPU is good at to make it fast.
That's the whole point of semiconductors and AI technology.
We want to create this abstract concept of artificial intelligence.
So we're using a lot of different ideas to make that abstract concept work.
The one that's working best right now is the idea of an artificial neural network.
We've figured out how to take a neural network that mimics the structure of a human brain cell and now we can train it, so that when we train it, it doesn't learn what we want it to learn, it doesn't really learn what we want it to learn.
Now we don't have to rewrite the code, we can just feed it data and retrain it and it will give us the results we want, and that's what neural networks can do now.
But the thing about neural networks is that they don't do things that CPUs are good at, so unlike in the 90s and 2000s when we had traditional CPUs, now we have NVIDIA GPUs.
We take what we want to do, and we find the best way to do it.
We figure out how to write a program so that it's a self-learning program, and those programs have different semiconductors that they want.
Different semiconductors that can do that job well.
That's how it works.
In a way, the CPU is the smarter chip, and what we're seeing now in AI is the implementation of better intelligence in a more dumbed-down way.
I mean, that's how the human brain works.
So the CPU design is in the genes, right?
So is there a complex design?
Well, inside that CPU, inside that CPU, there's a blueprint with billions of transistors just wired up, and we're not like that.
If you look at all the brain cells, they're wired so that when a stimulus comes in from a particular brain cell, it sends a stimulus to the neighboring brain cell if it's above a certain threshold, and if it's not above the threshold, it doesn't fire.
If you put those connections together in the thousands, you get intelligence.
In the past, the problem was, uh, if we could just mimic what we do in humans and just make these connections, we'd have intelligence, in theory.
The problem with that is, how strong does this connection have to be between, say, my cell A and my cell B?
I mean, this whole idea of programming that we talked about earlier, you know, writing conditional statements, and now you're like, "Is the strength of the connection between that cell and that cell 0.1 or 0.3 or whatever?" And that's the problem.
What's the problem?
There's billions of them, and I'm like, "What's the effect of this between these two cells," and I can't figure that out.
You can't figure that out.
That's why it's been so hard for so long.
What's so novel about the idea of mimicking human brain cells?
It's been around since the '60s.
Why did it disappear and then come back now?
At the time, I was like, "Okay, this is how I'm going to do it," but I didn't know exactly what I was doing to the brain cells and the connections between the brain cells to make it work.
So I took a couple decades off.
Now, after a couple decades of nobody being able to do it, the Canadians have now figured out how to make it learn.
And they said, "Oh, you can put data in here, and you can do some calculations on the results, and you can make the neural network gradually get more and more correct.
I figured that out.
And then I realized that it's faster on a GPU, and that's how we got to where we are today.
In a nutshell, it changed the way I write programs.
Before, when I was writing a program, I had a flowchart.
If the flowchart was wrong, it was a bug.
Now, I have to build a big neural network, and I have to change all those decimal points in a way that the values in it will give me the right answer.
That's where the GPU comes in.
Originally, in the old games, the CPU did all the work of displaying that screen and all those moves in the game.
But now that computers are called PCs and they're becoming more and more popular, people want higher and higher graphics.
They want to play more and more graphical games, they want to make movies, they want to do things like that.
But like I said, CPUs are good at branching.
They're good at conditional processing.
But as I kept doing more and more advanced graphics, I realized that it wasn't a good fit for the CPU.
So now they've created a graphics-only chip, which they call a VG, and it's like, "Hey, I'm supposed to do the interior of this place," and I've done the interior design, and I've just put up the wallpaper, and I've done the cleaning, and now the CPU brings in a partner, which they call a GPU, and they say, "Hey, I'm going to paint this place, I'm going to clean this place," and they let them do this, and I'm sitting there, and I'm just looking for the next place to paint.
And then this GPU guy comes in and does the mopping and stuff.
It's not good at what I do, but it's good at what I'm not good at.
At the end of the day, the CPU, the chip, can't do everything well.
Because in order for the CPU to be good at that conditional processing that I was talking about earlier, you have to put elements on that side, and if you put elements on that side, you don't have elements on the other side.
It's a manufacturing thing, you can't do everything well.
Fortunately, I don't think that's what Nvidia intended.
I think they were trying to figure out how to do artificial intelligence, and they realized that the best way to do it was to do math similar to graphics.
Because graphics is all about multiplying and adding and doing a lot of decimals.
It's a little bit of a grind.
This was graphics, and then as the company kept getting bigger, they kept doing things that CPUs don't do well and GPUs do well, so they went straight to, "Oh, this is going to work," and they didn't just do it in 2006 or 2007, they made CUDA and stuff like that to make it easier for people around the world to use GPUs.
So it's like Nvidia was like, "Okay.
Well, this isn't just for graphics, it's for supercomputers, it's for simulations, and so they bought a company that did physics, and so on and so forth.
But now, if you just build it and say, "Use the chip," I don't know how to use it.
People, because if I'm programming for a CPU and I want to program for a GPU, the barrier to entry is pretty high.
So Nvidia has CUDA and stuff like that to make it a little bit easier.
But the situation that they have in place is this, this is something that I picked up and tried in Canada.
Uh, and it made the computation five times faster.
Well, this is how it works, so now the grad student next door is writing five papers a month with this instead of one, and then I have to write one, and then the grad student next door has to write one.
But this is actually a very important factor in the semiconductor business.
The guy next door wrote it and it didn't work.
And then the guy next door who saw it writes it.
And then the next guy who's good at it gets a thesis and becomes famous.
And then at some point, it becomes this huge group of programmers.
And then you're like, "Okay, let's say it's 2023 and I'm going to go to grad school and I'm going to write my thesis and I'm going to write my thesis on artificial intelligence," and then you're like, "What are you going to do to get a computer?
I haven't done any, so I have to copy everything that everyone else is doing.
I'm going to buy a computer that everybody else is using, and of course it's going to have an Nvidia GPU.
And I haven't run any AI, so I'm going to have to get open source money on the internet and run AI.
What does that open source say?
It's written with the assumption of NVIDIA GPUs.
It's code, so AMD can't do it.
I can't even do a real experiment to try to do something with this on an AMD graphics card.
Okay, but with Nvidia, you can ask them.
"Hey, what did you do?" Like that.
That's a really important thing in the semiconductor business, the ecosystem.
That's the thing about memory, for example, that ecosystem is kind of weak.
Intel's CPUs, for example, have that ecosystem.
That's why Intel CPUs have been around for a while, even if they're struggling now.
There are a lot of programs that are tailored to this, so the semiconductor market is now saying that the giant neural networks, especially natural neural networks, are doing well for the time being, so the demand for R&D will probably go up.
But I think we need to do a lot of research to create a steady demand beyond the UK development.
Because there are not only advantages to training a neural network now.
The disadvantage is, the biggest difference between it and a human is that it can't learn from one or two pieces of data.
It doesn't have to watch tens of thousands of videos to learn a particular theme.
You watch one and you learn.
But AI, because of the questions and answers, you can't learn from one, you have to watch a lot of them.
To create something like an AI lawyer through GPT, there is a data barrier first.
There are enough questions and answers, and all of those things are not being researched right now, and people are just starting to look for them.
So I think it's going to be a big R&D need for a while, but whether it's really going to be world-changing and ubiquitous, or whether it's just going to be used by Microsoft for search engines and Office, I think I have to wait and see.
First of all, the biggest use is memory.
One of the things about neural networks is that they're incredibly large, much larger than programs written for CPUs.
You can write a really well-coded program that says "hello" when the number goes over five.
It's actually a couple of kilobytes in size.
But if I write a neural network to do the same thing, it's hundreds of times larger.
That's actually why high-capacity, high-bandwidth memory is so important.
Right now, the main things that are sold in Korea are high-capacity, high-speed memories like HBM for AI.
There's definitely a demand there.
So it's like this.
For example, if I have a CPU program and ask it to calculate 1 + 1, I don't know how much capacity it has.
But if I ask it to do 1 + 1 and then I give it an MRI, it's naked and then it's gone.
If you look at it that way, the capacity is huge.
So you're transferring it over here brain cell by brain cell.
The number of signals that go through a brain cell to do 1+1 is, what, three?
It's not three in, one out, and hundreds of industries are just reacting here.
You have to reproduce that.
So, if you look at it internally, and you think about the volume right now, the Microsoft Edger supercomputer, it's got like 10,000 learning GPUs, like NVIDIA V100s.
But those 10,000 GPUs have 400,000 gigabytes of memory.
Yeah, that sounds like a lot, but our average smartphone has like 8 gigabytes.
So if we sell 20,000 of these, it's five times as much as a smartphone, five times as much as a 40.
So it would be about 100,000 in terms of smartphone sales.
But we sell a billion smartphones a year.
I mean, it's just not a huge volume in the world.
You can sell 100 units a year to that Azure supercomputer, but it's not a huge part of the overall memory volume, and of course you're going to get a great price per unit of memory, but that's why this GPT thing is going to create a fourth kind of demand in the memory market, which used to be PCs, it used to be smartphones, and now it's servers?
I'm talking about UK development demand, which is not enough.
It's not R&D demand, it's steady use demand, because if it's UK development, it's going to live once and if it doesn't work, it's going to be thrown away.
But if it's in constant use, it's going to live forever, and that commercial use is going to live forever, so the demand is going to be constant.
But to know that, you don't actually have to look at the memory market or Nvidia, you have to look at the business model that we want to do with GPT or something like that, is there a good pairing of data, and then you can answer that.
So I'm not expecting it to change the memory market right now.
AI right now, I think we have this misconception that, you know, there's an infinite amount of data on the internet, so we can just throw data at it and it'll get smarter, but that's not the case.
For example, if I say, "I need to distinguish between a dog and a cat," you can't just put in a picture, you have to write "dog" on the picture, you have to write "cat" on the picture.
That's how you learn, with a question and answer pair.
Photos are still a little easier.
You could probably make a million pictures with a few people.
But what about a talking AI?
Is it easy to create a question-answer pair?
Is it going to be easy enough to create question-answer pairs if we just scrape the internet?
I mean, it's really hard to even find the question-answer pairs in there.
And then there's the trustworthiness of the words, which is also very important.
Now, the reason why GPT is so good at learning is because it's so good at summarizing.
If you try it, why does it summarize well, the summary already has a lot of pairs on the Internet.
It doesn't make mathematical sense for me to go through and write a bunch of terabytes of data for GPT to create.
I can barely play a game of Mandano for a week, even with the best guesses.
But this one, it's gonna take tens of billions of words, and you're gonna hire someone to do it?
You can't.
It's important to take the good data that's out there and refine it, but there are things like Wikipedias and things like that.
It's an introduction. No, it's actually a summary.
And then underneath is the body.
You can give the body, summarize this, and then put the answer in an introduction or something.
And that kind of stuff works well.
But now, for example, if we want BT to change the world, it's only applicable where there's data that can be used in that way.
For example, I want to use GPT for law, and I want to teach GPT.
And then you have to have cases and answers, and you have to rate them on how good they are and all that stuff.
That's a lot of stuff.
And then there's a business problem.
So, I'm learning this in Korea, and I can use it in the US.
I can't use that.
It's not American law.
This is not a publicly traded company, but there are companies like Cerebras.
To be precise, the Nvidia GPU is also a perfect chip because it's a universal and easy-to-use chip for AI, but it has its limitations.
For example, right now, the money is in ChatGPT, but you said that you've got 10,000 GPUs in that Azure supercomputer, but when you do that, it's very inefficient and it's very expensive.
So now companies like Cervras are saying, "Hey, we're going to take a chip that's going to weave that many GPUs one by one, and now we're going to take a wafer and we're going to put all the neural networks on it at once.
GPT3 It doesn't all fit on that single GPU, so there's a lot of effort and a lot of inefficiency in trying to squeeze it in.
But now you've got a neural network that fits in that big house all at once.
And then I can do a lot of things that I could theoretically do before, but I couldn't recover from the capacity limitations of the GPU.
With houses like that, I think it's not a bad idea to look at that class of chips now.
Now, there are two conditions.
For these chips to do well, number one, it's kind of like whip PT right now, it's a huge language model.
This is the business that I'm trying to do, and the data is in the form that I just described.
There's an abundance of that data, but if you have Nvidia G, there's a possibility for people who don't have a cost center, people like this.
For example, if I want to do business, and I want to do business with something like Whip PT, which is publicly available now, I can only get about 3,000 words of input into it, and if I'm having a conversation, if the total of the conversation is more than 3,000 words, I forget about it.
That's just the way it's designed.
But if you want to grow it, you need a lot of data to grow it.
And then it takes a lot more specs to scale.
Now, I'm sure there will be some technological advances, but right now, if you take that 3,000 words and turn it into 6,000 words, it's about four times as big.
So if I look at the business model now and I'm like, "Hey, I'm short 3000 words, I want to do 80,000 words," I'm like, "Nvidia GPUs, you're at 10,000 now, how many are you going to do?
If it was a million, are you going to buy it?
You can't do that.
Then you're looking for new semiconductors.
If you look at the building rate of those apartments, it's usually 17% sharp.
You have to give me two floors of land for 20 pyeong.
To get 100 pyeong, you have to go to the 10th floor to get 200 pyeong.
That's right.
If you know this system, you can bet on real estate that half the money is already there.
The rest is the details.
I don't have to tell you that it's nice and pretty without knowing exactly what it is.