[요약] “AI 반도체가 GPU를 대체한다” (박성현 리벨리온 대표) :: with AI

> English Summary

 

[ 요약 ]

이재현 기자와 인공지능 반도체 스타트업 리벨리온의 박성현 대표님의 인터뷰 내용입니다.
인공지능 서비스의 인기와 함께 전용 하드웨어인 AI 가속기가 중요해졌으며, CPU, GPU, NPU의 역할과 차이에 대해 설명했습니다.
AI 반도체의 역사와 발전에 대해 언급하며, 알고리즘 변화에 따라 AI 반도체도 진화한다는 것을 강조했습니다.
마지막으로, 현재 npu가 gpu에 닮아가고 있는 추세도 언급했습니다.
이에 따라, AI 연구나 테크니컬 영상 편집에는 npu가 적합하며, 게임이나 영상 편집에는 gpu가 필요하다는 내용을 전달하였습니다.
읽는 분들께 전용 하드웨어의 중요성과 npu의 발전 상황을 인식하며, 관련 산업에서 인공지능 기술을 활용하는 데에 적극적으로 참여해달라는 당부가 담겨있습니다.
옛날에는 GPU와 비교해서 대단한 성능을 보여준 CNN도 이제는 구성의 중요성이 강조됩니다.
이제는 소프트웨어 에코시스템이 GPU만큼 강력해졌으며, 가스더 베이직 등의 솔루션이 등장했습니다.
AI 반도체의 중요성이 강조되면서 전용 하드웨어가 필수가 되었습니다.
인공지능 연산에는 어마어마한 파워와 전기가 필요하기 때문입니다.
MPU AI 하드웨어 가속기가 등장하고 있으며, 이를 사용해 비용을 줄이기 위해 더 중요한 마켓에 집중하기도 합니다.
GPU를 구입하는 것이 아니라 MPU를 사용하는 것이 시급합니다.
전용 하드웨어에 의존하면 됩니다.
컴퓨터 전략적인 결정이 필요한 상황에서는 MPU를 도입하는 것이 GPU보다 효율적일 수 있습니다.
MPU는 도입비용이 저렴하고 운영 비용도 저렴하며, 특정 알고리즘에 대해서도 더 효율적일 수 있습니다.
점차 GPU를 대체하는 추세이지만, AI 서비스 관점에서는 여전히 GPU가 필요한 경우도 있습니다.
MPU가 좀 더 특화된 LLM 등도 개발되고 있으며, 알고리즘에 따라서 적절한 컴포넌트를 선택하는 방향으로 나아가고 있습니다.
대부분의 회사들은 MPU를 공식적으로 도입하기 전에 기업 체계에 맞게 테스트하고 검증하는 과정이 필요합니다.
추후 MPU의 활용도는 계속해서 확대될 것으로 예상됩니다.
알고리즘 개발 시 하드웨어를 고려하여 개발하며, 크로스 레이어 업티마이제이션으로 진정한 풀스택을 구현하는 것이 중요합니다.
KT는 AI 분야에 진심으로 투자하며, 데이터 센터 제품 개발 및 npu 아키텍처를 계속 발전시키고 있습니다.
리벨리온 칩은 KT IDC에서 1년 동안 성공적으로 활용됐으며, 마켓의 확보가 가능할 경우 글로벌 시장에 진출할 수 있습니다.
레이턴시가 좋은 npu도 강조되며, 알고리즘 개발과 하드웨어 개발 사이에 적절한 스케일러블한 디자인을 고민해야 합니다.
웨이퍼를 커버리면 hbm 같은 고급진 메모리도 추가하여 더 큰 칩을 만들면 성능이 더 빠르게 증가하게 됩니다.
AI 반도체에서는 neural engine과 각 soc에 들어가는 뉴런 등이 포함되어 있습니다.
이러한 기술들은 5G 다음에는 6G 등의 더 발전된 통신 기술이 필요할 수도 있습니다.
생성 모델도 있으며, 이러한 모델들은 엣지 지역에서 작동할 때, 시간이 약간 걸리더라도 에너지를 많이 소모하지 않도록 해야 합니다.
엣지 애플켓이 나오면 생성 모델에 대한 관심이 늘어날 것으로 예상됩니다.

 

반응형

 

 

 

"AI Semiconductors Replace GPUs" (Park Sung-hyun, CEO of Rebellion)

https://www.youtube.com/watch?v=9wH-mswU9Sw 

 

 

 

[ Summary ]

Reporter Lee Jae-hyun interviewed Park Sung-hyun, CEO of AI semiconductor startup Rebellion.
With the popularity of AI services, dedicated hardware, AI accelerators, have become important, and he explained the roles and differences between CPUs, GPUs, and NPUs.
He mentioned the history and development of AI semiconductors, emphasizing that AI semiconductors evolve as algorithms change.
Lastly, he mentioned how NPUs are now becoming more like GPUs.
Accordingly, he conveyed that NPUs are suitable for AI research and technical video editing, while GPUs are needed for gaming and video editing.
It is a call to readers to recognize the importance of dedicated hardware and the development of NPUs, and to actively participate in utilizing AI technology in related industries.
Even CNN, which once showed great performance compared to GPUs, now emphasizes the importance of configuration.
The software ecosystem is now as powerful as the GPU, and solutions like Gaspar Basic have emerged.
The importance of AI semiconductors has increased, making dedicated hardware a necessity.
AI computation requires a lot of power and electricity.
MPU AI hardware accelerators are emerging, which can be used to reduce costs and focus on more important markets.
Instead of buying a GPU, it's urgent to use an MPU.
You can rely on dedicated hardware.
In situations that require computationally strategic decisions, MPUs can be more efficient than GPUs.
MPUs are cheaper to acquire, cheaper to operate, and may even be more efficient for certain algorithms.
While they are gradually replacing GPUs, there are still cases where they are needed from an AI service perspective.
LLMs that are more MPU-specific are also being developed, and we're moving towards choosing the right component based on the algorithm.
Most companies will need to test and validate how MPUs fit into their organization before officially adopting them.
In the future, the utilization of MPUs is expected to continue to expand.
It is important to consider hardware when developing algorithms, and to implement a true full-stack with cross-layer up-optimization.
KT is deeply invested in AI and continues to evolve its data center product development and NPU architecture.
The Rebelion chip has been successfully utilized by KT IDC for a year and is ready to go global if the market is right.
Low-latency NPUs are also emphasized, and a good scalable design should be considered between algorithm development and hardware development.
As you cover the wafer, you can add more advanced memory such as HBM to make a larger chip, which will increase performance faster.
In AI semiconductors, this includes the neural engine and the neurons that go into each SOC.
These technologies may require more advanced communication technologies, such as 5G and then 6G.
There are also generation models, and these models need to be made sure that they don't consume a lot of energy when operating at the edge, even if it takes some time.
We expect to see more interest in generative models as edge apps come out.

 

 

 

 

#AI #AI accelerator #CPU #GPU #NPU #AI technology #AI compute #MPU AI hardware accelerator #LLM #cross-layer uptime #data center #NPU architecture #latency #wafer #HBM memory #neural engine #generative model #edge applet

#인공지능 #AI 가속기 #CPU #GPU #NPU #인공지능 기술 #인공지능 연산 #MPU AI 하드웨어 가속기 #LLM #크로스 레이어 업티마이제이션 #데이터 센터 #npu 아키텍처 #레이턴시 #웨이퍼 #hbm 메모리 #neural engine #생성 모델 #엣지 애플켓