NVIDIA CEO 젠슨 황의 GTC 2023 기조연설 :: ChatGPT 정리

> English Summary

> English Full Text

 

[ 요약 ]

무어의 법칙의 영향과 이 법칙이 어떻게 가속 컴퓨팅과 AI가 컴퓨터 산업의 새로운 원동력이 되었는지에 대해 설명합니다.
또한 데이터센터 규모의 풀스택 가속 컴퓨팅 플랫폼의 발전을 강조하고 개발자들이 학계 및 업계의 리더들로부터 배울 수 있는 컨퍼런스로서 GTC를 홍보합니다.

여러분은 GTC 2023에 참석하여 가속 컴퓨팅과 AI의 도움으로 다가올 엄청난 기회에 참여하시기 바랍니다.
엔비디아는 거의 모든 과학 및 산업 분야에서 라이브러리를 통해 가속화된 애플리케이션 네트워크를 개발해 왔습니다.
이 회사는 최종 사용자를 끌어들여 클라우드 서비스 제공업체와 컴퓨터 제조업체가 서비스를 제공할 수 있는 대규모 시장을 창출하는 가속 컴퓨팅 선순환 구조를 확립했습니다.

또한 엔비디아는 연구자들이 양자 프로그래밍 모델, 시스템 아키텍처 및 알고리즘을 발전시킬 수 있도록 라이브러리와 시스템으로 구성된 퀀텀 플랫폼을 통해 글로벌 양자 컴퓨팅 연구 커뮤니티와 협력하고 있습니다.
마지막으로, 전 세계 기업들은 데이터 레이크와 웨어하우스, SQL 쿼리, 그래프 분석, 추천 시스템을 처리하는 데 Apache Spark를 사용하고 있습니다.


개발자들이 NVIDIA 플랫폼에서 사용할 수 있는 가속 라이브러리를 확인해 볼 것을 권장합니다.
다양한 산업 분야에서 데이터 처리 및 운영을 가속화할 수 있는 몇 가지 라이브러리와 도구를 소개합니다.
Spark-RAPIDS는 주요 클라우드 데이터 처리 플랫폼을 가속화하고, RAFT 라이브러리는 대규모 언어 모델 검색 프로세스를 가속화합니다.

또한, NVIDIA cuOpt는 운영 연구 분야에서 세계 기록을 경신했으며, AT&T는 파견 및 물류 서비스를 위해 NVIDIA의 AI 라이브러리를 채택했습니다.
엔비디아의 추론 플랫폼에는 주요 기업에서 널리 사용되는 소프트웨어 SDK인 TensorRT 및 Triton이 포함되어 있습니다.
트리톤 추론 서버에는 새로운 기능이 추가되었으며, 컴퓨터 비전을 위한 클라우드 스케일 가속 라이브러리 CV-CUDA와 비디오 처리를 위한 VPF가 도입되었습니다.

이제 퍼블릭 클라우드 및 유전체학 플랫폼에서 유전체학 분석을 위한 파라브릭스를 사용할 수 있으며, NVIDIA는 메드트로닉과 협력하여 의료 기기를 위한 공통 AI 플랫폼을 만들고 있습니다.
마지막으로, NVIDIA는 컴퓨터 리소그래피를 40배 이상 가속화하는 cuLitho를 출시했습니다.

여러분은 다양한 산업 분야에서 운영을 개선하기 위해 이러한 도구와 라이브러리를 살펴볼 것을 권장합니다.
모든 산업에서 모든 워크로드를 가속화하는 것의 중요성에 대해 강조하고 있으며, 자세한 내용을 알고 싶은 분들께는 Medtronic의 GI Genius 시스템과 NVIDIA의 cuLitho 페이지를 추천합니다.
전력 효율이 높고 싱글 스레드 실행에 탁월한 Grace CPU가 미래를 대비하는 방법으로 소개됩니다.

또한 최신 데이터센터에서 수익을 창출하는 워크로드를 위해 전력을 절약하고 CPU를 확보할 수 있는 도구로 NVIDIA의 BlueField 기술이 논의되며, 현대 공장에서 AI를 처리하는 데 필수적인 도구로 NVIDIA DGX AI 슈퍼컴퓨터가 언급됩니다.
또한 이 기사에서는 제너레이티브 AI를 심오한 의미를 지닌 새로운 종류의 인간 언어 프로그래밍으로 강조하고, 이 기술의 자동화 및 공동 창작 기능을 활용하는 선발주자를 추천합니다.
여러분은 이러한 기술과 시스템을 탐색하여 AI 연산과 성능을 가속화할 수 있습니다.

여러분은 AI 개발을 위한 NVIDIA의 DGX 클라우드와 제너레이티브 AI의 새로운 기회를 확인해 보시기 바랍니다.
엔비디아는 도메인별 작업을 위해 독점 데이터로 학습된 맞춤형 대규모 언어 모델과 제너레이티브 AI를 생성, 개선 및 운영할 수 있는 클라우드 서비스인 AI 파운데이션을 출시했습니다.
엔비디아의 파운데이션 모델은 수십억 개의 문장과 수조 개의 단어를 기반으로 하며 ChatGPT와 유사한 경험을 위한 토대를 제공합니다.
이 서비스를 통해 기업은 모델을 커스터마이즈하고 엔비디아 전문가와 협력할 수 있습니다.

엔비디아는 개인화된 AI 모델을 생성하고 배포하기 위한 두 가지 클라우드 서비스인 NeMo와 피카소를 제공합니다.
기업은 맞춤형 제너레이티브 AI 애플리케이션을 구축하는 데 필요한 트레이닝, 최적화 및 추론을 간소화할 수 있습니다.
엔비디아는 마케터와 크리에이티브 전문가의 일상적인 워크플로우에 제너레이티브 AI를 통합하기 위해 Adobe와의 파트너십을 확대하고 있습니다.
엔비디아의 클라라는 이미징 기기, 유전체학 및 신약 개발을 위한 헬스케어 애플리케이션 프레임워크를 제공합니다.

NVIDIA BioNeMo 서비스에는 신약 개발을 위한 제너레이티브 AI 모델이 포함되어 있습니다.

NVIDIA는 가상 스크리닝 및 신약 개발을 위한 AI 도구인 BioNeMo와 제너레이티브 AI 및 맞춤형 언어 모델 구축을 위한 클라우드 서비스인 NVIDIA AI 파운데이션을 출시했습니다.
이 회사의 원 아키텍처 플랫폼은 다양한 알고리즘과 데이터 유형을 처리할 수 있는 가속화와 탄력성을 모두 제공합니다.
또한 NVIDIA는 AI 비디오 워크로드용으로 설계되어 100개 이상의 듀얼 소켓 CPU 서버를 대체할 수 있는 L4를 출시했습니다.

대규모 언어 모델 추론을 위해 NVIDIA는 호퍼 GPU와 새로운 그레이스 호퍼 슈퍼칩을 발표했습니다.
런웨이의 AI 매직 툴과 엔비디아의 새로운 GPU 및 슈퍼칩 기술에 대해 자세히 살펴보시기 바랍니다.

산업 디자인을 디지털화하기 위한 플랫폼인 옴니버스는 산업계가 실제 제품과 공장을 디지털 방식으로 설계, 구축 및 최적화할 수 있도록 지원합니다.
아마존은 엔비디아의 아이작 심의 도움을 받아 옴니버스를 사용하여 자율 창고를 자동화하고 최적화하고 있습니다.
아마존 로보틱스(Amazon Robotics)는 옴니버스를 사용하여 대규모 시뮬레이션을 구축하여 확장 중인 프로테우스 로봇을 위한 완전한 디지털 트윈으로 운영을 최적화하고 있습니다.
옴니버스는 가상 세계와 디지털 트윈을 생성할 수 있는 USD용 개발 플랫폼으로, 제너레이티브 AI, 하드웨어 인 더 루프 연결, 대규모 데이터 세트 관리 기능 등을 갖추고 있습니다.
주요 자동차 제조업체 및 업계에서 생산성과 효율성을 개선하고 시간과 비용을 절약하기 위해 사용하고 있습니다.

NVIDIA는 주요 산업 워크플로우에서 디지털화를 지원하는 서비스형 플랫폼인 Omniverse Cloud를 통해 가상 팩토리 통합을 위한 툴, 데이터 및 전문가를 연결하는 맞춤형 애플리케이션을 개발하고 있습니다.
팀은 기본 애플리케이션 및 워크플로에 액세스하여 게시하고, 인식 AI를 학습하기 위한 데이터를 생성하고, 자율 주행 차량을 테스트 및 검증하고, 자율 주행 로봇을 시뮬레이션할 수 있습니다.
Omniverse Cloud는 기업이 필요에 따라 컴퓨팅 리소스와 라이선스를 프로비저닝하여 효율적으로 확장할 수 있는 이상적인 솔루션이며, 새로운 서비스와 업그레이드가 실시간으로 자동으로 제공됩니다.
이제 옴니버스를 통해 산업 디지털화를 실현하여 업계의 생산성, 효율성, 속도를 높일 수 있습니다.

엔비디아는 다양한 산업 분야에 옴니버스 클라우드를 제공하기 위해 마이크로소프트와 파트너십을 맺었습니다.
NVIDIA의 AI 및 가속 컴퓨팅 기술은 이전에는 불가능했던 문제도 해결하고 워크로드를 가속화할 수 있습니다.
DGX H100 AI 슈퍼컴퓨터를 사용할 수 있으며, 마이크로소프트 애저, 구글 GCP, 오라클 OCI와 파트너십을 맺은 엔비디아 DGX 클라우드로 확장하고 있습니다.
엔비디아는 추론 워크로드를 배포하고 크리에이티브를 위한 차세대 AI 기능을 구축하기 위해 구글 클라우드 및 어도비와 협력했습니다.
이제 자동차 산업을 디지털화할 수 있는 Omniverse Cloud를 Azure에서 사용할 수 있습니다.

 

 

반응형

 

GTC 2023 Keynote with NVIDIA CEO Jensen Huang
https://www.youtube.com/watch?v=DiGB5uAYKAg 

 

 

 

[ 한글 전체 ]

무어의 법칙은 거의 40년 동안 컴퓨터 산업을 지배해 왔으며, 이는 모든 산업에 영향을 미쳤습니다.
일정한 비용과 전력으로 기하급수적으로 성능이 향상되는 속도가 둔화되었습니다.
하지만 컴퓨팅의 발전은 광속으로 빨라졌습니다.
워프 구동 엔진은 가속 컴퓨팅이고 에너지원은 AI입니다.
가속 컴퓨팅과 AI의 등장은 산업계가 강력한 역학 관계의 지속 가능성을 창출하는 AI와 디지털화에 대처하는 데 있어 시의적절합니다.
무어의 법칙이 없었다면 컴퓨팅이 급증하면서 데이터센터 전력 소비가 급증하고 기업들은 넷제로를 달성하는 데 어려움을 겪었을 것입니다.
제너레이티브 AI의 놀라운 성능은 기업들이 제품과 비즈니스 모델을 재구상해야 한다는 절박감을 불러일으켰습니다.
산업 기업들은 디지털화 및 소프트웨어 중심 기술 기업으로 재탄생하기 위해 경쟁하고 있으며, 이를 통해 파괴적 혁신이 아닌 파괴적 혁신을 주도하고 있습니다.
오늘은 가속 컴퓨팅과 AI가 이러한 과제를 해결하고 앞으로 다가올 엄청난 기회를 포착하기 위한 강력한 도구가 되는 방법에 대해 논의할 것입니다.
데이터센터 규모의 풀스택 가속 컴퓨팅 플랫폼의 새로운 진보를 공유할 것입니다.
새로운 칩과 시스템, 가속 라이브러리, 클라우드 및 AI 서비스, 새로운 시장을 여는 파트너십을 공개할 예정입니다.
GTC에 오신 것을 환영합니다!
GTC는 개발자를 위한 컨퍼런스입니다.
4백만 명의 개발자, 4만 개의 기업, 14,000개의 스타트업으로 구성된 글로벌 NVIDIA 에코시스템이 있습니다.
GTC 2023을 성공적으로 개최할 수 있도록 지원해 주신 다이아몬드 스폰서 여러분께 감사드립니다.
25만 명 이상의 여러분을 컨퍼런스에 초대하게 되어 매우 기쁩니다.
GTC는 놀랍도록 성장했습니다.
불과 4년 전만 해도 오프라인 GTC 컨퍼런스에는 8,000명이 참석했습니다.
GTC 2023에서는 딥마인드의 데미스 하사비스 아르곤 연구소의 발레리 테일러 Adobe의 스콧 벨스키 넷플릭스의 폴 데베벡 취리히 공과대학교의 토마스 슐테스와 같은 리더들의 강연과 ChatGPT를 개발한 OpenAI의 공동 창립자 일리야 수츠케버와 함께하는 특별한 노변 채팅이 진행됩니다.
학계와 세계 최대 산업계에서 가장 뛰어난 인재들이 650개의 놀라운 강연을 준비했습니다: 제너레이티브 AI에 관한 강연만 70개가 넘습니다.
로봇 공학을 위한 사전 학습된 멀티태스크 모델과 같은 다른 훌륭한 강연도 있습니다... 물리 기반 라이더 포인트 클라우드를 생성하기 위해 Isaac Sim을 사용하는 세션 등 AI를 발전시키는 중요한 방법인 합성 데이터 생성에 대한 세션 디지털 트윈에 대한 다양한 강연 미래의 가상 공장을 채우기 위한 AI 사용부터 잃어버린 로마 모자이크 복원까지 계산 기기에 대한 멋진 강연이 준비되어 있습니다, 거대한 광학 망원경과 탄소 포집 및 태양 전지를 위한 광자 계수 CT를 포함한 재료 과학, 지구에 대한 연구를 포함한 기후 과학 신뢰할 수 있는 AI 및 AV 안전에 대한 NVIDIA의 중요한 연구 마이크로 칩을 위한 컴퓨팅 리소그래피부터 가장 작은 기계를 만들기 위한 AI, 우주를 설명하는 대형 강입자 충돌기에서의 AI까지.
자동차 및 운송 의료, 제조, 금융 서비스, 소매, 의류, 미디어 및 엔터테인먼트, 통신은 물론 세계 유수의 AI 기업까지 전 세계에서 가장 중요한 기업들이 이곳에 모였습니다.
GTC의 목적은 컴퓨팅 가속화의 가능성에 대해 전 세계에 영감을 주고 이를 사용하는 과학자 및 연구자들의 업적을 축하하는 것입니다.
저는 번역가입니다.
텍스트를 창의적인 발견으로, 움직임을 애니메이션으로, 방향을 행동으로 바꾸는 일을 합니다.
저는 치료사입니다.
새로운 위협이 발생하기 전에 새로운 위협을 모델링하고 이를 막을 수 있는 치료법을 찾는 데 있어 우리를 독특하게 만드는 구성 요소를 탐구합니다.
저는 비전가입니다.
새로운 의료 기적을 창출하고 태양에 대한 새로운 관점을 제시하여 지구에서 우리를 안전하게 지켜줍니다.
나는 내비게이터입니다.
수많은 콘텐츠 속에서 특별한 순간을 발견하여 다음 세대를 알리고 모든 스토리를 위한 완벽한 배경을 제공합니다.
저는 크리에이터입니다.
스냅샷으로 3D 경험을 구축하고 가상의 자아에 새로운 차원의 현실을 더합니다.
저는 도우미입니다.
백만 명의 프로그래머의 지혜를 공유하여 브레인스토밍에 생명을 불어넣고 아이디어를 가상 세계로 구현합니다.
노던 포레스트 구축.
노랫말에 생명을 불어넣고 멜로디를 작곡하는 대본 작성에도 참여했습니다.
나는 AI입니다.
NVIDIA, 딥 러닝, 그리고 전 세계의 뛰어난 인재들이 함께 만들어냈습니다.
NVIDIA는 일반 컴퓨터가 해결할 수 없는 문제를 해결하기 위해 가속 컴퓨팅을 발명했습니다.
가속 컴퓨팅은 칩, 시스템, 네트워킹, 가속 라이브러리부터 애플리케이션 리팩토링에 이르는 전체 스택의 발명이 필요하기 때문에 쉽지 않습니다.
최적화된 각 스택은 그래픽, 이미징, 입자 또는 유체 역학 양자 물리학에서 데이터 처리 및 머신 러닝에 이르기까지 애플리케이션 도메인을 가속화합니다.
가속이 완료되면 애플리케이션은 놀라운 속도 향상은 물론 여러 대의 컴퓨터로 확장할 수 있습니다.
속도 향상과 스케일업의 조합을 통해 지난 10년 동안 많은 애플리케이션에서 백만 배의 성능을 달성할 수 있었으며, 이전에는 불가능했던 문제를 해결할 수 있었습니다.
많은 예가 있지만 가장 유명한 것은 딥 러닝입니다.
2012년 알렉스 케르체프스키, 일리야 서스케버, 제프 힌튼은 AlexNet 컴퓨터 비전 모델을 훈련하기 위해 엄청나게 빠른 컴퓨터를 필요로 했습니다.
연구원들은 262경 부동소수점 연산을 처리하는 GeForce GTX 580에서 1,400만 개의 이미지로 AlexNet을 학습시켰고, 학습된 모델은 ImageNet 챌린지에서 큰 차이로 승리하며 AI의 빅뱅을 일으켰습니다.
10년 후, 트랜스포머 모델이 발명되었습니다.
그리고 현재 OpenAI에서 일하고 있는 일리야는 다음 단어를 예측하기 위해 GPT-3 대규모 언어 모델을 학습시켰습니다.
GPT-3를 훈련하는 데 323억 6천만 번의 부동소수점 연산이 필요했습니다.
AlexNet을 훈련하는 것보다 100만 배 더 많은 부동 소수점 연산이 필요했습니다.
그 결과 탄생한 것이 바로 전 세계가 주목하는 인공지능 ChatGPT입니다.
새로운 컴퓨팅 플랫폼이 탄생했습니다.
인공지능의 아이폰 시대가 시작되었습니다.
가속 컴퓨팅과 AI의 시대가 도래했습니다.
가속 라이브러리는 가속 컴퓨팅의 핵심입니다.
이러한 라이브러리는 전 세계 산업에 연결된 애플리케이션에 연결하여 네트워크 네트워크를 형성합니다.
30년이 지난 지금, 거의 모든 과학 및 산업 분야에서 수천 개의 애플리케이션이 라이브러리를 통해 NVIDIA 가속화를 사용하고 있습니다.
모든 NVIDIA GPU는 CUDA와 호환되므로 개발자에게 대규모 설치 기반과 상당한 도달 범위를 제공합니다.
다양한 가속화된 애플리케이션은 최종 사용자를 끌어모으고, 이는 클라우드 서비스 제공업체와 컴퓨터 제조업체가 서비스를 제공할 수 있는 대규모 시장을 창출합니다.
큰 시장은 성장을 촉진하기 위해 수십억 달러의 R&D를 지원합니다.
NVIDIA는 가속 컴퓨팅 선순환 구조를 확립했습니다.
레이 트레이싱 및 뉴럴 렌더링 물리, 지구 및 생명 과학, 양자 물리학 및 화학, 컴퓨터 비전 데이터 처리, 머신 러닝 및 AI를 아우르는 300개의 가속 라이브러리와 400개의 AI 모델 중 올해 100개를 업데이트하여 전체 설치 기반의 성능과 기능을 향상시켰습니다.
새로운 과제를 해결하고 새로운 시장을 개척하는 몇 가지 가속 라이브러리를 소개해드리겠습니다.
자동차 및 항공우주 산업에서는 난기류 및 공기 역학 시뮬레이션에 CFD를 사용합니다.
전자 산업에서는 열 관리 설계에 CFD를 사용합니다.
이 슬라이드는 CUDA로 가속화된 새로운 CFD 솔버에 대한 Cadence의 슬라이드입니다.
동일한 시스템 비용에서 NVIDIA A100은 CPU 서버의 9배에 달하는 처리량을 제공합니다.
또는 동등한 시뮬레이션 처리량에서 NVIDIA는 9배 낮은 비용 또는 17배 적은 에너지를 소비합니다.
Ansys, Siemens, Cadence 및 기타 주요 CFD 솔버는 이제 CUDA 가속화를 지원합니다.
전 세계적으로 산업용 CAE는 매년 약 1,000억 CPU 코어 시간을 사용합니다.
가속화는 전력을 회수하고 지속 가능성 및 넷 제로를 달성하는 가장 좋은 방법입니다.
NVIDIA는 글로벌 양자 컴퓨팅 연구 커뮤니티와 협력하고 있습니다.
엔비디아 퀀텀 플랫폼은 연구자들이 양자 프로그래밍 모델, 시스템 아키텍처 및 알고리즘을 발전시킬 수 있는 라이브러리와 시스템으로 구성되어 있습니다.
cuQuantum은 양자 회로 시뮬레이션을 위한 가속 라이브러리입니다.
IBM 키스킷(Qiskit), 구글 서크(Cirq), 바이두 퀀텀 리프(Quantum Leaf), QMWare, QuEra, 자나두 페닐레인, 아그노스틱, AWS 브래킷(Bracket)이 시뮬레이션 프레임워크에 cuQuantum을 통합했습니다.
오픈 퀀텀 쿠다는 하이브리드 GPU-퀀텀프로그래밍 모델입니다.
IonQ, ORCA 컴퓨팅, Atom, QuEra, Oxford 퀀텀 회로, IQM, 파스칼, 퀀텀 브릴리언스, 퀀티늄, 리게티, 자나두, 애니온이 오픈 퀀텀 CUDA를 통합했습니다.
양자 잡음과 비결합으로부터 데이터를 복구하려면 많은 수의 큐비트에 대한 오류 수정이 필요합니다.
오늘 저희는 퀀텀 머신과 협력하여 개발한 양자 제어 링크를 발표하며, 이를 통해 NVIDIA GPU를 양자 컴퓨터에 연결하여 초고속으로 오류를 수정할 수 있습니다.
상용 양자 컴퓨터가 등장하기까지는 아직 1~2년이 남았지만, NVIDIA 퀀텀을 통해 이 대규모의 활발한 연구 커뮤니티를 지원하게 되어 기쁘게 생각합니다.
전 세계 기업들은 데이터 레이크와 웨어하우스 SQL 쿼리, 그래프 분석, 추천 시스템을 처리하는 데 Apache Spark를 사용하고 있습니다.
Spark-RAPIDS는 NVIDIA의 가속화된 아파치 스파크 데이터 처리 엔진입니다.
데이터 처리는 전 세계 5,000억 달러 규모의 클라우드 컴퓨팅 지출에서 가장 큰 비중을 차지하는 워크로드입니다.
Spark-RAPIDS는 이제 GCP Dataproc Amazon EMR, 데이터브릭스, 클라우데라를 포함한 주요 클라우드 데이터 처리 플랫폼을 가속화합니다.
추천 시스템은 벡터 데이터베이스를 사용해 방대한 비정형 데이터의 데이터 세트를 저장, 색인, 검색 및 검색합니다.
벡터 데이터베이스의 새로운 중요한 사용 사례는 텍스트 생성 중에 쿼리할 수 있는 도메인별 또는 독점적 사실을 검색하기 위한 대규모 언어 모델입니다.
저희는 인덱싱을 가속화하고, 데이터를 로드하고, 단일 쿼리에 대한 이웃 배치를 검색하기 위해 새로운 라이브러리인 RAFT를 도입하고 있습니다.
메타의 오픈 소스 FAISS AI 유사도 검색, 1,000개 이상의 조직에서 사용하는 Milvus 오픈 소스 벡터 DB, 40억 건 이상의 도커 풀을 보유한 Redis에 RAFT의 가속화를 적용하고 있습니다.
벡터 데이터베이스는 독점적인 대규모 언어 모델을 구축하는 조직에 필수적입니다.
22년 전, 운영 연구 과학자인 Li와 Lim은 일련의 까다로운 픽업 및 배송 문제를 발표했습니다.
PDP는 제조, 운송, 소매 및 물류, 심지어 재난 구호 분야에서도 나타납니다.
PDP는 여행하는 영업사원 문제를 일반화한 것으로, 정확한 해를 찾는 효율적인 알고리즘이 없다는 의미의 NP-하드 문제입니다.
문제 크기가 커질수록 해결 시간이 기하급수적으로 증가합니다.
진화 알고리즘과 가속 컴퓨팅을 사용하여 초당 300억 개의 움직임을 분석하는 엔비디아 cuOpt는 세계 기록을 경신하고 Li&Lim의 과제에 대한 최적의 솔루션을 발견했습니다.
AT&T는 700개 지역에 걸쳐 1,300만 명의 고객에게 서비스를 제공하기 위해 3만 명의 기술자를 정기적으로 파견하고 있습니다.
오늘날 CPU에서 실행되는 AT&T의 파견 최적화에는 하룻밤이 걸립니다.
AT&T는 긴급한 고객 요구와 전반적인 고객 만족도를 지속적으로 최적화하는 동시에 지연 및 새로운 인시던트 발생을 조정할 수 있는 실시간 파견 솔루션을 찾고자 합니다.
AT&T는 cuOpt를 통해 100배 더 빠르게 솔루션을 찾고 실시간으로 디스패치를 업데이트할 수 있습니다.
AT&T는 모든 NVIDIA AI 라이브러리를 채택했습니다.
Spark-RAPIDS 및 cu옵트 외에도 대화형 AI에는 Riva를, 디지털 아바타에는 Omniverse를 사용하고 있습니다.
AT&T는 지속 가능성, 비용 절감 및 새로운 서비스를 위해 NVIDIA 가속 컴퓨팅 및 AI를 활용하고 있습니다.
cuOpt는 물류 서비스도 최적화할 수 있습니다.
매년 4,000억 개의 소포가 3,770억 개의 정류장으로 배송됩니다.
딜로이트, 캡제미니, 소프트서브, 액센츄어, 퀀티피는 고객의 운영 최적화를 지원하기 위해 NVIDIA cuOpt를 사용하고 있습니다.
NVIDIA의 추론 플랫폼은 세 가지 소프트웨어 SDK로 구성됩니다.
NVIDIA TensorRT는 대상 GPU에 최적화되는 추론 런타임입니다.
NVIDIA Triton은 GPU와 CPU를 지원하는 멀티 프레임워크 데이터센터 추론 서비스 소프트웨어입니다.
Microsoft Office 및 Teams, Amazon, American Express 및 미국.
Postal Service 등 40,000개의 고객사가 TensorRT와 Triton을 사용하고 있습니다.
Uber는 트리톤을 사용하여 초당 수십만 건의 도착 예정 시간 예측을 제공합니다.
일일 사용자가 6천만 명이 넘는 Roblox는 게임 추천 모델을 제공하고 아바타를 구축하며 콘텐츠와 마켓플레이스 광고를 조정하는 데 트리톤을 사용합니다.
모델 앙상블을 위한 모델 분석기 지원, 다중 동시 모델 제공, GPT-3 대규모 언어 모델을 위한 멀티 GPU, 멀티 노드 추론 등 몇 가지 훌륭한 새 기능을 출시할 예정입니다.
NVIDIA Triton 관리 서비스는 데이터센터 전체에서 Triton 추론 인스턴스의 확장 및 오케스트레이션을 자동화하는 새로운 소프트웨어입니다.
Triton 관리 서비스는 모델 배포의 처리량과 비용 효율성을 개선하는 데 도움이 됩니다.
클라우드 비디오 파이프라인의 50~80%는 CPU에서 처리되어 전력과 비용을 소모하고 지연 시간을 증가시킵니다.
컴퓨터 비전용 CV-CUDA와 비디오 처리용 VPF는 새로운 클라우드 규모 가속 라이브러리입니다.
CV-CUDA에는 감지, 세분화, 분류를 위한 30개의 컴퓨터 비전 연산자가 포함되어 있습니다.
VPF는 파이썬 비디오 인코딩 및 디코딩 가속 라이브러리입니다.
텐센트는 CV-CUDA와 VPF를 사용하여 하루에 30만 개의 비디오를 처리합니다.
Microsoft는 CV-CUDA와 VPF를 사용하여 시각적 검색을 처리합니다.
런웨이는 클라우드 제너레이티브 AI 비디오 편집 서비스에서 CV-CUDA와 VPF를 사용해 비디오를 처리하는 멋진 회사입니다.
이미 인터넷 트래픽의 80%는 비디오입니다.
사용자가 생성한 비디오 콘텐츠는 엄청난 성장을 주도하고 있으며 엄청난 양의 전력을 소비하고 있습니다.
모든 비디오 처리를 가속화하고 그 힘을 되찾아야 합니다.
CV-CUDA 및 VPF는 현재 얼리 액세스 중입니다.
NVIDIA 가속 컴퓨팅은 이제 의사가 한 번의 방문으로 혈액을 채취하고 환자의 DNA를 시퀀싱할 수 있는 유전체학의 이정표를 달성하는 데 도움을 주었습니다.
또 다른 이정표에서는 엔비디아 기반 기기가 전체 게놈 시퀀싱 비용을 단 100달러로 줄였습니다.
유전체학은 신약 개발, 농업, 에너지 생산에 이르기까지 다양한 응용 분야를 가진 합성 생물학에서 중요한 도구입니다.
NVIDIA Parabricks는 클라우드 또는 기기 내에서 엔드투엔드 유전체학 분석을 위한 AI 가속 라이브러리 제품군입니다.
NVIDIA Parabricks는 모든 퍼블릭 클라우드 및 Terra, DNAnexus, FormBio와 같은 유전체학 플랫폼에서 사용할 수 있습니다.
오늘 발표하는 파라브릭스 4.1은 팩바이오, 옥스포드 나노포어, 울티마, 싱귤러, 바이오나노, 나노스트링의 엔비디아 가속 유전체학 기기에서 실행될 예정입니다.
전 세계 2,500억 달러 규모의 의료 기기 시장이 변화하고 있습니다.
의료 기기는 소프트웨어 정의 및 AI 기반이 될 것입니다.
NVIDIA Holoscan은 실시간 센서 처리 시스템을 위한 소프트웨어 라이브러리입니다.
75개 이상의 기업이 Holoscan을 기반으로 의료 기기를 개발하고 있습니다.
오늘 우리는 의료 기기 분야의 세계적인 선도 기업인 메드트로닉과 NVIDIA가 소프트웨어 정의 의료 기기를 위한 AI 플랫폼을 구축한다고 발표합니다.
이번 파트너십을 통해 수술 내비게이션부터 로봇 보조 수술에 이르기까지 다양한 Medtronic 시스템을 위한 공통 플랫폼이 만들어질 것입니다.
오늘 메드트로닉은 대장암 조기 발견을 위한 AI가 탑재된 차세대 GI 지니어스 시스템이 엔비디아 홀로스캔을 기반으로 구축되어 올해 말경에 출시될 예정이라고 발표했습니다.
칩 산업은 거의 모든 산업의 기반입니다.
칩 제조에는 박테리아보다 1,000배 더 작고 금 원자 하나 또는 인간 DNA 한 가닥 크기의 특징을 만들어내는 극도의 정밀성이 요구됩니다.
웨이퍼에 패턴을 만드는 공정인 리소그래피는 칩 제조 공정의 시작이며 포토마스크 제작과 패턴 투영의 두 단계로 구성됩니다.
리소그래피는 근본적으로 물리학의 한계에 부딪히는 이미징 문제입니다.
포토마스크는 칩의 스텐실과 같습니다.
패턴을 만들기 위해 빛이 차단되거나 마스크를 통해 웨이퍼로 전달됩니다.
빛은 ASML EUVextreme 자외선 리소그래피 시스템에서 생성됩니다.
각 시스템은 25억 달러가 넘습니다.
ASML EUV는 빛을 생성하는 데 근본적인 방법을 사용합니다.
주석 한 방울에 초당 50,000회 레이저 펄스를 발사하여 기화시켜 엑스레이에 가까운 13.5nm EUV 빛을 방출하는 플라즈마를 생성합니다.
다층 거울이 빛을 마스크로 안내합니다.
마스크 레티클의 다층 반사판은 13.5nm 빛의 간섭 패턴을 활용하여 3nm까지 미세한 피처를 생성합니다.
마법과도 같습니다.
웨이퍼는 1/4 나노미터 이내에 배치되고 진동에 대응하기 위해 초당 20,000번 정렬됩니다.
리소그래피 전 단계도 마찬가지로 기적과도 같습니다.
컴퓨터 리소그래피는 역물리 알고리즘을 적용하여 웨이퍼의 최종 패턴을 생성할 마스크의 패턴을 예측합니다.
실제로 마스크의 패턴은 최종 피처와 전혀 닮지 않습니다.
전산 리소그래피는 빛이 광학 장치를 통과하여 포토레지스트와 상호 작용하는 맥스웰 방정식을 시뮬레이션합니다.
전산 리소그래피는 칩 설계 및 제조에서 가장 큰 연산 작업량으로 연간 수백억 CPU 시간을 소비합니다.
대규모 데이터 센터는 리소그래피 시스템에 사용되는 레티클을 생성하기 위해 24시간 연중무휴로 운영됩니다.
이러한 데이터 센터는 칩 제조업체가 연간 약 2,000억 달러를 투자하는 설비투자(CAPEX)의 일부입니다.
알고리즘의 복잡성이 증가함에 따라 컴퓨팅 리소그래피는 빠르게 성장하고 있으며, 업계는 2nm 이상으로 나아갈 수 있게 되었습니다.
엔비디아는 오늘 컴퓨팅 리소그래피용 라이브러리인 cuLitho를 발표합니다.
약 4년에 걸친 방대한 작업과 TSMC, ASML, Synopsys와의 긴밀한 협업을 통해 탄생한 cuLitho는 컴퓨팅 리소그래피를 40배 이상 가속화합니다.
NVIDIA H100에는 89개의 레티클이 있습니다.
CPU에서 실행되는 하나의 레티클을 처리하는 데 현재 2주가 소요됩니다.
GPU에서 실행되는 cuLitho는 단 8시간 근무로 레티클을 처리할 수 있습니다.
TSMC는 단 500대의 DGX H100 시스템에서 cuLitho로 가속화하여 계산 리소그래피에 사용되는 40,000대의 CPU 서버를 줄이고 전력을 35MW에서 단 5MW로 줄일 수 있습니다.
TSMC는 cuLitho를 통해 프로토타입 주기 시간을 단축하고, 처리량을 늘리고, 제조 시 탄소 발자국을 줄이며, 2nm 이후를 대비할 수 있습니다.
TSMC는 6월부터 cuLitho를 생산할 수 있는 자격을 갖추게 됩니다.
모든 산업은 모든 워크로드를 가속화하여 전력을 절약하고 더 적은 자원으로 더 많은 작업을 수행할 수 있도록 해야 합니다.
지난 10년 동안 클라우드 컴퓨팅은 매년 20%씩 성장하여 1조 달러 규모의 거대한 산업으로 성장했습니다.
약 3,000만 대의 CPU 서버가 대부분의 처리를 수행합니다.
하지만 이제 새로운 도전이 기다리고 있습니다.
무어의 법칙이 끝나감에 따라 CPU 성능 향상은 전력 증가를 수반합니다.
그리고 탄소 배출량을 줄여야 하는 의무는 데이터 센터를 늘려야 하는 필요성과 근본적으로 상충됩니다.
클라우드 컴퓨팅의 성장은 전력에 한계가 있습니다.
무엇보다도 데이터센터는 모든 워크로드를 가속화해야 합니다.
가속화는 전력을 회수합니다.
절약된 에너지는 새로운 성장의 원동력이 될 수 있습니다.
가속화되지 않은 모든 작업은 CPU에서 처리됩니다.
가속화된 클라우드 데이터센터를 위한 CPU 설계 포인트는 과거와 근본적으로 다릅니다.
AI 및 클라우드 서비스에서 가속 컴퓨팅은 병렬화 가능한 워크로드를 오프로드하고, CPU는 웹 RPC 및 데이터베이스 쿼리와 같은 다른 워크로드를 처리합니다.
퓨어스토리지는 AI 워크로드가 GPU로 가속화되고 단일 스레드 실행 및 메모리 처리에 탁월한 성능을 발휘하는 AI 및 클라우드 우선 세상을 위해 Grace CPU를 설계했습니다.
단순히 CPU 칩에 관한 것이 아닙니다.
데이터센터 운영자는 전체 데이터센터의 처리량과 총소유비용을 최적화합니다.
퓨어스토리지는 클라우드 데이터센터 규모의 높은 에너지 효율을 위해 Grace를 설계했습니다.
Grace는 초당 3.2TB의 단면 대역폭을 제공하는 초고속 온칩 확장형 코히어런트 패브릭으로 연결된 72개의 Arm 코어로 구성됩니다.
Grace 슈퍼칩은 초당 900GB의 저전력 칩 간 코히어런트 인터페이스를 통해 두 CPU 다이 사이에 144개의 코어를 연결합니다.
메모리 시스템은 데이터센터용으로 특별히 강화된 휴대폰에 사용되는 것과 같은 LPDDR 저전력 메모리입니다.
오늘날 시스템 대비 2.5배의 대역폭인 1TB/s를 1/8의 전력으로 제공합니다.
1TB 메모리를 갖춘 144코어 그레이스 슈퍼칩 모듈 전체 크기는 5x8인치에 불과합니다.
저전력으로 공랭식 냉각이 가능합니다.
이것은 패시브 쿨링이 적용된 컴퓨팅 모듈입니다.
하나의 1U 공랭식 서버에 두 대의 Grace 슈퍼칩 컴퓨터를 장착할 수 있습니다.
Grace의 성능과 전력 효율성은 클라우드 및 과학 컴퓨팅 애플리케이션에 탁월합니다.
클라우드 마이크로서비스가 얼마나 빠르게 통신하는지 테스트하는 인기 있는 Google 벤치마크와 아파치 스파크메모리 집약적인 데이터 처리를 테스트하는 Hi-Bench 제품군에서 Grace를 테스트했습니다.
이러한 종류의 워크로드는 클라우드 데이터센터의 기본입니다.
마이크로서비스에서 Grace는 최신 세대 x86 CPU 평균보다 1.3배 빠르고 데이터 처리 속도가 1.2배 빠르며, 전체 서버 노드에서 측정된 전력의 60%만 사용하여 이러한 높은 성능을 달성할 수 있습니다.
CSP는 전력 제한이 있는 데이터센터에 1.7배 더 많은 Grace 서버를 설치하여 각각 25% 더 높은 처리량을 제공할 수 있습니다.
등가 전력에서 Grace는 CSP에게 2배의 성장 기회를 제공합니다.
Grace는 샘플링 중입니다.
그리고 아수스, 아토스, 기가바이트, HPE, QCT, 슈퍼마이크로, 위스트론, ZT가 현재 시스템을 구축하고 있습니다.
최신 소프트웨어 정의 데이터센터에서 가상화, 네트워크, 스토리지, 보안을 수행하는 운영 체제는 데이터센터 CPU 코어 및 관련 전력의 거의 절반을 소비할 수 있습니다.
데이터센터는 모든 워크로드를 가속화하여 전력을 회수하고 수익 창출 워크로드를 위해 CPU를 확보해야 합니다.
NVIDIA BlueField는 데이터센터 운영 체제 및 인프라 소프트웨어를 오프로드하고 가속화합니다.
Check Point, Cisco, DDN, Dell EMC 주니퍼, 팔로알토 네트웍스, 레드햇, VMWare를 비롯한 24개 이상의 에코시스템 파트너가 블루필드의 데이터센터 가속 기술을 사용하여 소프트웨어 플랫폼을 보다 효율적으로 실행하고 있습니다.
BlueField-3는 선도적인 클라우드 서비스 제공업체인 Baidu, CoreWeave, JD.com, Microsoft Azure, Oracle OCI, Tencent Games에서 클라우드 가속화를 위해 채택하여 운영 중입니다.
NVIDIA 가속 컴퓨팅은 대규모 언어 모델 혁신의 엔진인 세계 AI 슈퍼컴퓨터 DGX에서 시작됩니다.
저는 OpenAI에 세계 최초의 DGX를 직접 전달했습니다.
그 이후로 포춘 100대 기업 중 절반이 DGX AI 슈퍼컴퓨터를 설치했습니다.
DGX는 AI의 필수 도구가 되었습니다.
DGX의 GPU는 8개의 H100 모듈입니다.
H100에는 생성형 사전 학습 트랜스포머의 약자인 놀라운 ChatGPT와 같은 모델을 처리하도록 설계된 트랜스포머 엔진이 있습니다.
8개의 H100 모듈은 NVLINK 스위치를 통해 서로 NVLINK로 연결되어 완전히 논 블로킹 트랜잭션이 가능합니다.
8개의 H100은 하나의 거대한 GPU처럼 작동합니다.
컴퓨팅 패브릭은 AI 슈퍼컴퓨터의 가장 중요한 시스템 중 하나입니다.
네트워크 내 처리 기능을 갖춘 400Gbps 초저지연 NVIDIA 퀀텀 인피니밴드는 수백, 수천 개의 DGX 노드를 AI 슈퍼컴퓨터로 연결합니다.
NVIDIA DGX H100은 전 세계 AI 인프라를 구축하는 고객들을 위한 청사진입니다.
이제 본격적인 생산에 들어갔습니다.
Microsoft가 Azure에서 H100 AI 슈퍼컴퓨터에 대한 비공개 프리뷰를 공개한다고 발표한 것을 기쁘게 생각합니다.
다른 시스템과 클라우드 서비스도 곧 아토스(Atos), AWS, 시라스케일, 코어위브, 델, 기가바이트, 구글, HPE, 람다 랩스, 레노버, 오라클, 퀀타, 슈퍼마이크로에서 출시될 예정입니다.
DGX AI 슈퍼컴퓨터 시장은 크게 성장했습니다.
원래 AI 연구 도구로 사용되던 DGX AI 슈퍼컴퓨터는 데이터를 정제하고 AI를 처리하기 위해 24시간 연중무휴로 작동하는 분야로 확장되고 있습니다.
DGX 슈퍼컴퓨터는 현대판 AI 공장입니다.
우리는 AI의 아이폰 순간에 와 있습니다.
스타트업은 파괴적인 제품과 비즈니스 모델을 구축하기 위해 경쟁하고 있으며, 기존 기업들은 이에 대응하기 위해 노력하고 있습니다.
제너레이티브 AI는 전 세계 기업들이 AI 전략을 개발해야 한다는 긴박감을 불러일으켰습니다.
고객은 더 쉽고 빠르게 NVIDIA AI에 액세스할 수 있어야 합니다.
엔비디아는 마이크로소프트 애저, 구글 GCP, 오라클 OCI와의 파트너십을 통해 모든 기업이 브라우저를 통해 즉시 엔비디아 DGX AI 슈퍼컴퓨터를 사용할 수 있는 엔비디아 DGX 클라우드를 발표하게 되었습니다.
DGX 클라우드는 AI의 엔드투엔드 개발 및 배포를 위한 세계 최고의 가속 라이브러리 제품군인 NVIDIA AI 엔터프라이즈를 실행하도록 최적화되어 있습니다.
DGX 클라우드는 고객에게 최고의 NVIDIA AI와 세계 최고의 클라우드 서비스 제공업체를 제공합니다.
이번 파트너십을 통해 NVIDIA의 에코시스템을 CSP에 제공하는 동시에 NVIDIA의 규모와 범위를 확대할 수 있습니다.
이 윈윈 파트너십을 통해 제너레이티브 AI를 활용하기 위해 경쟁하는 고객들은 글로벌 규모의 클라우드에서 엔비디아에 즉시 액세스할 수 있습니다.
저희는 이 클라우드 비즈니스 모델 확장의 속도, 규모 및 도달 범위가 매우 기대됩니다.
오라클 클라우드 인프라스트럭처(OCI)가 최초의 엔비디아 DGX 클라우드가 될 것입니다.
OCI는 뛰어난 성능을 보유하고 있습니다.
2계층 컴퓨팅 패브릭과 관리 네트워크를 보유하고 있습니다.
업계 최고의 RDMA를 갖춘 NVIDIA의 CX-7이 컴퓨팅 패브릭입니다.
그리고 BlueField-3은 관리 네트워크의 인프라 프로세서가 됩니다.
이 조합은 멀티테넌트 클라우드 서비스로 제공될 수 있는 최첨단 DGX AI 슈퍼컴퓨터입니다.
소비자 인터넷 및 소프트웨어, 의료 미디어 및 엔터테인먼트, 금융 서비스를 아우르는 50개의 얼리 액세스 기업 고객을 보유하고 있습니다.
ChatGPT, Stable Diffusion, DALL-E, Midjourney는 전 세계에 제너레이티브 AI를 각성시켰습니다.
이러한 애플리케이션의 사용 편의성과 인상적인 기능은 불과 몇 달 만에 1억 명 이상의 사용자를 끌어모았으며, ChatGPT는 역사상 가장 빠르게 성장하는 애플리케이션입니다.
별도의 교육이 필요하지 않습니다.
모델에게 명령을 내리기만 하면 됩니다.
프롬프트는 정확할 수도 있고 모호할 수도 있습니다.
명확하지 않은 경우 대화를 통해 ChatGPT는 사용자의 의도를 학습합니다.
생성된 텍스트는 놀라울 정도로 훌륭합니다.
ChatGPT는 메모와 시를 작성하고, 연구 논문을 의역하고, 수학 문제를 풀고, 계약서의 핵심 사항을 강조하고, 심지어 소프트웨어 프로그램을 코딩할 수도 있습니다.
ChatGPT는 소프트웨어를 실행할 뿐만 아니라 소프트웨어를 작성하는 컴퓨터입니다.
많은 혁신이 제너레이티브 AI로 이어졌습니다.
트랜스포머는 데이터의 관계와 종속성에서 맥락과 의미를 병렬적이고 대규모로 학습합니다.
그 결과 방대한 데이터를 학습하여 명시적인 학습 없이도 다운스트림 작업을 수행할 수 있는 대규모 언어 모델이 탄생했습니다.
그리고 물리학에서 영감을 얻은 확산 모델은 감독 없이도 학습하여 이미지를 생성합니다.
10년이 조금 넘는 기간 동안, 유니티는 고양이를 인식하는 데 그치지 않고 우주복을 입은 고양이가 달 위를 걷는 사실적인 이미지를 생성하는 데까지 발전했습니다.
제너레이티브 AI는 인간의 언어로 프로그래밍하는 새로운 종류의 컴퓨터입니다.
이 능력은 심오한 의미를 담고 있습니다.
누구나 컴퓨터에게 문제를 해결하도록 지시할 수 있습니다.
이것은 컴퓨터 프로그래머들만의 영역이었습니다.
이제 모든 사람이 프로그래머입니다.
생성적 AI는 PC, 인터넷, 모바일, 클라우드와 같은 새로운 컴퓨팅 플랫폼입니다.
이전 컴퓨팅 시대와 마찬가지로 퍼스트무버들은 새로운 애플리케이션을 만들고 새로운 회사를 설립하여 제너레이티브 AI의 자동화 및 공동 제작 기능을 활용하고 있습니다.
디빌드는 사용자가 원하는 것을 설명하는 것만으로 웹 애플리케이션을 설계하고 배포할 수 있게 해줍니다.
Grammarly는 문맥을 고려하는 글쓰기 도우미입니다.
Tabnine은 개발자의 코드 작성을 도와줍니다.
Omnekey는 맞춤형 광고와 카피를 생성합니다.
Kore.ai는 가상 고객 서비스 에이전트입니다.
Jasper는 마케팅 자료를 생성합니다.
Jasper는 약 50억 개의 단어를 작성하여 초안을 작성하는 시간을 80% 단축했습니다.
Insilico는 AI를 사용하여 신약 설계를 가속화합니다.
앱시(Absci)는 치료용 항체를 예측하는 데 AI를 사용하고 있습니다.
제너레이티브 AI는 거의 모든 산업을 재창조할 것입니다.
많은 기업이 시장에 출시되는 우수한 제너레이티브 AI API 중 하나를 사용할 수 있습니다.
일부 기업은 독점 데이터로 해당 분야의 전문가인 맞춤형 모델을 구축해야 합니다.
이러한 기업들은 사용 제한을 설정하고 회사의 안전, 개인정보 보호, 보안 요구사항에 맞게 모델을 개선해야 합니다.
업계에는 맞춤형 대규모 언어 모델을 위한 파운드리, 즉 TSMC가 필요합니다.
오늘 저희는 독점 데이터로 학습된 맞춤형 LLM 대규모 언어 모델과 도메인별 작업을 위한 제너레이티브 AI를 구축, 개선 및 운영해야 하는 고객을 위한 클라우드 서비스인 NVIDIA AI 파운데이션을 발표합니다.
엔비디아 AI 파운데이션은 언어, 시각 및 생물학 모델 제작 서비스로 구성됩니다.
NVIDIA Nemo는 맞춤형 언어 텍스트-텍스트 생성 모델을 구축하기 위한 서비스입니다.
고객은 모델을 가져오거나 GPT-8, GPT-43 및 GPT-5300억 개의 매개변수에 이르는 사전 학습된 Nemo 언어 모델을 사용하여 시작할 수 있습니다.
독점 모델 생성부터 운영까지 전체 프로세스에 걸쳐 NVIDIA AI 전문가가 고객과 협력합니다.
자세히 살펴보겠습니다.
NVIDIA의 43B 기본 모델과 같은 생성 모델은 수십억 개의 문장과 수조 개의 단어에 대한 학습을 통해 학습합니다.
모델이 수렴함에 따라 모델의 임베딩 공간에 있는 가중치로 포착된 단어와 그 기본 개념 간의 관계를 이해하기 시작합니다.
트랜스포머 모델은 일련의 단어 내에서 의존성과 관계를 학습하도록 설계된 메커니즘인 자기 주의라는 기술을 사용합니다.
그 결과 ChatGPT와 유사한 경험을 위한 토대를 제공하는 모델이 탄생합니다.
이러한 제너레이티브 모델은 데이터 처리 및 분산 학습을 위한 방대한 양의 데이터 딥러닝 전문 지식과 혁신의 속도에 맞춰 학습, 배포 및 유지 관리하기 위한 대규모 컴퓨팅을 필요로 합니다.
기업은 NVIDIA DGX 클라우드에서 실행되는 NVIDIA NeMo 서비스를 통해 제너레이티브 AI를 빠르게 도입할 수 있습니다.
가장 빠른 길은 사전 훈련된 NVIDIA의 최첨단 파운데이션 모델 중 하나로 시작하는 것입니다.
조직은 NeMo 서비스를 통해 재무 문서 요약, 브랜드별 콘텐츠 제작, 개인화된 글쓰기 스타일로 이메일 작성과 같은 전문 기술을 가르치기 위해 모델을 쉽게 커스터마이징할 수 있습니다.
이 모델을 독점 지식 기반에 연결하면 정확하고 최신의 답변이 비즈니스에 인용되도록 보장할 수 있습니다.
다음으로 로직을 추가하고 입력, 출력, 유해성 및 편향성 임계값을 모니터링하여 가드레일을 제공함으로써 지정된 도메인 내에서 작동하고 원치 않는 응답을 방지할 수 있습니다.
모델을 작동시킨 후에는 사용자 상호 작용에 기반한 강화 학습을 통해 지속적으로 개선할 수 있습니다.
또한 대규모 평가 및 애플리케이션 통합을 위해 클라우드 API로 이동하기 전에 신속한 프로토타이핑을 위해 NeMo의 플레이그라운드를 사용할 수 있습니다.
지금 바로 NVIDIA NeMo 서비스에 등록하여 기업의 지식을 사용자가 제어할 수 있는 개인화된 AI 모델로 코딩하세요.
피카소는 라이선스 또는 독점 콘텐츠로 학습된 맞춤형 모델을 구축하고자 하는 고객을 위한 시각 언어 모델 제작 서비스입니다.
자세히 살펴보겠습니다.
제너레이티브 AI는 시각적 콘텐츠 제작 방식을 혁신하고 있습니다.
하지만 그 잠재력을 최대한 활용하려면 기업에는 저작권이 확보된 방대한 양의 데이터, AI 전문가, AI 슈퍼컴퓨터가 필요합니다.
NVIDIA Picasso는 제너레이티브 AI 기반 이미지, 비디오 및 3D 애플리케이션을 빌드하고 배포하기 위한 클라우드 서비스입니다.
이를 통해 기업, ISV 및 서비스 제공업체는 자체 모델을 배포할 수 있습니다.
모든 산업 분야에 제너레이티브 AI 기능을 제공하기 위해 최고의 파트너와 협력하고 있습니다. 조직은 NVIDIA Edify 모델로 시작하여 데이터를 학습하여 제품 또는 서비스를 만들 수도 있습니다.
이러한 모델은 이미지, 비디오 및 3D 에셋을 생성합니다.
애플리케이션은 생성형 AI 모델에 액세스하기 위해 텍스트 프롬프트와 메타데이터가 포함된 API 호출을 Picasso에 보냅니다.
피카소는 NVIDIA DGX 클라우드에서 실행 중인 적절한 모델을 사용하여 생성된 에셋을 애플리케이션으로 다시 보냅니다.
이 에셋은 사실적인 이미지, 고해상도 비디오 또는 세부적인 3D 지오메트리일 수 있습니다.
생성된 에셋은 편집 툴이나 NVIDIA Omniverse로 임포트하여 사실적인 가상 세계, 메타버스 애플리케이션, 디지털 트윈 시뮬레이션을 구축할 수 있습니다.
NVIDIA DGX 클라우드에서 실행되는 NVIDIA Picasso 서비스를 사용하면 맞춤형 제너레이티브 AI 애플리케이션을 구축하는 데 필요한 트레이닝, 최적화 및 추론을 간소화할 수 있습니다.
NVIDIA Picasso를 통해 애플리케이션에 혁신적인 제너레이티브 AI 기능을 도입하는 방법을 알아보세요.
게티 이미지가 피카소 서비스를 사용하여 책임감 있게 라이선스가 부여된 전문 이미지 및 비디오 에셋의 풍부한 라이브러리를 기반으로 훈련된 에디파이 이미지 및 에디파이 비디오 생성 모델을 구축하게 되어 기쁘게 생각합니다.
기업은 간단한 텍스트 또는 이미지 프롬프트를 통해 맞춤형 이미지와 비디오를 만들 수 있습니다.
셔터스톡은 전문가용 이미지, 3D, 동영상 에셋 라이브러리를 기반으로 학습된 에디파이 3D 제너레이티브 모델을 개발 중입니다.
셔터스톡은 크리에이티브 제작, 디지털 트윈 및 가상 협업을 위한 3D 에셋 생성을 간소화하여 기업이 이러한 워크플로우를 더 빠르고 쉽게 구현할 수 있도록 지원할 것입니다.
또한 Adobe와의 오랜 파트너십을 확장하여 마케터와 크리에이티브 전문가의 일상적인 워크플로우에 제너레이티브 AI를 통합하는 크리에이티브의 미래를 위한 차세대 AI 기능 세트를 구축하게 되어 매우 기쁘게 생각합니다.
새로운 제너레이티브 AI 모델은 이미지 제작, 비디오, 3D 및 애니메이션에 최적화될 예정입니다.
아티스트의 권리를 보호하기 위해 Adobe는 Adobe의 콘텐츠 진위성 이니셔티브에 기반한 상업적 실행 가능성과 적절한 콘텐츠 어트리뷰션에 중점을 두고 개발하고 있습니다.
세 번째 언어 영역은 생물학입니다.
신약 개발은 R&D에 2,500억 달러가 투입되는 2조 달러에 가까운 산업입니다.
NVIDIA의 Clara는 이미징 기기, 유전체학 및 신약 개발을 위한 헬스케어 애플리케이션 프레임워크입니다.
이제 업계는 질병 표적을 발견하여 새로운 분자 또는 단백질 기반 약물을 설계하고 체내에서 약물의 거동을 예측하기 위해 제너레이티브 AI에 뛰어들고 있습니다.
인실리코 메디슨, 엑스사이언티아, 앱시, 에보자임은 수백 개의 새로운 AI 신약 개발 스타트업 중 하나입니다.
이 중 일부는 새로운 표적 또는 약물 후보를 발견하고 인간 임상시험을 시작했습니다.
BioNeMo는 연구자들이 자체 데이터를 사용하여 맞춤형 모델을 세밀하게 조정하고 제공할 수 있도록 지원합니다.
자세히 살펴보겠습니다.
신약 개발에는 저분자, 단백질, 항체 등 질병을 일으키는 생물학을 발견하여 새로운 분자를 설계하고, 마지막으로 이러한 분자가 서로 어떻게 상호 작용하는지 스크리닝하는 3가지 핵심 단계가 있습니다.
오늘날 제너레이티브 AI는 신약 개발 프로세스의 모든 단계를 혁신하고 있습니다.
NVIDIA BioNeMo 서비스는 신약 개발을 위한 최첨단 제너레이티브 AI 모델을 제공합니다.
클라우드 서비스로 제공되며, 가속화된 신약 개발 워크플로우에 즉각적이고 쉽게 액세스할 수 있습니다.
BioNeMo에는 3D 단백질 구조 예측을 위한 알파폴드, ESM폴드, 오픈폴드와 같은 모델이 포함되어 있습니다.
단백질 생성을 위한 ProtGPT, 단백질 특성 예측을 위한 ESM1 및 ESM2, 분자 생성 및 분자 도킹을 위한 MegaMolBART 및 MoFlow, 그리고 분자 생성을 위한 DiffDock이 있습니다.
신약 개발 팀은 BioNeMo의 웹 인터페이스 또는 클라우드 API를 통해 모델을 사용할 수 있습니다.
다음은 신약 개발 가상 스크리닝에 NVIDIA BioNeMo를 사용한 예시입니다.
이제 생성 모델은 단백질 아미노산 서열을 읽고 몇 초 만에 표적 단백질의 구조를 정확하게 예측할 수 있습니다.
또한 약물이 체내에서 작용하는 방식을 최적화하는 바람직한 ADME 특성을 가진 분자를 생성할 수 있습니다.
제너레이티브 모델은 단백질과 분자의 3D 상호 작용을 예측하여 최적의 약물 후보를 빠르게 발견할 수도 있습니다.
또한 NVIDIA DGX Cloud는 모델을 더욱 최적화하고 훈련할 수 있는 온디맨드 슈퍼 컴퓨팅 인프라를 제공하여 연구팀이 생명을 구하는 의약품을 발견하는 데 집중할 수 있도록 귀중한 시간과 비용을 절약해 줍니다.
새로운 AI 신약 개발 파이프라인은 여기에서 확인할 수 있습니다.
NVIDIA BioNeMo 서비스에 액세스하려면 등록하세요.
앞으로도 업계와 협력하여 신약 개발 및 가상 스크리닝의 엔드투엔드 워크플로우를 포괄하는 모델을 BioNemo에 포함할 예정입니다.
암젠, 아스트라제네카, 인실리코 메디슨, 에보진, 이노포어, 알케맙 테라퓨틱스 등이 바이오네모의 얼리 액세스 사용자입니다.
맞춤형 언어 모델 및 제너레이티브 AI를 구축하기 위한 클라우드 서비스, 파운드리인 NVIDIA AI 파운데이션.
10년 전 AlexNet 이후 딥러닝은 자율 주행, 로봇 공학, 스마트 스피커 등 거대한 새로운 시장을 열었으며 쇼핑, 뉴스 소비, 음악 감상 방식을 재창조했습니다.
이는 빙산의 일각에 불과합니다.
제너레이티브 AI가 새로운 기회의 물결을 일으키며 추론 워크로드의 단계적 증가를 주도하면서 AI는 변곡점을 맞이하고 있습니다.
이제 AI는 음성, 텍스트, 이미지, 비디오, 3D 그래픽부터 단백질과 화학 물질에 이르기까지 다양한 데이터를 생성할 수 있습니다.
클라우드 데이터센터 탑프로세스 생성 AI를 설계하는 것은 큰 도전 과제입니다.
한편으로는 단일 유형의 가속기가 이상적인데, 이는 데이터센터가 예측할 수 없는 트래픽의 최고점과 최저점을 탄력적으로 처리할 수 있기 때문입니다.
반면에 하나의 가속기로는 다양한 알고리즘, 모델, 데이터 유형 및 크기를 최적으로 처리할 수 없습니다.
NVIDIA의 원 아키텍처 플랫폼은 가속화와 탄력성을 모두 제공합니다.
오늘 우리는 네 가지 구성 - 하나의 아키텍처 - 하나의 소프트웨어 스택으로 구성된 새로운 추론 플랫폼을 발표합니다.
각 구성은 워크로드 종류에 맞게 최적화되어 있습니다.
AI 비디오 워크로드의 경우 비디오 디코딩 및 트랜스코딩, 비디오 콘텐츠 조정, 배경 교체, 재조명, 눈 맞추기, 트랜스크립션, 실시간 언어 번역과 같은 화상 통화 기능에 최적화된 L4를 제공합니다.
오늘날 대부분의 클라우드 비디오는 CPU에서 처리됩니다.
한 대의 8-GPU L4 서버가 AI 비디오 처리를 위해 100개 이상의 듀얼 소켓 CPU 서버를 대체할 수 있습니다.
Snap은 컴퓨터 비전 및 추천 시스템을 위한 NVIDIA AI의 선도적인 사용자입니다.
Snap은 AV1 비디오 처리, 제너레이티브 AI 및 증강 현실에 L4를 사용할 예정입니다.
스냅챗 사용자들은 매일 수억 개의 동영상을 업로드합니다.
Google은 오늘 GCP에서 NVIDIA L4를 발표했습니다.
엔비디아와 구글 클라우드는 주요 워크로드를 L4에 배포하기 위해 협력하고 있습니다.
다섯 가지를 강조하겠습니다.
첫째, 웜보와 디스크립트와 같은 클라우드 서비스를 위한 제너레이티브 AI 모델의 추론을 가속화하고 있습니다.
둘째, 트리톤 추론 서버를 구글 쿠버네티스 엔진 및 버텍스AI와 통합하고 있습니다.
셋째, Google 데이터프록을 엔비디아 스파크-래피즈(Spark-RAPIDS)로 가속화하고 있습니다.
넷째, 알파폴드, UL2 및 T5 대규모 언어 모델을 가속화하고 있습니다.
다섯째, 3D 및 AR 경험을 렌더링하는 Google Cloud의 몰입형 스트림을 가속화하고 있습니다.
이번 협업을 통해 Google GCP는 프리미어 NVIDIA AI 클라우드가 되었습니다.
조만간 양사의 협업에 대해 더 많은 소식을 전해드릴 수 있기를 기대합니다.
옴니버스, 그래픽 렌더링 및 텍스트-이미지 및 텍스트-비디오와 같은 제너레이티브 AI를 위해 L40을 발표합니다.
L40은 가장 널리 사용되는 클라우드 추론 GPU인 NVIDIA의 T4보다 최대 10배 빠른 성능을 제공합니다.
런웨이는 제너레이티브 AI의 선구자입니다.
런웨이의 연구팀은 스테이블 디퓨전과 그 이전 버전인 잠재적 디퓨전의 핵심 개발자였습니다.
런웨이는 콘텐츠 제작 및 편집을 위한 제너레이티브 AI 모델을 개발하고 있습니다.
30개가 넘는 AI 매직 툴을 갖춘 이 서비스는 클라우드에서 크리에이티브 프로세스를 혁신하고 있습니다.
자세히 살펴보겠습니다.
런웨이는 누구나 사용할 수 있는 놀라운 AI 기반 동영상 편집 및 이미지 제작 도구를 만들고 있습니다.
로컬 또는 클라우드에서 실행되는 최신 세대의 NVIDIA GPU로 구동되는 Runway를 사용하면 몇 번의 브러시 스트로크만으로 비디오에서 개체를 제거할 수 있습니다.
또는 입력 이미지만 사용하여 비디오에 다양한 스타일을 적용할 수도 있습니다.
또는 동영상의 배경이나 전경을 변경할 수도 있습니다.
기존 툴을 사용하면 몇 시간이 걸리던 작업을 이제 단 몇 분 만에 전문 방송 품질의 결과물로 완성할 수 있습니다.
런웨이는 개발자가 컴퓨터 비전 워크로드를 위한 고효율 GPU 가속 전처리 및 후처리 파이프라인을 구축하고 이를 클라우드로 확장할 수 있는 오픈 소스 프로젝트인 CV-CUDA를 활용하여 이를 실현합니다.
런웨이는 NVIDIA 기술을 통해 콘텐츠 크리에이터에게 최고의 경험을 제공하기 위해 불가능한 것을 가능하게 만들 수 있습니다.
이전에는 전문가만 할 수 있었던 일을 이제 여러분도 할 수 있습니다.
실제로 런웨이는 오스카상 후보에 오른 할리우드 영화에 사용되고 있으며, 전 세계 크리에이터들이 이 기술을 사용할 수 있도록 지원하고 있습니다.
ChatGPT와 같은 대규모 언어 모델은 중요한 새로운 추론 워크로드입니다.
GPT 모델은 메모리와 연산 집약적입니다.
또한 추론은 대용량 스케일아웃 워크로드이며 표준 상용 서버가 필요합니다.
ChatGPT와 같은 대규모 언어 모델 추론을 위해 새로운 Hopper GPU인 듀얼 GPU NVLINK가 탑재된 PCIE H100을 발표합니다. 새로운 H100은 94GB의 HBM3 메모리를 탑재하고 있습니다.
H100은 1,750억 개의 파라미터를 처리할 수 있는 GPT-3를 처리할 수 있으며, 상용 PCIE 서버를 지원하므로 쉽게 확장할 수 있습니다.
현재 클라우드에서 실질적으로 ChatGPT를 처리할 수 있는 GPU는 HGX A100이 유일합니다.
GPT-3 처리를 위한 HGX A100과 비교했을 때, H100 4쌍과 듀얼 GPU NVLINK를 갖춘 표준 서버는 최대 10배 더 빠릅니다.
H100은 대규모 언어 모델 처리 비용을 대폭 절감할 수 있습니다.
Grace Hopper는 초당 900GB의 고속 일관된 칩 투 칩 인터페이스를 통해 Grace CPU와 Hopper GPU를 연결하는 새로운 슈퍼칩입니다.
Grace Hopper는 추천 시스템이나 대규모 언어 모델을 위한 AI 데이터베이스와 같은 대규모 데이터 세트를 처리하는 데 이상적입니다.
오늘날 대용량 메모리를 갖춘 CPU는 거대한 임베딩 테이블을 저장 및 쿼리한 다음 추론을 위해 결과를 GPU로 전송합니다.
Grace-Hopper를 사용하면 Grace가 임베딩 테이블을 쿼리하고 그 결과를 PCIE보다 7배 빠른 고속 인터페이스를 통해 Hopper로 직접 전송할 수 있습니다.
고객은 몇 배나 더 큰 규모의 AI 데이터베이스를 구축하고자 합니다.
그레이스-호퍼는 이상적인 엔진입니다.
다양한 AI 워크로드를 위한 하나의 아키텍처로 데이터센터 가속화 및 탄력성을 극대화하는 NVIDIA의 추론 플랫폼입니다.
세계 최대 규모의 산업은 물리적 사물을 만들지만, 이를 디지털 방식으로 구축하고자 합니다.
옴니버스는 디지털과 물리적 환경을 연결하는 산업 디지털화를 위한 플랫폼입니다.
이를 통해 산업계는 물리적 복제본을 만들기 전에 실제 제품과 공장을 디지털 방식으로 설계, 구축, 운영, 최적화할 수 있습니다.
디지털화는 효율성과 속도를 높이고 비용을 절감합니다.
옴니버스는 실제 공장을 건설하기 전에 모든 기계를 디지털 방식으로 통합하여 공장을 가상으로 불러오는 데 사용됩니다.
이를 통해 막판에 발생하는 돌발 상황, 변경 주문, 공장 가동 지연을 줄일 수 있습니다.
가상 공장 통합은 전 세계 공장에서 수십억 달러를 절약할 수 있습니다.
반도체 업계는 5조 달러를 투자하여 84개의 새로운 팹을 건설하고 있습니다.
2030년까지 자동차 제조업체는 2억 대의 전기 자동차를 생산하기 위해 300개의 공장을 건설할 예정입니다.
그리고 배터리 제조업체들은 100개의 초대형 공장을 추가로 건설하고 있습니다.
디지털화는 전 세계 수십억 평방피트의 창고에서 상품을 이동하는 물류에도 변화를 일으키고 있습니다.
Amazon이 Omniverse를 사용하여 자율 창고를 자동화, 최적화 및 계획하는 방법을 살펴보겠습니다.
Amazon Robotics는 전 세계에서 가장 많은 모바일 산업용 로봇을 제조하고 배포했습니다.
이 로봇 제품군 중 가장 최근에 도입된 로봇은 아마존 최초의 완전 자율 물류창고 로봇인 프로테우스입니다.
프로테우스는 첨단 안전, 인식 및 내비게이션 기술을 사용하여 시설 내를 이동하도록 제작되었습니다.
Omniverse를 기반으로 구축된 NVIDIA 아이작 심이 어떻게 물리적으로 정확한 실사 시뮬레이션을 생성하여 프로테우스의 배포를 가속화하는 데 도움을 주는지 살펴보겠습니다.
프로테우스는 카메라, 라이더, 초음파 센서를 포함한 여러 센서를 사용하여 자율성 소프트웨어 시스템을 구동합니다.
프로테우스 팀은 기준점 마커를 읽고 로봇이 지도에서 위치를 파악하는 데 도움을 주는 신경망의 성능을 개선해야 했습니다.
로봇 센서 입력에 의해 구동되는 머신러닝 모델을 훈련하려면 많은 양의 데이터와 적절한 종류의 데이터가 필요합니다.
아마존 로보틱스는 아이작 심의 옴니버스 리플리케이터를 통해 마커 감지 성공률을 88.6%에서 98%로 향상시킨 대규모의 사실적인 합성 데이터 세트를 생성할 수 있었습니다.
또한, 실제 데이터만 사용할 때보다 훨씬 빠르게 모델을 반복적으로 테스트하고 훈련할 수 있었기 때문에 몇 달에서 며칠로 단축된 개발 시간을 단축할 수 있었습니다.
확장되는 프로테우스 로봇에 새로운 자율 기능을 지원하기 위해 Amazon Robotics는 대규모 다중 센서, 다중 로봇 시뮬레이션을 구축하여 시뮬레이션과 현실 사이의 간극을 좁히고자 노력하고 있습니다.
Omniverse를 통해 Amazon Robotics는 완전 충실도 창고 디지털 트윈으로 운영을 최적화할 것입니다.
합성 데이터를 생성하든 새로운 수준의 자율성을 개발하든, Omniverse의 Isaac Sim은 Amazon Robotics 팀이 시설 전체에 Proteus를 배포할 때 시간과 비용을 절약할 수 있도록 지원합니다.
Omniverse는 디지털화를 위한 고유한 기술을 보유하고 있습니다.
또한 Omniverse는 USD를 위한 최고의 개발 플랫폼으로, 여러 팀이 협업하여 가상 세계와 디지털 트윈을 제작할 수 있는 공통 언어 역할을 합니다.
옴니버스는 물리 법칙을 반영하는 물리적 기반입니다.
로봇 시스템에 연결하여 하드웨어 인 더 루프로 작동할 수 있습니다.
또한 제너레이티브 AI를 통해 가상 세계 생성을 가속화할 수 있습니다.
또한 옴니버스는 엄청난 규모의 데이터 세트를 관리할 수 있습니다.
유니티는 모든 영역에서 Omniverse를 크게 업데이트했습니다.
자세히 살펴보겠습니다.
약 30만 명의 크리에이터와 디자이너가 Omniverse를 다운로드했습니다.
Omniverse는 단순한 도구가 아니라 업계 전반에서 사용되는 디자인 도구와 연결되는 USD 네트워크이자 공유 데이터베이스입니다.
업계 최고의 툴에서 생성된 에셋을 연결, 구성, 시뮬레이션할 수 있습니다.
유니티는 옴니버스 연결의 성장을 기쁘게 생각합니다.
각 연결은 한 플랫폼의 에코시스템을 다른 모든 플랫폼의 에코시스템에 연결합니다.
Omniverse의 네트워크 네트워크는 기하급수적으로 성장하고 있습니다.
이제 벤틀리시스템즈 LumenRT가 연결되었습니다.
Siemens Teamcenter, NX, Process Simulate, Rockwell Automation Emulate 3D, Cesium, Unity 등도 마찬가지입니다.
3조 달러 규모의 자동차 산업의 디지털화를 살펴보고 자동차 회사들이 워크플로에서 Omniverse를 어떻게 평가하고 있는지 알아보겠습니다.
볼보 자동차와 GM은 Omniverse USD Composerto를 사용하여 에셋 파이프라인을 연결하고 통합합니다.
GM은 Alias, Siemens NX, Unreal, Maya, 3ds Max를 사용하여 디자이너, 조각가, 아티스트를 연결하고, 자동차의 디지털 트윈에 컴포넌트를 가상으로 조립합니다.
엔지니어링 및 시뮬레이션에서는 Omniverse에서 동력 흐름의 공기역학을 시각화합니다.
차세대 메르세데스-벤츠와 재규어 랜드로버 차량의 경우 엔지니어는 Omniverse의 드라이브 심을 사용하여 합성 데이터를 생성하여 AI 모델을 훈련하고, 가상 NCAP 주행 테스트를 통해 능동 안전 시스템을 검증하고, 실제 주행 시나리오를 시뮬레이션합니다.
Omniverse의 생성형 AI는 이전에 주행한 경로를 3D로 재구성하여 과거의 경험을 재현하거나 수정할 수 있습니다.
BMW는 Idealworks와 협력하여 공장 로봇을 훈련하기 위한 합성 데이터와 시나리오를 생성하는 데 Isaac Simin Omniverse를 사용합니다.
Lotus는 용접 스테이션을 가상으로 조립하는 데 Omniverse를 사용하고 있습니다.
Toyota는 공장 디지털 트윈을 구축하는 데 Omniverse를 사용하고 있습니다.
메르세데스-벤츠는 옴니버스를 사용하여 새로운 모델의 조립 라인을 구축, 최적화 및 계획합니다.
리막과 루시드 모터스는 실제 디자인 데이터로 자동차를 충실하게 표현하는 디지털 스토어를 구축하는 데 Omniverse를 사용합니다.
BMW는 전 세계 약 30개 공장의 운영 계획을 수립하는 데 Omniverse를 사용하고 있습니다.
또한 실제 공장이 문을 열기 2년 전에 Omniverse를 사용하여 새로운 전기차 공장을 건설하고 있습니다.
방문해 보겠습니다.
전 세계 산업계는 향후 3년 동안 3조 4천억 달러 이상을 투자하며 디지털화를 가속화하고 있습니다.
BMW는 자동차 디지털화를 선도하기 위해 노력하고 있습니다.
NVIDIA Omniverse와 AI를 통해 새로운 공장을 더 빠르게 설립하고 그 어느 때보다 더 효율적으로 생산하고 있습니다.
그 결과 상당한 비용을 절감할 수 있었습니다.
이 모든 것은 전 세계의 많은 도구, 데이터 세트 및 전문가를 연결해야 하는 복잡한 프로세스인 계획에서 시작됩니다.
기존에는 데이터가 다양한 시스템과 도구에서 개별적으로 관리되었기 때문에 한계가 있었습니다.
하지만 이제 모든 것이 바뀌었습니다.
기존의 도구, 노하우, 팀을 모두 통합된 보기에서 연결할 수 있는 맞춤형 Omniverse 애플리케이션을 개발하고 있습니다.
Omniverse는 클라우드 네이티브이며 클라우드에 구애받지 않으므로 팀이 어디서든 가상 공장에서 협업할 수 있습니다.
저는 2025년에 문을 여는 새로운 전기차 공장인 헝가리의 데브레첸에 대한 가상 계획 세션에 참여하려고 합니다.
시작해보죠.
플래너 1: 아, 밀라노가 합류합니다.
Milan: 안녕하세요, 여러분!
플래너 1: 안녕하세요, 밀란, 만나서 반갑습니다. 차체 공장의 최적화 루프를 진행 중입니다.
어디 볼래요?
밀라노: 고마워요, 정말 관심이 많아요.
그리고 친구를 초대하고 싶어요.
플래너 1: 물론이죠.
Jensen: 안녕하세요, 밀란!
만나서 반가워요.
Milan: 젠슨, 가상 기획 세션에 오신 것을 환영합니다.
젠슨: 여기 오게 되어 반갑습니다.
어떤 내용인가요?
밀란: 데브레첸의 디지털 트윈에서 로봇 셀을 작업하고 있는 글로벌 기획팀입니다.
마티아스, 무슨 일이 일어나고 있는지 알려주세요... 마티아스: 방금 생산 컨셉에 약간의 변경이 필요하다는 것을 알게 되었습니다.
현재 셀에 새 로봇을 추가하기 위해 레이아웃을 재구성하고 있습니다.
기획자 2: 네, 하지만 새 로봇을 추가하면 물류 측면에서 보관 컨테이너를 옮겨야 합니다.
기획자 3: 좋아, 그럼 새 로봇을 들여놓자고.
마티아스: 완벽해요.
하지만 다시 한 번 확인해보죠. 셀을 가동할 수 있을까요?
좋아요.
Jensen: 밀란, 정말 대단해요!
가상 공장 통합은 모든 산업에 필수적입니다.
우리 팀이 함께 해낸 성과가 정말 자랑스럽습니다.
축하해요!
밀라노: 저희는 로컬 최적화를 위해 전 세계적으로 노력하고 있습니다.
계획 후에는 운영이 가장 중요하며 이미 시작되었습니다!
가상 공장 출시를 축하하기 위해 첫 번째 디지털 팩토리에 여러분을 초대하고 싶습니다.
Jensen: 영광입니다.
그럼 시작하죠!
자동차 회사에는 약 1,400만 명의 직원이 근무하고 있습니다.
디지털화는 업계의 효율성, 생산성, 속도를 향상시킬 것입니다.
옴니버스는 산업 디지털화를 실현하기 위한 디지털-물리 운영 체제입니다.
오늘 우리는 옴니버스를 실행하기 위해 설계된 세 가지 시스템을 발표합니다.
첫째, NVIDIA Ada RTX GPU와 인텔의 최신 CPU로 구동되는 차세대 워크스테이션을 출시합니다.
새로운 워크스테이션은 레이 트레이싱, 물리 시뮬레이션, 뉴럴 그래픽, 제너레이티브 AI를 수행하는 데 이상적입니다.
3월부터 Boxx, Dell, HP, Lenovo에서 구매할 수 있습니다.
둘째, 옴니버스에 최적화된 새로운 NVIDIA OVX 서버입니다.
OVX는 L40 Ada RTX 서버 GPU와 새로운 BlueField-3로 구성됩니다.
OVX 서버는 Dell, HPE, 퀀타, 기가바이트, 레노버, 슈퍼마이크로에서 구매할 수 있습니다.
칩, 시스템, 네트워킹, 소프트웨어를 포함한 Omniverse 스택의 각 계층은 새로운 발명품입니다.
옴니버스 컴퓨터를 구축하고 운영하려면 정교한 IT 팀이 필요합니다.
저희는 옴니버스를 빠르고 쉽게 확장하고 참여할 수 있도록 만들 것입니다.
살펴보겠습니다.
세계 최대 규모의 산업은 물리적 프로세스를 디지털화하기 위해 경쟁하고 있습니다.
오늘날 디지털화는 복잡한 작업입니다.
NVIDIA Omniverse Cloud는 서비스형 플랫폼으로, NVIDIA OVX에서 실행되는 관리형 Omniverse Cloud API, 워크플로 및 커스터마이징 가능한 애플리케이션에 대한 즉각적이고 안전한 액세스를 제공합니다.
엔터프라이즈 팀은 웹 브라우저 Omniverse Launcher 또는 맞춤형 통합을 통해 관리형 서비스 제품군에 액세스할 수 있습니다.
엔터프라이즈 팀은 Omniverse Cloud에 들어가면 기반 애플리케이션과 워크플로를 즉시 액세스, 확장 및 게시하여 가상 세계를 조립 및 구성하고, 인식 AI를 훈련하기 위한 데이터를 생성하고, 자율 차량을 테스트 및 검증하고, 자율 로봇을 시뮬레이션하고, 공유 데이터에 액세스하여 Omniverse Nucleus에 게시할 수 있습니다.
디자이너와 엔지니어는 RTX 워크스테이션에서 선호하는 타사 디자인 툴로 작업하면서 동시에 편집 내용을 Nucleus에 게시할 수 있습니다.
그런 다음 반복 작업을 하거나 Omniverse에서 통합 모델을 볼 준비가 되면 웹 브라우저를 열고 로그인하기만 하면 됩니다.
프로젝트와 팀이 확장됨에 따라 Omniverse Cloud는 필요에 따라 컴

 

 

SMALL

[ English Summary ]

It explains the impact of Moore's Law and how it has made accelerated computing and AI the new driving force in the computer industry.
It also highlights advances in datacenter-scale, full-stack accelerated computing platforms and promotes GTC as a conference where developers can learn from leaders in academia and industry.

We hope you will attend GTC 2023 and participate in the tremendous opportunities that are coming with the help of accelerated computing and AI.
Nvidia has developed a network of applications accelerated by its libraries in almost every field of science and industry.
The company has established a virtuous cycle of accelerated computing that attracts end users, creating a large market for cloud service providers and computer manufacturers to serve.

Nvidia is also collaborating with the global quantum computing research community through its Quantum Platform, which consists of libraries and systems to help researchers advance quantum programming models, system architectures, and algorithms.
Finally, companies around the world are using Apache Spark to power data lakes and warehouses, SQL queries, graph analytics, and recommendation systems.


We encourage developers to check out the acceleration libraries available on NVIDIA platforms.
Here are a few libraries and tools that can accelerate data processing and operations across a variety of industries.
Spark-RAPIDS accelerates leading cloud data processing platforms, and the RAFT library speeds up the process of large-scale language model discovery.

Additionally, NVIDIA cuOpt has broken world records in operations research, and AT&T has adopted NVIDIA's AI libraries for dispatch and logistics services.
NVIDIA's inference platform includes TensorRT and Triton, software SDKs widely used by major enterprises.
New features have been added to the Triton inference server, and cloud-scale acceleration libraries CV-CUDA for computer vision and VPF for video processing have been introduced.

Parabricks for genomics analysis is now available on public clouds and genomics platforms, and NVIDIA is working with Medtronic to create a common AI platform for medical devices.
Finally, NVIDIA launched cuLitho, which accelerates computational lithography by more than 40x.

We encourage you to explore these tools and libraries to improve your operations in a variety of industries.
All industries are emphasizing the importance of accelerating all workloads, and for those interested in learning more, we recommend Medtronic's GI Genius system and NVIDIA's cuLitho page.
Grace CPUs, which are power efficient and excellent for single-threaded execution, are featured as a way to prepare for the future.

NVIDIA's BlueField technology is also discussed as a tool for modern data centers to save power and free up CPUs for revenue-generating workloads, and the NVIDIA DGX AI supercomputer is mentioned as an essential tool for processing AI in modern factories.
The article also highlights generative AI as a new kind of human language programming with profound implications, and recommends frontrunners that leverage the automation and co-creation capabilities of this technology.
You can explore these technologies and systems to accelerate AI computation and performance.

We encourage you to explore NVIDIA's DGX cloud for AI development and new opportunities in generative AI.
NVIDIA has launched AI Foundation, a cloud service that enables you to create, refine, and operate custom, large-scale language models and generative AI trained with proprietary data for domain-specific tasks.
Nvidia's Foundation models are based on billions of sentences and trillions of words and provide the foundation for experiences similar to ChatGPT.
The service allows companies to customize the model and work with NVIDIA experts.

NVIDIA offers two cloud services, NeMo and Picasso, for creating and deploying personalized AI models.
Enterprises can simplify the training, optimization, and inference required to build custom generative AI applications.
Nvidia is expanding its partnership with Adobe to integrate generative AI into the daily workflows of marketers and creative professionals.
NVIDIA's Clara provides a healthcare application framework for imaging devices, genomics, and drug discovery.

NVIDIA's BioNeMo service includes generative AI models for drug discovery.

NVIDIA has launched BioNeMo, an AI tool for virtual screening and drug discovery, and NVIDIA AI Foundation, a cloud service for building generative AI and custom language models.
The company's one-architecture platform provides both acceleration and elasticity to handle a variety of algorithms and data types.
NVIDIA also launched L4, which is designed for AI video workloads and can replace 100+ dual-socket CPU servers.

For large-scale language model inference, NVIDIA announced hopper GPUs and a new Grace Hopper superchip.
Learn more about AI magic tools on the runway and NVIDIA's new GPU and superchip technologies.

Omnibus, a platform for digitizing industrial design, enables industries to digitally design, build, and optimize physical products and factories.
Amazon is using Omnibus to automate and optimize its autonomous warehouses with help from NVIDIA's Isaac Sim.
Amazon Robotics is using Omnibus to build large-scale simulations to optimize operations with a complete digital twin for its expanding fleet of Proteus robots.
Omnibus is a development platform for USD that can create virtual worlds and digital twins, with generative AI, hardware-in-the-loop connectivity, and the ability to manage large datasets.
It is used by major automakers and industries to improve productivity and efficiency and save time and money.

With Omniverse Cloud, a platform-as-a-service that supports digitization in key industrial workflows, NVIDIA is developing a custom application that connects tools, data, and experts for virtual factory integration.
Teams can access and publish out-of-the-box applications and workflows, generate data to train cognitive AI, test and validate autonomous vehicles, and simulate self-driving robots.
Omniverse Cloud is an ideal solution for businesses to efficiently scale by provisioning compute resources and licenses as needed, and new services and upgrades are automatically delivered in real time.
Industrial digitization is now possible with Omniverse, making industries more productive, efficient, and faster.

NVIDIA has partnered with Microsoft to bring Omnibus Cloud to a wide range of industries.
NVIDIA's AI and accelerated computing technologies can solve problems and accelerate workloads that were previously impossible.
DGX H100 AI supercomputers are available and expanding to NVIDIA DGX Cloud, a partnership with Microsoft Azure, Google GCP, and Oracle OCI.
NVIDIA collaborated with Google Cloud and Adobe to deploy inference workloads and build next-generation AI capabilities for creatives.
The Omniverse Cloud is now available on Azure to help digitize the automotive industry.

 

 

 

[ English Full Text ]

For nearly four decades Moore’s Law has been the governing dynamicsof the computer industry which in turn has impacted every industry.
The exponential performance increaseat constant cost and power has slowed.
Yet, computing advance has gone to lightspeed.
The warp drive engine is accelerated computingand the energy source is AI.
The arrival of accelerated computing and AI is timely as industries tackle powerful dynamics sustainability generative AI and digitalization.
Without Moore’s Law, as computing surges,data center power is skyrocketing and companies struggle to achieve Net Zero.
The impressive capabilities of Generative AI created a sense of urgency for companies to reimagine their products and business models.
Industrial companies are racing to digitalize and reinvent into software-driven tech companies to be the disruptor and not the disrupted.
Today, we will discuss how accelerated computing and AI are powerful tools for tackling these challenges and engaging the enormous opportunities ahead.
We will share new advances in NVIDIA’s full-stack, datacenter-scale, accelerated computing platform.
We will reveal new chips and systems,acceleration libraries, cloud and AI services and partnerships that open new markets.
Welcome to GTC!
GTC is our conference for developers.
The global NVIDIA ecosystem spans 4 million developers,40,000 companies and 14,000 startups.
Thank you to our Diamond sponsors for supporting usand making GTC 2023 a huge success.
We’re so excited to welcome more than 250,000of you to our conference.
GTC has grown incredibly.
Only four years ago, our in-person GTCconference had 8,000 attendees.
At GTC 2023, we’ll learn from leaderslike Demis Hassabis of DeepMind Valeri Taylor of Argonne Labs Scott Belsky of Adobe Paul Debevec of Netflix Thomas Schulthess of ETH Zurich and a special fireside chat I’m having with Ilya Sutskever co-founder of OpenAI, the creator of ChatGPT.
We have 650 amazing talks from the brightest minds in academia and the world’s largest industries: There are more than 70 talks on Generative AI alone.
Other great talks, like pre-trained multi-task models for robotics… sessions on synthetic data generation, an important method for advancing AI including one on using Isaac Sim to generate physicallybased lidar point clouds a bunch of talks on digital twins, from using AIto populate virtual factories of the future to restoring lost Roman mosaics of the past cool talks on computational instruments, including a giant optical telescope and a photon-counting CT materials science for carbon capture and solar cells,to climate science, including our work on Earth-2 important works by NVIDIA Research on trustworthy AI and AV safety From computational lithography for micro-chips,to make the smallest machines to AI at the Large Hadron Collider to explain the universe.
The world’s most important companies are herefrom auto and transportation healthcare, manufacturing, financial services, retail, apparel, media and entertainment, telco and of course, the world’s leading AI companies.
The purpose of GTC is to inspire the world on the art-of-the-possible of accelerating computing and to celebrate the achievements of the scientistsand researchers that use it.
I am a translator.
Transforming text into creative discovery, movement into animation, and direction into action.
I am a healer.
Exploring the building blocks that make us unique modeling new threats before they happen and searching for the cures to keep them at bay.
I am a visionary.
Generating new medical miracles and giving us a new perspective on our sun to keep us safe here on earth.
I am a navigator.
Discovering a unique moment in a sea of content we’re announcing the next generation and the perfect setting for any story.
I am a creator.
Building 3D experiences from snapshots and adding new levels of reality to our virtual selves.
I am a helper.
Bringing brainstorms to life sharing the wisdom of a million programmers and turning ideas into virtual worlds.
Build northern forest.
I even helped write this script breathed life into the words and composed the melody.
I am AI.
Brought to life by NVIDIA, deep learning,and brilliant minds everywhere.
NVIDIA invented accelerated computing to solve problemsthat normal computers can’t.
Accelerated computing is not easy it requires full-stack invention from chips, systems, networking, acceleration libraries, to refactoring the applications.
Each optimized stack accelerates an application domain from graphics, imaging, particle or fluid dynamics quantum physics, to data processing and machine learning.
Once accelerated, the application can enjoy incredible speed-up, as well as scale-up across many computers.
The combination of speed-up and scale-uphas enabled us to achieve a million-X for many applications over the past decade helping solve problems previously impossible.
Though there are many examples,the most famous is deep learning.
In 2012, Alex Kerchevsky, Ilya Suskever, and Geoff Hintonneeded an insanely fast computer to train the AlexNet computer vision model.
The researchers trained AlexNet with14 million images on GeForce GTX 580 processing 262 quadrillion floating-point operations, and the trained model won the ImageNet challenge by a wide margin, and ignited the Big Bang of AI.
A decade later, the transformer model was invented.
And Ilya, now at OpenAI, trained the GPT-3large language model to predict the next word.
323 sextillion floating-point operations were required to train GPT-3.
One million times more floating-point operationsthan to train AlexNet.
The result this time – ChatGPT, the AI heard around the world.
A new computing platform has been invented.
The iPhone moment of AI has started.
Accelerated computing and AI have arrived.
Acceleration libraries are at the core of accelerated computing.
These libraries connect to applications which connect to the world’s industries, forming a network of networks.
Three decades in the making, several thousand applicationsare now NVIDIA accelerated with libraries in almost every domain of science and industry.
All NVIDIA GPUs are CUDA-compatible, providing a large install base and significant reach for developers.
A wealth of accelerated applications attract end users, which creates a large market for cloud service providers and computer makers to serve.
A large market affords billions in R&D to fuel its growth.
NVIDIA has established the accelerated computing virtuous cycle.
Of the 300 acceleration libraries and 400 AI modelsthat span ray tracing and neural rendering physical, earth, and life sciences, quantum physicsand chemistry, computer vision data processing, machine learning and AI, we updated 100 we updated 100 this year that increase performanceand features for our entire installed base.
Let me highlight some acceleration libraries that solve new challenges and open new markets.
The auto and aerospace industries use CFD for turbulenceand aerodynamics simulation.
The electronics industry uses CFD for thermal management design.
This is Cadence’s slide of their new CFD solveraccelerated by CUDA.
At equivalent system cost, NVIDIA A100 is 9Xthe throughput of CPU servers.
Or at equivalent simulation throughput, NVIDIA is 9X lower costor 17X less energy consumed.
Ansys, Siemens, Cadence, and other leading CFD solversare now CUDA-accelerated.
Worldwide, industrial CAE uses nearly100 billion CPU core hours yearly.
Acceleration is the best way to reclaim power and achieve sustainability and Net Zero.
NVIDIA is partnering with the global quantumcomputing research community.
The NVIDIA Quantum platform consists of libraries and systems for researchers to advance quantum programming models, system architectures, and algorithms.
cuQuantum is an acceleration libraryfor quantum circuit simulations.
IBM Qiskit, Google Cirq, Baidu Quantum Leaf, QMWare, QuEra, Xanadu Pennylane, Agnostiq, and AWS Bracket have integrated cuQuantum into their simulation frameworks.
Open Quantum CUDA is our hybrid GPU-Quantumprogramming model.
IonQ, ORCA Computing, Atom, QuEra, Oxford Quantum Circuits, IQM, Pasqal, Quantum Brilliance, Quantinuum, Rigetti, Xanadu, and Anyon have integrated Open Quantum CUDA.
Error correction on a large number of qubits is necessary to recover data from quantum noise and decoherence.
Today, we are announcing a quantum control link, developed in partnership with Quantum Machines that connects NVIDIA GPUs to a quantum computer todo error correction at extremely high speeds.
Though commercial quantum computers are still a decade or two away, we are delighted to support this large and vibrant research community with NVIDIA Quantum.
Enterprises worldwide use Apache Spark toprocess data lakes and warehouses SQL queries, graph analytics, and recommender systems.
Spark-RAPIDS is NVIDIA’s accelerated Apache Sparkdata processing engine.
Data processing is the leading workloadof the world’s $500B cloud computing spend.
Spark-RAPIDS now accelerates major cloud data processing platforms, including GCP Dataproc Amazon EMR, Databricks, and Cloudera.
Recommender systems use vector databases to store, index, search, and retrieve massive datasets of unstructured data.
A new important use-case of vector databases is large language models to retrieve domain-specific or proprietary facts that can be queried during text generation.
We are introducing a new library, RAFT,to accelerate indexing, loading the data and retrieving a batch of neighbors for a single query.
We are bringing the acceleration of RAFT to Meta’s open-source FAISS AI Similarity Search, Milvus open-source vector DB used by over 1,000 organizations,and Redis with over 4B docker pulls.
Vector databases will be essential for organizations building proprietary large language models.
Twenty-two years ago, operations research scientists Li and Lim posted a series of challenging pickup and delivery problems.
PDP shows up in manufacturing, transportation,retail and logistics, and even disaster relief.
PDP is a generalization of the Traveling Salesperson Problemand is NP-hard meaning there is no efficient algorithm to find an exact solution.
The solution time grows factorially as the problem size increases.
Using an evolution algorithm and accelerated computingto analyze 30 billion moves per second NVIDIA cuOpt has broken the world record and discoveredthe best solution for Li&Lim’s challenge.
AT&T routinely dispatches 30,000 technicians to service 13 million customers across 700 geographic zones.
Today, running on CPUs, AT&T’s dispatchoptimization takes overnight.
AT&T wants to find a dispatch solution in real time that continuously optimizes for urgent customer needs and overall customer satisfaction, while adjustingfor delays and new incidents that arise.
With cuOpt, AT&T can find a solution 100X fasterand update their dispatch in real time.
AT&T has adopted a full suite of NVIDIA AI libraries.
In addition to Spark-RAPIDS and cuOPT, they’re using Riva for conversational AI and Omniverse for digital avatars.
AT&T is tapping into NVIDIA accelerated computing and AIfor sustainability, cost savings, and new services.
cuOpt can also optimize logistic services.
400 billion parcelsare delivered to 377 billion stops each year.
Deloitte, Capgemini, Softserve, Accenture, and Quantiphi are using NVIDIA cuOpt to help customers optimize operations.
NVIDIA’s inference platform consists of three software SDKs.
NVIDIA TensorRT is our inference runtimethat optimizes for the target GPU.
NVIDIA Triton is a multi-framework data center inference serving software supporting GPUs and CPUs.
Microsoft Office and Teams, Amazon, American Express,and the U.S.
Postal Service are among the 40,000 customers using TensorRT and Triton.
Uber uses Triton to serve hundreds of thousandsof ETA predictions per second.
With over 60 million daily users, Roblox uses Triton to serve models for game recommendations build avatars, and moderate content and marketplace ads.
We are releasing some great new features – model analyzer support for model ensembles, multiple concurrent model serving, and multi-GPU, multi-node inferencefor GPT-3 large language models.
NVIDIA Triton Management Service is our new software that automates the scaling and orchestration of Triton inference instances across a data center.
Triton Management Service will help you improve the throughput and cost efficiency of deploying your models.
50-80% of cloud video pipelines are processed on CPUs consuming power and cost and adding latency.
CV-CUDA for computer vision, and VPF for video processing, are new cloud-scale acceleration libraries.
CV-CUDA includes 30 computer vision operators for detection, segmentation, and classification.
VPF is a python video encode and decode acceleration library.
Tencent uses CV-CUDA and VPFto process 300,000 videos per day.
Microsoft uses CV-CUDA and VPF to process visual search.
Runway is a super cool company that usesCV-CUDA and VPF to process video for their cloud Generative AI video editing service.
Already, 80% of internet traffic is video.
User-generated video content is driving significant growth and consuming massive amounts of power.
We should accelerate all video processing and reclaim the power.
CV-CUDA and VPF are in early access.
NVIDIA accelerated computing helpedachieve a genomics milestone now doctors can draw blood and sequencea patient’s DNA in the same visit.
In another milestone, NVIDIA-powered instruments reduced the cost of whole genome sequencing to just $100.
Genomics is a critical tool in synthetic biologywith applications ranging from drug discovery and agriculture to energy production.
NVIDIA Parabricks is a suite of AI-accelerated libraries for end-to-end genomics analysis in the cloud or in-instrument.
NVIDIA Parabricks is available in every public cloud and genomics platforms like Terra, DNAnexus, and FormBio.
Today, we’re announcing Parabricks 4.1 and will run on NVIDIA-accelerated genomics instruments from PacBio, Oxford Nanopore, Ultima,Singular, BioNano, and Nanostring.
The world’s $250B medical instrumentsmarket is being transformed.
Medical instruments will be software-defined and AI powered.
NVIDIA Holoscan is a software libraryfor real-time sensor processing systems.
Over 75 companies are developingmedical instruments on Holoscan.
Today, we are announcing Medtronic, the world leader in medical instruments, and NVIDIA are building their AI platform for software-defined medical devices.
This partnership will create a common platform for Medtronic systems, ranging from surgical navigation to robotic-assisted surgery.
Today, Medtronic announced that its next-generation GI Genius system, with AI for early detection of colon cancer is built on NVIDIA Holoscan andwill ship around the end of this year.
The chip industry is the foundation of nearly every industry.
Chip manufacturing demands extreme precision, producing features 1,000 times smaller than a bacterium and on the order of a single gold atom or a strand of human DNA.
Lithography, the process of creating patterns on a wafer, is the beginning of the chip manufacturing process and consists of two stages – photomask makingand pattern projection.
It is fundamentally an imaging problem at the limits of physics.
The photomask is like a stencil of a chip.
Light is blocked or passed through the mask to the wafer to create the pattern.
The light is produced by the ASML EUVextreme ultraviolet lithography system.
Each system is more than a quarter-of-a-billion dollars.
ASML EUV uses a radical way to create light.
Laser pulses firing 50,000 times a second at a drop of tin, vaporizing it, creating a plasma that emits 13.5nm EUV light nearly X-ray.
Multilayer mirrors guide the light to the mask.
The multilayer reflectors in the mask reticle take advantage of interference patterns of the 13.5nm light to create finer features down to 3nm.
Magic.
The wafer is positioned within a quarter of a nanometer and aligned 20,000 times a second to adjust for any vibration.
The step before lithography is equally miraculous.
Computational lithography applies inverse physics algorithmsto predict the patterns on the mask that will produce the final patterns on the wafer.
In fact, the patterns on the maskdo not resemble the final features at all.
Computational lithography simulates Maxwell’s equationsof the behavior of light passing through optics and interacting with photoresists.
Computational lithography is the largest computationworkload in chip design and manufacturing consuming tens of billions of CPU hours annually.
Massive data centers run 24/7 to create reticlesused in lithography systems.
These data centers are part of the nearly $200 billion annual CAPEX invested by chip manufacturers.
Computational lithography is growing fastas algorithm complexity increases enabling the industry to go to 2nm and beyond.
NVIDIA today is announcing cuLitho, a libraryfor computational lithography.
cuLitho, a massive body of work that has taken nearly four years, and with close collaborations with TSMC, ASML, and Synopsys, accelerates computationallithography by over 40X.
There are 89 reticles for the NVIDIA H100.
Running on CPUs, a single reticle currentlytakes two weeks to process.
cuLitho, running on GPUs, can processa reticle in a single 8-hour shift.
TSMC can reduce their 40,000 CPU servers used for computational lithography by accelerating with cuLitho on just 500 DGX H100 systems, reducing powerfrom 35MW to just 5MW.
With cuLitho, TSMC can reduce prototype cycle time,increase throughput and reduce the carbon footprint of their manufacturing,and prepare for 2nm and beyond.
TSMC will be qualifying cuLitho for production starting in June.
Every industry needs to accelerate every workload, so that we can reclaim power and do more with less.
Over the past ten years, cloud computing has grown 20% annually into a massive $1T industry.
Some 30 million CPU servers do the majority of the processing.
There are challenges on the horizon.
As Moore’s Law ends, increasing CPU performance comes with increased power.
And the mandate to decrease carbon emissions is fundamentally at odds with the need to increase data centers.
Cloud computing growth is power-limited.
First and foremost, data centers must accelerate every workload.
Acceleration will reclaim power.
The energy saved can fuel new growth.
Whatever is not accelerated will be processed on CPUs.
The CPU design point for accelerated cloud datacentersdiffers fundamentally from the past.
In AI and cloud services, accelerated computing offloads parallelizable workloads, and CPUs process other workloads, like web RPC and database queries.
We designed the Grace CPU for an AI and cloud-first world,where AI workloads are GPU-accelerated and Grace excels at single-threaded executionand memory processing.
It’s not just about the CPU chip.
Datacenter operators optimize for throughput and total cost of ownership of the entire datacenter.
We designed Grace for high energy-efficiencyat cloud datacenter scale.
Grace comprises 72 Arm cores connected by a super high-speed on-chip scalable coherent fabric that delivers 3.2 TB/sec of cross-sectional bandwidth.
Grace Superchip connects 144 cores between two CPU dies over a 900 GB/sec low-power chip-to-chip coherent interface.
The memory system is LPDDR low-power memory, like used in cellphones, that we specially enhanced for use in datacenters.
It delivers 1 TB/s, 2.5x the bandwidth of today’s systemsat 1/8th the power.
The entire 144-core Grace Superchip modulewith 1TB of memory is only 5x8 inches.
It is so low power it can be air cooled.
This is the computing module with passive cooling.
Two Grace Superchip computers can fitin a single 1U air-cooled server.
Grace’s performance and power efficiency are excellent for cloud and scientific computing applications.
We tested Grace on a popular Google benchmark, which tests how quickly cloud microservices communicate and the Hi-Bench suite that tests Apache Sparkmemory-intensive data processing.
These kinds of workloads are foundational for cloud datacenters.
At microservices, Grace is 1.3X faster than the averageof the newest generation x86 CPUs and 1.2X faster at data processing And that higher performance is achieved using only 60% of the power measured at the full server node.
CSPs can outfit a power-limited data center with 1.7X more Grace servers, each delivering 25% higher throughput.
At iso-power, Grace gives CSPs 2X the growth opportunity.
Grace is sampling.
And Asus, Atos, Gigabyte, HPE, QCT,Supermicro, Wistron, and ZT are building systems now.
In a modern software-defined data center, the operating system doing virtualization, network, storage, and security can consume nearly half of the datacenter’s CPU coresand associated power.
Datacenters must accelerate every workload to reclaim power and free CPUs for revenue-generating workloads.
NVIDIA BlueField offloads and accelerates the datacenter operating system and infrastructure software.
Over two dozen ecosystem partners, including Check Point,Cisco, DDN, Dell EMC Juniper, Palo Alto Networks, Red Hat, and VMWare, use BlueField’s datacenter acceleration technology to run their software platforms more efficiently.
BlueField-3 is in production and adopted by leading cloud service providers, Baidu, CoreWeave, JD.com, Microsoft Azure, Oracle OCI, and Tencent Games, to accelerate their clouds.
NVIDIA accelerated computing starts with DGXthe world’s AI supercomputer the engine behind the large language model breakthrough.
I hand-delivered the world’s first DGX to OpenAI.
Since then, half of the Fortune 100 companieshave installed DGX AI supercomputers.
DGX has become the essential instrument of AI.
The GPU of DGX is eight H100 modules.
H100 has a Transformer Engine designed to process modelslike the amazing ChatGPT, which stands for Generative Pre-trained Transformers.
The eight H100 modules are NVLINK’d to each other across NVLINK switches to allow fully non-blocking transactions.
The eight H100s work as one giant GPU.
The computing fabric is one of the most vital systemsof the AI supercomputer.
400 Gbps ultra-low latency NVIDIA Quantum InfiniBand with in-network processing connects hundreds and thousands of DGX nodes into an AI supercomputer.
NVIDIA DGX H100 is the blueprint forcustomers building AI infrastructure worldwide.
It is now in full production.
I am thrilled that Microsoft announced Azure is opening private previews to their H100 AI supercomputer.
Other systems and cloud services will soon come from Atos, AWS, Cirrascale, CoreWeave, Dell, Gigabyte, Google, HPE, Lambda Labs, Lenovo, Oracle, Quanta, and SuperMicro.
The market for DGX AI supercomputers has grown significantly.
Originally used as an AI research instrument, DGX AI supercomputers are expanding into operation running 24/7 to refine data and process AI.
DGX supercomputers are modern AI factories.
We are at the iPhone moment of AI.
Start-ups are racing to build disruptive products and business models, while incumbents are looking to respond.
Generative AI has triggered a sense of urgency in enterprises worldwide to develop AI strategies.
Customers need to access NVIDIA AI easier and faster.
We are announcing NVIDIA DGX Cloud through partnerships with Microsoft Azure, Google GCP, and Oracle OCI to bring NVIDIA DGX AI supercomputers to every company, instantly, from a browser.
DGX Cloud is optimized to run NVIDIA AI Enterprise, the world’s leading acceleration library suite for end-to-end development and deployment of AI.
DGX Cloud offers customers the best of NVIDIA AI and the best of the world’s leading cloud service providers.
This partnership brings NVIDIA’s ecosystem to the CSPs,while amplifying NVIDIA’s scale and reach.
This win-win partnership gives customers racing to engage Generative AI instant access to NVIDIA in global-scale clouds.
We’re excited by the speed, scale, and reach of this cloud extension of our business model.
Oracle Cloud Infrastructure, OCI,will be the first NVIDIA DGX Cloud.
OCI has excellent performance.
They have a two-tiercomputing fabric and management network.
NVIDIA’s CX-7, with the industry’s best RDMA,is the computing fabric.
And BlueField-3 will be the infrastructure processorfor the management network.
The combination is a state-of-the-art DGX AI supercomputer that can be offered as a multi-tenant cloud service.
We have 50 early access enterprise customers, spanning consumer internet and software, healthcare media and entertainment, and financial services.
ChatGPT, Stable Diffusion, DALL-E, and Midjourney have awakened the world to Generative AI.
These applications’ ease-of-use and impressive capabilities attracted over a hundred million users in just a few months - ChatGPT is the fastest-growing application in history.
No training is necessary.
Just ask these models to do something.
The prompts can be precise or ambiguous.
If not clear, through conversation, ChatGPT learns your intentions.
The generated text is beyond impressive.
ChatGPT can compose memos and poems, paraphrase a research paper, solve math problems, highlight key points of a contract,and even code software programs.
ChatGPT is a computer that not onlyruns software but writes software.
Many breakthroughs led to Generative AI.
Transformers learn context and meaning from the relationships and dependencies of data, in parallel and at large scale.
This led to large language models that learn from so much data they can perform downstream tasks without explicit training.
And diffusion models, inspired by physics, learn withoutsupervision to generate images.
In just over a decade, we went from trying to recognizecats to generating realistic images of a cat in a space suit walking on the moon.
Generative AI is a new kind of computer — one that we program in human language.
This ability has profound implications.
Everyone can directa computer to solve problems.
This was a domain only for computer programmers.
Now everyone is a programmer.
Generative AI is a new computing platform like PC,internet, mobile, and cloud.
And like in previous computing eras,first-movers are creating new applications and founding new companies to capitalize onGenerative AI’s ability to automate and co-create.
Debuild lets users design and deploy web applicationsjust by explaining what they want.
Grammarly is a writing assistant that considers context.
Tabnine helps developers write code.
Omnekey generates customized ads and copy.
Kore.ai is a virtual customer service agent.
Jasper generates marketing material.
Jasper haswritten nearly 5 billion words, reducing time to generate the first draft by 80%.
Insilico uses AI to accelerate drug design.
Absci is using AI to predict therapeutic antibodies.
Generative AI will reinvent nearly every industry.
Many companies can use one of the excellentGenerative AI APIs coming to market.
Some companies need to build custom models, with their proprietary data, that are experts in their domain.
They need to set up usage guardrailsand refine their models to align with their company’s safety, privacy, and security requirements.
The industry needs a foundry, a TSMC,for custom large language models.
Today, we announce the NVIDIA AI Foundations a cloud service for customers needing to build, refine, and operate custom LLMlarge language models and Generative AI trained with their proprietary data and for their domain-specific tasks.
NVIDIA AI Foundations comprises Language, Visual, and Biology model-making services.
NVIDIA Nemo is for building custom language text-to-text generative models.
Customers can bring their model or start with the Nemo pre-trained language models, ranging from GPT-8, GPT-43 and GPT-530 billion parameters.
Throughout the entire process, NVIDIA AI experts will work with you, from creating your proprietary model to operations.
Let’s take a look.
Generative models, like NVIDIA’s 43B foundational model, learn by training on billions of sentences and trillions of words.
As the model converges, it begins to understand the relationships between words and their underlying concepts captured in the weights in the embedding space of the model.
Transformer models use a technique called self attention: a mechanism designed to learn dependencies and relationships within a sequence of words.
The result is a model that provides the foundation for a ChatGPT-like experience.
These generative models require expansive amounts of data deep AI expertise for data processing and distributed training and large scale compute to train, deployand maintain at the pace of innovation.
Enterprises can fast-track their generative AI adoption with NVIDIA NeMo service running on NVIDIA DGX Cloud.
The quickest path is starting with one of NVIDIA’s state-of-the-art pre-trained foundation models.
With the NeMo service, organizations can easily customize a model with p-tuning to teach it specialized skills like summarizing financial documents creating brand-specific content and composing emails with personalized writing styles.
Connecting the model to a proprietary knowledge base ensures that responses are accurate, current and cited for their business.
Next, they can provide guardrails by adding logic and monitoring inputs, outputs, toxicity, and bias thresholds so it operates within a specified domain and prevents undesired responses.
After putting the model to work, it can continuously improve with reinforcement learning based on user interactions.
And NeMo’s playground is available for rapid prototypingbefore moving to the cloud API for larger-scale evaluation and application integration.
Sign up for the NVIDIA NeMo service today to codify your enterprise’s knowledge into a personalized AI model that you control.
Picasso is a visual language model-making service for customers who want to build custom models trained with licensed or proprietary content.
Let’s take a look.
Generative AI is transforming how visual content is created.
But to realize its full potential, enterprises need massiveamounts of copyright-cleared data, AI experts, and an AI supercomputer.
NVIDIA Picasso is a cloud service for building and deploying generative AI-powered image, video, and 3D applications.
With it, enterprises, ISVs, and service providers can deploy their own models.
We're working with premier partners to bring generative AI capabilities to every industry Organizations can also start with NVIDIA Edify models and train them on their data to create a product or service.
These models generate images, videos, and 3D assets.
To access generative AI models applications send an API call with text prompts and metadata to Picasso.
Picasso uses the appropriate model running on NVIDIA DGX Cloud to send back the generated asset to the application.
This can be a photorealistic image, a high-resolution video,or a detailed 3D geometry.
Generated assets can be imported into editing tools or into NVIDIA Omniverse to build photorealistic virtual worlds, metaverse applications, and digital twin simulations.
With NVIDIA Picasso services running on NVIDIA DGX Cloud you can streamline training, optimization, and inference needed to build custom generative AI applications.
See how NVIDIA Picasso can bring transformative generative AI capabilities into your applications.
We are delighted that Getty Images will use the Picasso service to build Edify-image and Edify-video generative models trained on their rich library of responsibly licensedprofessional images and video assets.
Enterprises will be able to create custom imagesand video with simple text or image prompts.
Shutterstock is developing an Edify-3D generative model trained on their professional image, 3D, and video assets library.
Shutterstock will help simplify the creation of 3D assets for creative production, digital twins and virtual collaboration, making these workflows fasterand easier for enterprises to implement.
And I’m thrilled to announce a significant expansionof our long-time partnership with Adobe to build a set of next-generation AI capabilitiesfor the future of creativity integrating generative AI into the everyday workflowsof marketers and creative professionals.
The new Generative AI models will be optimized for image creation, video, 3D, and animation.
To protect artists’ rights, Adobe is developing with a focus on commercial viability and proper content attribution powered by Adobe’s Content Authenticity Initiative.
Our third language domain is biology.
Drug discovery is a nearly $2T industry with $250B dedicated to R&D.
NVIDIA’s Clara is a healthcare application framework for imaging instruments, genomics, and drug discovery.
The industry is now jumping onto generative AIto discover disease targets design novel molecules or protein-based drugs, and predict the behavior of the medicines in the body.
Insilico Medicine, Exscientia, Absci, and Evozyme, are among hundreds of new AI drug discovery start-ups.
Several have discovered novel targets or drug candidates and have started human clinical trials.
BioNeMo helps researchers create fine-tune, and serve custom models with their proprietary data.
Let’s take a look.
There are 3 key stages to drug discovery discovering the biology that causes disease designing new molecules - whether those are small-molecules, proteins or antibodies and finally screening how those molecules interact with each other.
Today, Generative AI is transforming every step of the drug discovery process.
NVIDIA BioNeMo Service provides state-of-the-art generative AI models for drug discovery.
It’s available as a cloud service, providing instant and easy access to accelerated drug discovery workflows.
BioNeMo includes models like AlphaFold, ESMFold and OpenFold for 3D protein structure prediction.
ProtGPT for protein generation, ESM1 and ESM2 for protein property prediction MegaMolBART and MoFlow and for molecule generation and DiffDock for molecular docking.
Drug discovery teams can use themodels through BioNeMo’s web interface or cloud APIs.
Here is an example of using NVIDIA BioNeMo for drug discovery virtual screening.
Generative models can now read a proteins amino acid sequence and in seconds, accurately predict the structure of a target protein.
They can also generate molecules with desirable ADME properties that optimize how a drug behaves in the body.
Generative models can even predict the 3D interactionsof a protein and molecule accelerating the discovery of optimal drug candidates.
With NVIDIA DGX Cloud BioNeMo also provides on-demand super computing infrastructure to further optimize and train models, saving teams valuable time and money so they can focus on discovering life saving medicines.
The new AI drug discovery pipelines are here.
Sign up for access for NVIDIA BioNeMo Service.
We will continue to work with the industryto include models into BioNemo that encompass the end-to-end workflow ofdrug discovery and virtual screening.
Amgen, AstraZeneca, Insilico Medicine, Evozyne, Innophore, and Alchemab Therapeutics are early access users of BioNeMo.
NVIDIA AI Foundations, a cloud service, a foundry, for building custom language models and Generative AI.
Since AlexNet a decade ago, deep learning has opened giant new markets — automated driving, robotics, smart speakers, and reinvented how we shop, consume news, and enjoy music.
That’s just the tip of the iceberg.
AI is at an inflection point as Generative AI has started a new wave of opportunities, driving a step-function increase in inference workloads.
AI can now generate diverse data, spanning voice, text, images, video, and 3D graphics to proteins and chemicals.
Designing a cloud data center toprocess Generative AI is a great challenge.
On the one hand, a single type of accelerator is ideal,because it allows the datacenter to be elastic and handle the unpredictable peaks and valleys of traffic.
On the other hand, no one accelerator can optimally process the diversity of algorithms, models, data types, and sizes.
NVIDIA's One Architecture platformoffers both acceleration and elasticity.
Today, we are announcing our new inference platform - four configurations - one architecture - one software stack.
Each configuration is optimized for a class of workloads.
For AI video workloads, we have L4 optimized for video decoding and transcoding, video content moderation, and video call features like background replacement,relighting, making eye contact, transcription, and real-time language translation.
Most cloud videos today are processed on CPUs.
One 8-GPU L4 server will replace over a hundred dual-socket CPU servers for processing AI Video.
Snap is a leading user of NVIDIA AI for computer visionand recommender systems.
Snap will use L4 for AV1 video processing,generative AI, and augmented reality.
Snapchat users upload hundreds of millions of videos every day.
Google announced today NVIDIA L4 on GCP.
NVIDIA and Google Cloud are workingto deploy major workloads on L4.
Let me highlight five.
First, we’re accelerating inference for generative AI models for cloud services like Wombo and Descript.
Second, we’re integrating Triton Inference Server with Google Kubernetes Engine and VertexAI.
Third, we’re accelerating Google Dataprocwith NVIDIA Spark-RAPIDS.
Fourth, we’re accelerating AlphaFold,and UL2 and T5 large language models.
And fifth, we are accelerating Google Cloud’s Immersive Stream that renders 3D and AR experiences.
With this collaboration, Google GCP is a premiere NVIDIA AI cloud.
We look forward to telling you even moreabout our collaboration very soon.
For Omniverse, graphics rendering and generative AI like text-to-image and text-to-video, we are announcing L40.
L40 is up to 10 times the performance of NVIDIA’s T4,the most popular cloud inference GPU.
Runway is a pioneer in Generative AI.
Their research team was a key creator of Stable Diffusionand its predecessor, Latent Diffusion.
Runway is inventing generative AI modelsfor creating and editing content.
With over 30 AI Magic Tools, their service is revolutionizing the creative process, all from the cloud.
Let's take a look.
Runway is making amazing AI-powered video editing and image creation tools accessible to everyone.
Powered by the latest generation of NVIDIA GPUs running locally or in the cloud, Runway makes it possible to remove an object from a video with just a few brush strokes.
Or apply different styles to video using just an input image.
Or change the background or the foreground of a video.
What used to take hours using conventional tools can now be completed with professional broadcast quality results in just a few minutes.
Runway does this by utilizing CV-CUDA, an open-source project that enables developers to build highly efficient GPU-accelerated pre- and post-processing pipelines for computer vision workloads and scale them into the cloud.
With NVIDIA technology, Runway is able to make impossible things to give the best experience to content creators.
What previously limited pros can now be done by you.
In fact, Runway is used in Oscar-nominated Hollywood films and we are placing this technology in the hands of the world's creators.
Large language models like ChatGPTare a significant new inference workload.
GPT models are memory and computationally intensive.
Furthermore, inference is a high-volume, scale-out workload and requires standard commodity servers.
For large language model inference, like ChatGPT, we are announcing a new Hopper GPU — the PCIE H100 with dual-GPU NVLINK.The new H100 has 94GB of HBM3 memory.
H100 can process the 175-billion-parameter GPT-3 and supporting commodity PCIE servers make it easy to scale out.
The only GPU in the cloud today that can practically process ChatGPT is HGX A100.
Compared to HGX A100 for GPT-3 processing, a standard server with four pairs of H100 with dual-GPU NVLINK is up to 10X faster.
H100 can reduce large language model processing costsby an order of magnitude.
Grace Hopper is our new superchip that connects Grace CPU and Hopper GPU over a high-speed 900 GB/sec coherent chip-to-chip interface.
Grace Hopper is ideal for processing giant data sets like AI databases for recommender systems and large language models.
Today, CPUs, with large memory, store and query giant embedding tables then transfer results to GPUs for inference.
With Grace-Hopper, Grace queries the embedding tables and transfers the results directly to Hopper across the high-speed interface – 7 times faster than PCIE.
Customers want to build AI databasesseveral orders of magnitude larger.
Grace-Hopper is the ideal engine.
This is NVIDIA's inference platform –one architecture for diverse AI workloads, and maximum datacenter acceleration and elasticity.
The world’s largest industries make physical things,but they want to build them digitally.
Omniverse is a platform for industrial digitalizationthat bridges digital and physical.
It lets industries design, build, operate, and optimize physical products and factories digitally, before making a physical replica.
Digitalization boosts efficiency and speed and saves money.
One use of Omniverse is the virtual bring-up of a factory, where all of its machinery is integrated digitally before the real factory is built.
This reduces last-minute surprises, change orders,and plant opening delays.
Virtual factory integration can save billions for the world’s factories.
The semiconductor industry is investing half a trillion dollarsto build a record 84 new fabs.
By 2030, auto manufacturers will build 300 factoriesto make 200 million electric vehicles.
And battery makers are building 100 more mega factories.
Digitalization is also transforming logistics, moving goods through billions of square feet of warehouses worldwide.
Let’s look at how Amazon uses Omniverse to automate, optimize, and plan its autonomous warehouses.
Amazon Robotics has manufactured and deployed the largest fleet of mobile industrial robots in the world.
The newest member of this robotic fleet is Proteus, Amazon's first fully autonomous warehouse robot.
Proteus is built to move through our facilities using advanced safety, perception, and navigation technology.
Let's see how NVIDIA Isaac Sim, built on Omniverse is creating physically accurate, photoreal simulations to help accelerate Proteus deployments.
Proteus features multiple sensors that include cameras,lidars, and ultrasonic sensors to power it’s autonomy software systems.
The Proteus team needed to improve the performance of a neural network that read fiducial markers and helped the robot determine its location on the map.
It takes lots of data—and the right kind—to train the ML models that are driven by the robot sensor input.
With Omniverse Replicator in Isaac Sim, Amazon Robotics was able to generate large photoreal synthetic datasets that improved the marker detection success rate from 88.6% to 98%.
The use of the synthetic data generated by Omniverse Replicator also sped up development times, from months to days, as we were able to iteratively test and train our modelsmuch faster than when only using real data.
To enable new autonomous capabilities for the expanding fleet of Proteus robots, Amazon Robotics is working towards closing the gap from simulation to reality, building large scale multi-sensor, multi-robot simulations.
With Omniverse, Amazon Robotics will optimize operations with full fidelity warehouse digital twins.
Whether we're generating synthetic data or developing new levels of autonomy, Isaac Sim on Omniverse helps the Amazon Robotics team save time and money as we deploy Proteus across our facilities.
Omniverse has unique technologies for digitalization.
And Omniverse is the premier development platform for USD, which serves as a common language that lets teams collaborate to create virtual worlds and digital twins.
Omniverse is physically based, mirroring the laws of physics.
It can connect to robotic systems and operate with hardware-in-the-loop.
It features Generative AI to accelerate the creation of virtual worlds.
And Omniverse can manage data sets of enormous scale.
We've made significant updates to Omniverse in every area.
Let’s take a look.
Nearly 300,000 creators and designershave downloaded Omniverse.
Omniverse is not a tool, but a USD network and shared database, a fabric connecting to design tools used across industries.
It connects, composes, and simulates the assetscreated by industry-leading tools.
We are delighted to see the growth of Omniverse connections.
Each connection links the ecosystem of one platform to the ecosystems of all the others.
Omniverse’s network of networks is growing exponentially.
Bentley Systems LumenRT is now connected.
So are Siemens Teamcenter, NX, and Process Simulate, Rockwell Automation Emulate 3D, Cesium, Unity, and many more.
Let’s look at the digitalization of the $3T auto industry and see how car companies areevaluating Omniverse in their workflows.
Volvo Cars and GM use Omniverse USD Composerto connect and unify their asset pipelines.
GM connects designers, sculptors, and artists using Alias, Siemens NX, Unreal, Maya, 3ds Max, and virtually assembles the componentsinto a digital twin of the car.
In engineering and simulation, they visualize the power flow aerodynamics in Omniverse.
For next-generation Mercedes-Benz and Jaguar Land Rover vehicles, engineers use Drive Sim in Omniverse to generate synthetic data to train AI models, validate the active-safety system against a virtual NCAP driving test, and simulate real driving scenarios.
Omniverse’s generative AI reconstructspreviously driven routes into 3D so past experiences can be reenacted or modified.
Working with Idealworks, BMW uses Isaac Simin Omniverse to generate synthetic data and scenarios to train factory robots.
Lotus is using Omniverse to virtually assemble welding stations.
Toyota is using Omniverse to build digital twins of their plants.
Mercedes-Benz uses Omniverse to build, optimize, and plan assembly lines for new models.
Rimac and Lucid Motors use Omniverse to build digital stores from actual design data that faithfully represent their cars.
BMW is using Omniverse to plan operations across nearly three dozen factories worldwide.
And they are building a new EV factory, completely in Omniverse, two years before the physical plant opens.
Let's visit.
The world’s industries are accelerating digitalization with over $3.4 trillion being invested in the next three years.
We at BMW strive to be leading edge in automotive digitalization.
With NVIDIA Omniverse and AI we set up new factories faster and produce more efficiently than ever.
This results in significant savings for us.
It all starts with planning – a complex processin which we need to connect many tools, datasets and specialists around the world.
Traditionally, we are limited, since data is managed separately in a variety of systems and tools.
Today, we’ve changed all that.
We are developing custom Omniverse applications to connect our existing tools, know-how and teams all in a unified view.
Omniverse is cloud-native and cloud-agnostic enabling teams to collaborate across our virtual factories from everywhere.
I’m about to join a virtual planning session for Debrecen in Hungary – our new EV factory – opening in 2025.
Letʼs jump in.
Planner 1: Ah, Milan is joining.
Milan: Hello, everyone!
Planner 1:Hi Milan – great to see you, we’re in the middle of an optimization loop for our body shop.
Would you like to see?
Milan: Thanks – I’m highly interested.
And I’d like to invite a friend.
Planner 1: Sure.
Jensen: Hey Milan!
Good to see you.
Milan: Jensen, welcome to our virtual planning session.
Jensen: Its great to be here.
What are we looking at?
Milan: This is our global planning team who are working on a robot cell in Debrecen’s digital twin.
Matthias, tell us what’s happening … Matthias: So, we just learned theproduction concept requires some changes.
We’re now reconfiguring the layout to add a new robot into the cell.
Planner 2: Ok, but if we add a new robot, on the logistics side, we’ll need to move our storage container.
Planner 3: Alright, let's get this new robot in.
Matthias: That’s perfect.
But let’s double-check -can we run the cell?
Excellent.
Jensen: Milan, this is just incredible!
Virtual factory integration is essential for every industry.
I’m so proud to see what our teams did together.
Congratulations!
Milan: We are working globally to optimize locally.
After planning, operations is king, and we’ve already started!
To celebrate the launch of our virtual plant, I’d like to invite you to open the first digital factory with me.
Jensen: I’d be honored.
Let’s do it!
Car companies employ nearly 14 million people.
Digitalization will enhance the industry'sefficiency, productivity, and speed.
Omniverse is the digital-to-physical operating systemto realize industrial digitalization.
Today we are announcing threesystems designed to run Omniverse.
First, we’re launching a new generation of workstations powered by NVIDIA Ada RTX GPUs and Intel's newest CPUs.
The new workstations are ideal for doing ray tracing, physics simulation, neural graphics, and generative AI.
They will be available from Boxx, Dell, HP,and Lenovo starting in March.
Second, new NVIDIA OVX servers optimized for Omniverse.
OVX consists of L40 Ada RTX serverGPUs and our new BlueField-3.
OVX servers will be available from Dell, HPE, Quanta, Gigabyte, Lenovo, and Supermicro.
Each layer of the Omniverse stack, including the chips, systems, networking, and software are new inventions.
Building and operating the Omniverse computerrequires a sophisticated IT team.
We’re going to make Omniversefast and easy to scale and engage.
Let’s take a look.
The world’s largest industries are racingto digitalize their physical processes.
Today, that’s a complex undertaking.
NVIDIA Omniverse Cloud is a platform-as-a-service that provides instant, secure access to managed Omniverse Cloud APIs, workflows, and customizable applications running on NVIDIA OVX.
Enterprise teams access the suite of managed services through the web browser Omniverse Launcher or via a custom-built integration.
Once in Omniverse Cloud, enterprise teams can instantly access, extend, and publish foundation applications and workflows - to assemble and compose virtual worlds - generate data to train perception AIs - test and validate autonomous vehicles - or simulate autonomous robots… …accessing and publishing shared data to Omniverse Nucleus.
Designers and engineers working in their favorite3rd party design tools on RTX workstations, publish edits to Nucleus in parallel.
Then when ready to iterate or viewtheir integrated model in Omniverse, can simply open a web browser and log in.
As projects and teams scale, Omniverse Cloud helps optimize cost by provisioning compute resources and licenses as needed.
And new services and upgrades are automaticallyprovided with real time updates.
With Omniverse Cloud, enterprises can fast-track unified digitalization and collaboration across major industrial workflows, increasing efficiency,reducing costs and waste, and accelerating the path to innovation.
See you in Omniverse!
Today, we announce the NVIDIA Omniverse Cloud,a fully managed cloud service.
We’re partnering with Microsoft to bring Omniverse Cloudto the world’s industries.
We will host it in Azure, benefiting from Microsoft’s rich storage, security, applications, and services portfolio.
We are connecting Omniverse Cloud to Microsoft 365 productivity suite, including Teams, OneDrive, SharePoint, and the Azure IoT Digital Twins services.
Microsoft and NVIDIA are bringing Omniverse to hundreds of millions of Microsoft 365 and Azure users.
Accelerated computing and AI have arrived.
Developers use NVIDIA to speed-up and scale-up to solve problems previously impossible.
A daunting challenge is Net Zero.
Every company must accelerate every workload to reclaim power.
Accelerated computing is a full-stack,datacenter-scale computing challenge.
Grace, Grace-Hopper, and BlueField-3 are new chips for super energy-efficient accelerated data centers.
Acceleration libraries solve new challenges and open new markets.
We updated 100 acceleration libraries, including cuQuantum for quantum computing, cuOpt for combinatorial optimization, and cuLitho for computational lithography.
We are thrilled to partner with TSMC, ASML,and Synopsys to go to 2nm and beyond.
NVIDIA DGX AI Supercomputer is the engine behind the generative large language model breakthrough.
The DGX H100 AI Supercomputeris in production and available soon from an expanding network of OEM and cloud partners worldwide.
The DGX supercomputer is going beyondresearch and becoming a modern AI factory.
Every company will manufacture intelligence.
We are extending our business model with NVIDIA DGX Cloud by partnering with Microsoft Azure, Google GCP, and Oracle OCI to instantly bring NVIDIA AI to every company, from a browser.
DGX Cloud offers customers the best of NVIDIAand the best of the world’s leading CSPs.
We are at the iPhone moment for AI.
Generative AI inference workloads have gone into overdrive.
We launched our new inference platform -four configurations - one architecture.
L4 for AI video.
L40 for Omniverse and graphics rendering.
H100 PCIE for scaling out large language model inference.
Grace-Hopper for recommender systems and vector databases.
NVIDIA’s inference platform enables maximumdata center acceleration and elasticity.
NVIDIA and Google Cloud are working together to deploy a broad range of inference workloads.
With this collaboration, Google GCP is a premiere NVIDIA AI cloud.
NVIDIA AI Foundations is a cloud service, a foundry, for building custom language models and Generative AI.
NVIDIA AI Foundations comprises language,visual, and biology model-making services.
Getty Images and Shutterstock arebuilding custom visual language models.
And we're partnering with Adobe to build a set of next-generation AI capabilities for the future of creativity.
Omniverse is the digital-to-physical operating systemto realize industrial digitalization.
Omniverse can unify the end-to-end workflow and digitalize the $3T, 14 million-employee automotive industry.
Omniverse is leaping to the cloud.
Hosted in Azure, we partner with Microsoft to bring Omniverse Cloud to the world’s industries.
I thank our systems, cloud, and software partners,researchers, scientists, and especially our amazing employees for building the NVIDIA accelerated computing ecosystem.
Together, we are helping the world do the impossible.
Have a great GTC!