Training Semiconductors 와 Inference Semiconductors

학습 반도체 (Training Semiconductors)
대규모 데이터셋을 기반으로 AI 모델을 훈련시키는 데 사용됩니다.
모델의 매개변수를 최적화하고, 새로운 패턴을 학습하는 과정에 주로 활용됩니다.
대규모 행렬 연산 및 부동소수점 연산이 빈번하게 요구되므로, 고성능 연산 능력을 갖추고 있습니다.
대규모 데이터셋을 빠르게 처리하기 위해 수천 개의 코어를 병렬로 사용할 수 있습니다.
대량의 데이터를 저장하고 빠르게 접근하기 위해 큰 용량의 메모리를 탑재하고 있습니다.
훈련 시간 단축을 위해 여러 반도체를 클러스터로 연결하여 사용 가능하도록 설계됩니다.
NVIDIA A100 Tensor Core GPU는 데이터 센터와 고성능 컴퓨팅 환경에서 대규모 AI 모델 학습을 위한 GPU로 데이터 센터와 고성능 컴퓨팅 환경에서 대규모 AI 모델 학습을 위한 GPU입니다.
AMD Instinct MI100 은 대규모 데이터셋과 복잡한 AI 모델 학습을 위해 설계된 고성능 GPU로 HPC(고성능 컴퓨팅)와 AI 워크로드에 최적화되어 있습니다
Google TPU v4는 Google의 데이터 센터에서 대규모 AI 모델 학습을 위해 설계된 전용 AI 가속기로 머신러닝 작업을 가속화하기 위해 설계되었습니다.



추론 반도체 (Inference Semiconductors) : 
이미 훈련된 모델을 사용하여 실제 데이터에 대해 예측을 수행하는 데 사용
실시간 또는 거의 실시간으로 데이터를 처리하고 결과를 제공하는 데 적합
실시간 응답을 위해 에너지 효율이 매우 중요합니다. 따라서 전력 소비를 최소화하도록 설계됩니다.
: 지연 시간을 최소화하기 위해 높은 속도의 데이터 처리 능력을 갖추고 있습니다.
정수 연산 및 비트 수준 최적화에 중점을 둔 특화된 아키텍처를 갖추고 있습니다.
다양한 IoT 기기, 모바일 디바이스 등에서 대량으로 사용될 수 있도록 경제적으로 생산될 수 있습니다.
NVIDIA Jetson Xavier는 AI 추론을 위해 설계된 고성능 저전력 모듈로서  자율 주행 차량, 드론, 로봇 등의 실시간 AI 애플리케이션에 주로 사용됩니다.
Qualcomm Snapdragon 855는 모바일 기기에서 AI 추론 작업을 지원하는 고성능 프로세서로 스마트폰, 태블릿 등에서 AI 기반 기능을 실시간으로 처리할 수 있습니다.
Intel Movidius Myriad X  는 컴퓨터 비전 및 AI 추론을 위해 최적화된 저전력 VPU(비전 처리 장치)입니다. 드론, 스마트 카메라 등에서 사용됩니다.