인공지능(AI)과 머신러닝(ML)에는 막대한 양의 데이터에 대한 실시간 병렬 계산이 필요합니다. 이러한 워크로드는 대기 시간과 에너지 측면에서 기존 다목적 CPU의 메모리 병목 현상을 악화시킵니다.

이러한 과제를 극복하기 위해 업계의 많은 새로운 플레이어는 AI/ML 컴퓨팅의 미래를 위한 새로운 기술로 눈을 돌리고 있습니다. 최근 Lightelligence는 광 네트워크 온 칩(NoC)을 활용하는 새로운 AI/ML 가속기를 발표하면서 업계에 큰 파장을 일으켰습니다 .

 

Lightelligence는 자사의 새로운 Hummingbird oNOC 프로세서가 도메인별 AI 워크로드를 위해 설계된 최초의 프로세서라고 밝혔습니다. 이미지 제공: Lightelligence

 

이 글에서는 기존 멀티코어 AI/ML 프로세서, Lightelligence가 개발한 새로운 컴퓨팅 아키텍처, 회사의 최신 ASIC인 Hummingbird의 과제를 살펴보겠습니다.

 

NoC 및 멀티코어 과제

AI/ML 계산에는 대량의 데이터를 동시에 처리하기 위해 곱셈 및 누적(MAC) 및 컨볼루션과 같은 특정 수학 기능이 포함됩니다. 이로 인해 표준 AI/ML 처리 하드웨어는 멀티코어 및 이기종 시스템으로 구성되는 경향이 있습니다. 

 

이기종 컴퓨팅 아키텍처의 예입니다. 이미지 제공: Routledge Handbooks Online

 

멀티코어 시스템에서 단일 하드웨어는 데이터를 병렬로 처리하기 위한 여러 코어(예: GPU)로 구성됩니다. SoC와 같은 이기종 시스템에서 단일 칩은 MAC 기능용 가속기, GPU 및 범용 CPU를 포함하여 다양한 컴퓨팅 블록을 특징으로 합니다. 여기에서 SoC의 다양한 블록은 전력 소비를 줄이고 ML 모델의 전체 계산 속도를 높이기 위해 다양한 작업을 처리합니다.

어떤 아키텍처를 사용하든 멀티코어 시스템과 이기종 시스템 사이의 한 가지 상수는 데이터 이동의 필요성입니다. 데이터가 여러 처리 코어 사이에서 이동하든 메모리 안팎으로 이동하든 고속 컴퓨팅 애플리케이션은 엔드포인트 간의 데이터 전송 속도를 높이기 위해 네트워크 온 칩을 구현하는 경향이 있습니다.

 

다양한 NoC 아키텍처 및 구성. 이미지 제공: ResearchGate

 

그러나 디지털 시스템의 물리적 한계로 인해 이러한 아키텍처는 대역폭이 제한됩니다. 결과적으로 NoC는 달성할 수 있는 토폴로지가 제한되어 ASIC이 최대 성능에 도달하지 못합니다.

 

Lightelligence의 oNoC 아키텍처

Lightelligence의 경우 더 나은 성능의 AI/ML 가속기를 활성화하는 핵심은 속도를 최대화하고 전력 소비를 줄이는 새로운 NoC 토폴로지를 활성화하는 것입니다. 기존 전기 NoC로는 문제가 해결되지 않기 때문에 회사는 대신 광학 NoC (oNoC)를 솔루션으로 선택했습니다.

Lightelligence의 컴퓨팅 아키텍처는 전자 칩(EIC), 인터포저 및 포토닉 칩(PIC)의 세 가지 주요 구성 요소로 구성됩니다.

 

Lightelligence의 적층형 아키텍처의 단면도. 이미지 제공: Lightelligence

 

EIC는 ALU, 메모리, 아날로그 인터페이스 등 시스템의 디지털 도메인을 구현하는 시스템의 일부입니다. 인터포저는 EIC와 PIC를 연결하여 도메인에 전력을 공급합니다. PIC는 광 네트워킹을 사용하여 전체 방송 기술로 처리 코어를 상호 연결하는 oNOC를 호스팅합니다. 이 기술을 사용하면 모든 코어가 동시에 데이터에 액세스할 수 있다고 합니다.

 

Lightelligence의 oNoC는 EIC를 광 네트워킹과 연결합니다. 이미지 제공: Lightelligence

 

낮은 수준의 인터포저에는 EIC 간의 데이터 통신 고속도로 역할을 하는 광 라우팅 도파관이 포함되어 있습니다. 각 EIC는 마이크로 범프를 통해 연결된 PIC 위에 쌓여 2D 어레이를 형성합니다. 레이저 소스의 빛은 도파관을 통과하고 빛의 강도를 변조하여 전기 데이터로 변환됩니다. 이를 위해 각 EIC의 아날로그 인터페이스는 포토닉 인터포저와 결합되고 실리콘 도파관의 굴절률을 변경하여 빛의 강도를 물리적으로 변조합니다. 이를 다시 비트스트림으로 변환하기 위해 EIC는 디지털 영역에서 사용할 수 있도록 광 펄스를 전류로 변환하는 포토다이오드를 호스팅합니다.

광 상호 연결의 주요 이점은 전기 NoC를 통해 가능한 것보다 훨씬 더 빠른 속도와 더 낮은 전력 소비로 작동한다는 것입니다. 거의 0에 가까운 대기 시간을 갖춘 oNoC는 다른 방법으로는 불가능한 토로이달과 같은 새로운 NoC 토폴로지를 가능하게 합니다. 

 

허밍버드 oNoC 프로세서

최근 Lightelligence는 oNoc 아키텍처를 탑재한 최초의 제품인 새로운 Hummingbird 프로세서를 발표했습니다.

Hummingbird는 64개의 코어로 구성된 AI/ML 가속기이며 각 코어는 oNoC를 통해 서로 연결됩니다. 64개의 송신기와 512개의 수신기를 갖춘 Hummingbird는 자체 독점 ISA를 갖춘 단일 명령, 다중 데이터(SIMD) 솔루션입니다.