본문 바로가기

단축키

Prev이전 문서

Next다음 문서

단축키

Prev이전 문서

Next다음 문서

새로운 프로세서는 기존 컴퓨팅 아키텍처의 확장 문제를 극복하기 위해 광 네트워킹을 사용한다고 합니다.

 

인공지능(AI)과 머신러닝(ML)에는 막대한 양의 데이터에 대한 실시간 병렬 계산이 필요합니다. 이러한 워크로드는 대기 시간과 에너지 측면에서 기존 다목적 CPU의 메모리 병목 현상을 악화시킵니다.

이러한 과제를 극복하기 위해 업계의 많은 새로운 플레이어는 AI/ML 컴퓨팅의 미래를 위한 새로운 기술로 눈을 돌리고 있습니다. 최근 Lightelligence는 광 네트워크 온 칩(NoC)을 활용하는 새로운 AI/ML 가속기를 발표하면서 업계에 큰 파장을 일으켰습니다 .

 

벌새

Lightelligence는 자사의 새로운 Hummingbird oNOC 프로세서가 도메인별 AI 워크로드를 위해 설계된 최초의 프로세서라고 밝혔습니다. 이미지 제공: Lightelligence
 

이 글에서는 기존 멀티코어 AI/ML 프로세서, Lightelligence가 개발한 새로운 컴퓨팅 아키텍처, 회사의 최신 ASIC인 Hummingbird의 과제를 살펴보겠습니다.

 

NoC 및 멀티코어 과제

AI/ML 계산에는 대량의 데이터를 동시에 처리하기 위해 곱셈 및 누적(MAC) 및 컨볼루션과 같은 특정 수학 기능이 포함됩니다. 이로 인해 표준 AI/ML 처리 하드웨어는 멀티코어 및 이기종 시스템으로 구성되는 경향이 있습니다. 

 

이기종 컴퓨팅 아키텍처의 예

이기종 컴퓨팅 아키텍처의 예입니다. 이미지 제공: Routledge Handbooks Online

 

멀티코어 시스템에서 단일 하드웨어는 데이터를 병렬로 처리하기 위한 여러 코어(예: GPU)로 구성됩니다. SoC와 같은 이기종 시스템에서 단일 칩은 MAC 기능용 가속기, GPU 및 범용 CPU를 포함하여 다양한 컴퓨팅 블록을 특징으로 합니다. 여기에서 SoC의 다양한 블록은 전력 소비를 줄이고 ML 모델의 전체 계산 속도를 높이기 위해 다양한 작업을 처리합니다.

어떤 아키텍처를 사용하든 멀티코어 시스템과 이기종 시스템 사이의 한 가지 상수는 데이터 이동의 필요성입니다. 데이터가 여러 처리 코어 사이에서 이동하든 메모리 안팎으로 이동하든 고속 컴퓨팅 애플리케이션은 엔드포인트 간의 데이터 전송 속도를 높이기 위해 네트워크 온 칩을 구현하는 경향이 있습니다.

 

다양한 NoC 아키텍처 및 구성

다양한 NoC 아키텍처 및 구성. 이미지 제공: ResearchGate

 

그러나 디지털 시스템의 물리적 한계로 인해 이러한 아키텍처는 대역폭이 제한됩니다. 결과적으로 NoC는 달성할 수 있는 토폴로지가 제한되어 ASIC이 최대 성능에 도달하지 못합니다.

 

Lightelligence의 oNoC 아키텍처

Lightelligence의 경우 더 나은 성능의 AI/ML 가속기를 활성화하는 핵심은 속도를 최대화하고 전력 소비를 줄이는 새로운 NoC 토폴로지를 활성화하는 것입니다. 기존 전기 NoC로는 문제가 해결되지 않기 때문에 회사는 대신 광학 NoC (oNoC)를 솔루션으로 선택했습니다.

Lightelligence의 컴퓨팅 아키텍처는 전자 칩(EIC), 인터포저 및 포토닉 칩(PIC)의 세 가지 주요 구성 요소로 구성됩니다.

 

Lightelligence의 적층형 아키텍처 단면도

Lightelligence의 적층형 아키텍처의 단면도. 이미지 제공: Lightelligence
 

EIC는 ALU, 메모리, 아날로그 인터페이스 등 시스템의 디지털 도메인을 구현하는 시스템의 일부입니다. 인터포저는 EIC와 PIC를 연결하여 도메인에 전력을 공급합니다. PIC는 광 네트워킹을 사용하여 전체 방송 기술로 처리 코어를 상호 연결하는 oNOC를 호스팅합니다. 이 기술을 사용하면 모든 코어가 동시에 데이터에 액세스할 수 있다고 합니다.

 

Lightelligence의 oNoC는 EIC를 광 네트워킹과 연결합니다.

Lightelligence의 oNoC는 EIC를 광 네트워킹과 연결합니다. 이미지 제공: Lightelligence
 

낮은 수준의 인터포저에는 EIC 간의 데이터 통신 고속도로 역할을 하는 광 라우팅 도파관이 포함되어 있습니다. 각 EIC는 마이크로 범프를 통해 연결된 PIC 위에 쌓여 2D 어레이를 형성합니다. 레이저 소스의 빛은 도파관을 통과하고 빛의 강도를 변조하여 전기 데이터로 변환됩니다. 이를 위해 각 EIC의 아날로그 인터페이스는 포토닉 인터포저와 결합되고 실리콘 도파관의 굴절률을 변경하여 빛의 강도를 물리적으로 변조합니다. 이를 다시 비트스트림으로 변환하기 위해 EIC는 디지털 영역에서 사용할 수 있도록 광 펄스를 전류로 변환하는 포토다이오드를 호스팅합니다.

광 상호 연결의 주요 이점은 전기 NoC를 통해 가능한 것보다 훨씬 더 빠른 속도와 더 낮은 전력 소비로 작동한다는 것입니다. 거의 0에 가까운 대기 시간을 갖춘 oNoC는 다른 방법으로는 불가능한 토로이달과 같은 새로운 NoC 토폴로지를 가능하게 합니다. 

 

허밍버드 oNoC 프로세서

최근 Lightelligence는 oNoc 아키텍처를 탑재한 최초의 제품인 새로운 Hummingbird 프로세서를 발표했습니다.

Hummingbird는 64개의 코어로 구성된 AI/ML 가속기이며 각 코어는 oNoC를 통해 서로 연결됩니다. 64개의 송신기와 512개의 수신기를 갖춘 Hummingbird는 자체 독점 ISA를 갖춘 단일 명령, 다중 데이터(SIMD) 솔루션입니다.

 

Hummingbird 프로세서 스택




List of Articles
번호 분류 제목 글쓴이 조회 수 날짜
공지 덕질 공통 이용규칙 및 안내 (업데이트중+ 2024-04-13) 😀컴덕824 3866 2024.04.14
공지 1000P를 모으면 다이소 상품권 1000원을 신청할 수 있습니다. file Private 4954 2024.02.14
5309 일반 nvme ssd 1tb 구매희망합니다. 😀컴덕759 5 2022.01.01
5308 일반 엔비디아는 RTX4천세대를 보호하기 위해 수십억 유로를 지불함. file 😀컴덕036 5 2022.01.01
5307 일반 에픽게임즈) 툼레이더 트릴로지 무료배포 ~ 1/7 01시까지 😀컴덕557 5 2022.01.01
5306 일반 새해가 밝았으니 😀컴덕181 5 2022.01.02
5305 일반 키보드 ㅊㅊ좀 😀컴덕128 5 2022.01.02
5304 일반 슬프다 연말인데.. 😀컴덕688 6 2022.01.01
5303 일반 새해복 많이 받으십시오~~~ 😀컴덕091 6 2022.01.02
5302 일반 윈도우 10 home fpp 질문입니다 😀컴덕582 6 2022.01.03
5301 일반 마우스 싼마이로 로지텍 G304 무선 괜찮나요? 😀컴덕385 6 2022.01.03
5300 일반 PCIe 3.0 지원 메인보드에선 gen4 ssd 필요없겠죠? 😀컴덕024 7 2022.01.01
5299 일반 요번 컴터 업글 쓰면서 3열 짭수 첨 써봤는데 😀컴덕619 7 2022.01.01
5298 일반 코인하는 애들 내꺼 3080 안 사주노 😀컴덕841 7 2022.01.01
5297 일반 진짜 레폴이 키캡도 따로 팔아줬으면 좋겠다 😀컴덕615 7 2022.01.01
5296 일반 Google Android 13에서 예상되는 새로운 기능 file 😀컴덕832 7 2022.01.01
5295 일반 애케플 가입했다 😀컴덕809 7 2022.01.01
5294 일반 새해복 많이 받으세요 😀컴덕411 7 2022.01.01
5293 일반 이 개같은 회사 상여를 준다는 거야 안준다는거야 모니터 째리고있는데 😀컴덕390 7 2022.01.01
5292 일반 디갤 순위 많이 떨어졌네 😀컴덕615 7 2022.01.02
5291 일반 니들 컴터 사서 부품박스 버림? 😀컴덕141 7 2022.01.02
5290 일반 갤럭시S22 노트 브랜딩은 취소 울트라 브랜딩 내부 확정 😀컴덕후084 7 2022.01.02
목록
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 266 Next
/ 266