기계 학습 작업 및 알고리즘을 위한 특수 가속기의 개발은 지난 몇 년 동안 매우 인기가 있었습니다. 2020년에 영국 회사인 Graphcore는 IPU: Intelligence Processing Unit이라고 하는 새로운 종류의 가속기 생성을 발표했습니다. 그들의 건축은 매우 흥미 롭습니다.
IPU의 기본 단위는 코어가 아니라 "타일"입니다. 계산 논리와 대역폭이 약 45TB/s(7.8TB/s)인 빠른 메모리를 모두 포함하는 수정 영역입니다. 타일 사이). 첫 번째 반복에서 Graphcore 칩은 300MB 메모리가 포함된 1216개의 타일을 수신했으며 이제 회사는 차세대 IPU를 발표했습니다.
BOW라고 하는 새로운 칩은 조건부로 "2.5세대"라고 부를 수 있습니다. 2세대 Colossus Mk2 칩을 사용합니다. 8832개의 스레드를 동시에 실행할 수 있는 1472개 타일의 892MB SRAM입니다. 이 다이는 여전히 TSMC의 7nm 공정을 사용하여 제조되지만 Graphcore는 이제 더 고급 3D Wafer-on-Wafer(3D WoW) 패키징으로 이동했습니다.
새로운 IPU는 새로운 유형의 패키징을 사용하는 업계 최초의 복잡한 칩이며, 3D WoW 기술은 전력 하위 시스템을 최적화하기 위해 Graphcore와 TSMC가 공동으로 개발했습니다. 이 복잡성의 프로세서는 매우 폭식하며 "공급"하기가 쉽지 않습니다. 결과적으로 일반 패키징은 Colossus Mk2 칩에서 최대 성능을 달성하는 것을 허용하지 않습니다. 손실과 기생 가열이 너무 높습니다.
3D WoW는 Milan-X 서버 칩에서 AMD가 사용하는 기술과 유사한 여러 면에서 구현됩니다. 간단히 말해서, 구리 막대 구조는 수정을 관통하여 다른 수정에 직접 연결할 수 있게 하며 서로 덕분에 "함께 붙습니다". BOW의 경우 하단 수정의 역할은 Colossus Mk2의 상단 수정을 공급하는 안정화 커패시터 시스템을 사용하여 전원 분배기에 할당됩니다. 평평한 구조에서 체적 구조로의 전환으로 인해 입력 전류를 증가시키고 흐름 경로를 더 짧게 만드는 것이 모두 가능합니다.
그 결과 회사는 메인 프로세서를 재작업하거나 더 얇고 고가의 공정 기술로 이전하지 않고도 BOW의 빈도와 성능을 더욱 높일 수 있었습니다. 2세대의 원래 IPU가 250Tflops의 최대 성능을 가졌다면 이제 우리는 350Tflops에 대해 이야기하고 있습니다. 4개의 칩이 있는 BOW-2000 시스템의 경우 총 성능의 1.4Pflops가 선언됩니다. 그리고 이것은 중요한 비용 없이 얻은 좋은 이득입니다.
IPU는 여전히 10개의 IPU-Link 채널(320GB/s)을 통해 외부 세계와 통신합니다. 이러한 시스템의 내부 메모리는 이미 거의 4GB이며 260TB/s의 속도로 실행됩니다. 이는 더 큰 데이터 세트가 필요한 일부 기계 학습 작업의 중요한 매개변수입니다. 온보드 메모리의 용량은 NVIDIA 및 AMD가 제공하는 용량과는 거리가 멀지만 속도 향상은 Graphcore의 아이디어에 심각한 이점을 제공합니다.
BOW-2000 노드는 이전 버전 노드와 호환됩니다. 관리 서버가 있는 4개의 이러한 노드(BOW POD16)(모두 5U 섀시에 있음)는 최대 5.6PFlops의 성능을 제공합니다. 그리고 16개의 BOW-2000 노드(BOW POD64)가 있는 전체 랙은 이미 22.4Pflops를 제공합니다. 회사에 따르면 새 버전의 성능은 30~40%, 에너지 효율은 10%에서 16% 증가했다.
Graphcore는 BOW POD16이 총 소유 비용(TCO)에서 NVIDIA DGX-A100보다 10배 더 우수하다고 주장합니다. BOW POD16은 DGX-A100의 절반 가격입니다. 불행히도 Graphcore 기계 학습 시장을 정복하는 것에 대해 이야기하기에는 너무 이르다. 회사는 이미 꽤 많은 고객을 보유하고 있지만 그 중에는 Google이나 Baidu와 같은 거대 기업이 없습니다. 장기적으로 Graphcore의 상황은 Cloudless와는 거리가 멀지만 회사는 이미 3nm 공정 기술을 기반으로 하는 3세대 IPU를 준비하고 있습니다.
2022-03-05 03:38:48
작가: Vitalii Babkin