Google, 빠른 텍스트 생성 AI 모델 DiffusionGemma 공개

Google은 텍스트 생성에 특이한 접근 방식을 사용하며, 이 클래스의 기존 AI 모델보다 최대 4배 더 빠르게 작동할 수 있는 실험적 언어 모델 DiffusionGemma의 출시를 발표했다. 이 프로젝트는 오픈 소스 라이선스인 Apache 2.0에 따라 배포되며 연구자와 개발자를 대상으로 한다.

ChatGPT 및 유사 모델을 포함한 대부분의 현대 AI는 단어를 하나씩 순차적으로 생성하여 텍스트를 만든다. DiffusionGemma에서 Google은 다른 길을 택했다. 이 모델은 단어가 아니라 임의의 토큰 세트를 사용하여 텍스트 블록을 생성한다. 그런 다음 이 모델은 여러 번의 패스를 통해 읽을 수 없는 상태의 텍스트를 정상적인 상태로 가다듬는다. 그 원리는 처음에 노이즈가 있는 캔버스를 만든 다음 점차 개선하는 이미지 생성기의 작동 방식과 약간 유사하다.

DiffusionGemma의 실질적 가치는 상당히 높은 작동 속도에 있다. Google 데이터에 따르면, 이 모델은 서버 가속기 NVIDIA H100에서 초당 1000개 이상의 토큰을, GeForce RTX 5090급 비디오 카드에서 초당 700개 이상의 토큰을 출력할 수 있다. 이 모델은 260억 개의 파라미터를 다루지만, Mixture of Experts(MoE) 아키텍처 덕분에 실제로 한 번에 사용되는 것은 38억 개뿐이다. 이 신경망을 작동시키려면 최소 18GB의 비디오 메모리가 필요하다.

Google은 응답 품질 면에서 DiffusionGemma가 아직 일반 텍스트 모델인 Gemma 4보다 뒤처지지만, 추론 속도는 훨씬 더 높다고 언급한다. 바로 이처럼 아직 높지 않은 정확도 때문에 DiffusionGemma는 현재 실험 단계에 머물러 있다.

이 프로젝트의 주요 목표는 미래 AI 모델을 위한 확산 접근 방식의 전망을 보여주는 것이다. Google은 미래에는 추론 속도가 생성 품질만큼 중요한 파라미터가 될 것이라고 생각한다.

작가: Vitalii Babkin