4B 모델이 9B를 꺾었다? 엔비디아 도리 1.0 루프 AI의 충격적 성능
매번 VRAM 부족으로 거대 코딩 AI를 포기하셨나요? 40억 파라미터로 상위 모델을 압도하는 비결을 정리해 드립니다.
다운로드 허브로 이동하기로컬 컴퓨터에서 코딩 어시스턴트 AI를 돌리려면 최소 14B~32B 이상의 거대 모델이 필요해 하드웨어 업그레이드를 고민하셨을 겁니다. 파라미터가 작으면 버그를 잡지 못하고 엉뚱한 코드를 내뱉기 일쑤였습니다.
하지만 파라미터 크기만 늘리는 방식은 개인 PC의 메모리를 금세 고갈시킵니다. NVIDIA Dory 1.0 4B는 파라미터를 늘리지 않고 내부 계층을 반복 순환(Loop)하는 방식으로 이 한계를 완벽히 돌파했습니다.
1. 4B 파라미터의 반란: SWE-bench 61.8점
엔비디아 네모트론 랩스(Nemotron Labs)가 발표한 자료에 따르면, 도리 4B는 루프 횟수를 늘릴수록 코딩 문제 해결 능력이 극적으로 향상됩니다.
| 평가 벤치마크 | 1 루프 (기본) | 2 루프 (권장) | 4 루프 (최대) | Qwen3.5-9B |
|---|---|---|---|---|
| SWE-bench Verified | 50.3% | 59.5% | 61.8% | 61.0% |
| Terminal-Bench 2.1 | 12.5% | 18.1% | 22.2% | 24.0% |
| IFBench (지시수행) | 74.29 | 77.94 | 79.0 | 59.0 |
| AA-LCR (장문추론) | 63.0 | 71.0 | 73.0 | 68.4 |
실제 소프트웨어 엔지니어링 벤치마크인 SWE-bench Verified에서 4루프 실행 시 61.8%를 기록하며, 체급이 두 배 이상 큰 Qwen3.5-9B(61.0%)를 앞지르는 성능을 입증했습니다.
2. 루프 아키텍처(Latent-Recurrent)의 비밀
도리 1.0은 총 36개 층으로 설계되어 있습니다. 하지만 일반 트랜스포머와 달리 입력 블록 8층 + 순환 공유 블록 20층 + 출력 블록 8층 구조로 나뉩니다.
- 1 루프: 8 + 20 + 8 = 총 36개 레이어 연산
- 2 루프 (권장): 8 + (20 × 2) + 8 = 총 56개 레이어 연산
- 4 루프 (집중): 8 + (20 × 4) + 8 = 총 96개 레이어 연산
모델 가중치(3.67GB GGUF)는 그대로 유지하면서, 토큰을 생성하기 전에 내부 잠재 공간(Latent Space)에서 생각하는 연산량만 조절하는 탄력적 추론(Elastic Compute)을 지원합니다.
가장 중요한 건... 루프를 4번 돌린다고 해서 메모리 사용량까지 4배로 폭증하지 않는다는 점입니다. 엔비디아는 이를 방지하는 특별한 캐시 제어 기술을 기본 탑재했습니다.
