DeepSeek V4.1-Flash 하드웨어 요구 사항

DeepSeek는 V4.1-Flash를 2026년 9월 10일에 MIT 라이선스로 공개했으며, 백만 토큰 컨텍스트 윈도와 기본 이미지 이해 기능을 갖추고 있습니다.¹ 모두가 처음에 물은 질문은 이것이 128GB 머신에서 실행되는지 여부였습니다. 이전에 Flash라는 이름의 모델이 그렇게 했기 때문입니다.

그렇지 않습니다. V4.1-Flash는 510GB의 FP8 weights를 48개의 파일에 걸쳐 제공하며, 압축 단계는 이미 사용되었습니다.² 하지만 오늘날에는 직접 구입할 수 있는 하드웨어에서도 로컬 실행이 가능합니다. 커뮤니티 2-bit build는 9.46 tokens per second로 벤치마크되었으며, 대상은 256GB Mac Studio M3 Ultra입니다.⁵

• Parameters552B8B 입력, 16B 출력
• Context1Mtokens
• LicenceMITno revenue trigger
• Weights510GBFP8, 48 files

Flash는 속도를 뜻할 뿐, 크기를 뜻하지 않습니다

V4.1-Flash는 552B-parameter backbone을 유지하고, prompt를 읽을 때는 8B parameters를 활성화하며 답변을 쓸 때는 16B parameters를 활성화합니다.¹ 이 작은 활성 수치가 바로 "Flash"가 의미하는 것입니다. 이것이 생성 속도와 API에서의 token당 비용을 결정합니다. 메모리 비용을 결정하는 것은 아닙니다.

파일이 이처럼 큰 데에는 두 번째로 덜 obvious한 이유가 있습니다. 이 모델은 two-layer engram, 즉 hashed n-gram embedding을 포함하며, 그 lookup tables만으로도 대략 196B parameters, 즉 checkpoint의 약 40퍼센트를 차지합니다.⁵ 그 메모리는 보유해야 하지만 계산은 거의 하지 않으며, 그래서 다운로드 용량이 backbone count가 시사하는 것보다 더 큰 것입니다.

이전 모델은 이 함정에 빠지기 쉬웠습니다. DeepSeek-V4-Flash-0731는 총 284B이며 활성은 13B였고, 169GB에서 손실 없이 실행되었습니다.³ V4.1-Flash는 동일한 제품명 아래 backbone을 대략 두 배로 담고 있습니다.

이미 소진된 quantisation

보통 552B model이라면 quantise하라는 뜻으로 받아들여집니다. DeepSeek는 다운로드 전에 이미 그 작업을 해두었습니다. repository는 expert layers가 이미 compressed된 상태의 FP8로 제공됩니다.² 일반적으로 기대하는 4-bit GGUF의 4대1 절감에서 가져올 수 있는 양보다 남아 있는 양이 더 적기 때문에, 아래의 community builds는 여러분이 예상하는 만큼까지 줄어들지 않습니다.

실제로 이를 실행하는 것

이 부분은 어떤 specification sheet에도 나오지 않습니다. 새 model은 사용하는 engine마다 architecture가 작성되어 있어야 하며, V4.1-Flash는 새로운 architecture를 도입했습니다. 즉, causal encoder-decoder로서 40개의 layers가 20-layer causal encoder 뒤에 20-layer decoder가 이어지는 구조입니다.¹ deepseek_v41 architecture는 Transformers에도, mlx-lm에도, mlx-vlm에도, llama.cpp에도 존재하지 않습니다.⁴

이로써 쉬운 경로는 배제됩니다. Ollama, LM Studio 및 llama.cpp 기반의 다른 모든 것은 이를 로드할 수 없고, 사용할 수 있는 GGUF도 없습니다. 그렇다고 실행 자체가 불가능하다는 뜻은 아닙니다.

Apple silicon에서는 PipeNetwork 포트가 부족한 architecture를 제공하고 community MLX conversions가 weights를 제공합니다.⁴ NVIDIA와 AMD 서버에서는 SGLang가 이를 위한 개발 컨테이너 이미지를 공개합니다 — lmsysorg/sglang:dev-dsv41 및 dev-dsv41-mi35x — 태그가 붙은 release 이전에 제공됩니다. vLLM에는 공개 pull request가 있으며, 9월 10일 기준으로는 아직 병합된 것이 없습니다.⁶

따라서 이는 이미 자리가 잡힌 하드웨어 위의 초기 software입니다. 한 번의 install command를 입력하기보다 repository를 clone해야 할 것으로 예상하고, 그 작업은 앞으로 몇 주 동안 더 어려워지기보다 쉬워질 것으로 보시면 됩니다.

어떤 머신

2비트 빌드가 시작하기에 가장 좋으며, 실제로 반가운 소식입니다. 디스크 사용량은 238.8GB이고, 테스트에서 프로세스 메모리는 최대 166.69 GiB까지 올라갔으며, 이는 여유를 두고도 Mac Studio M3 Ultra 256GB 안에 들어갑니다. 작성자는 바로 그 머신에서 greedy decoding으로 초당 9.46 토큰을 측정했습니다.⁵ 빠른 속도는 아니지만, 책상 앞에서 답변하는 552B 모델치고는 놀라운 수준입니다.

혼합 4/8비트 빌드는 상주 메모리 427GB를 요구하며, Mac Studio M3 Ultra 512GB가 그 정도는 간신히 수용합니다. 여기서는 여유 공간이 중요합니다. 이 컨텍스트 길이에서는 긴 프롬프트도 공짜가 아니기 때문입니다. engram-6 빌드는 대략 477GB와 테라바이트급 머신을 원하며, 느긋한 forward pass는 순간적으로 빌드 크기의 약 두 배가 필요할 수 있습니다.⁴

한 대에 512GB 이상이면 정직한 방법은 두 가지입니다. Thunderbolt 5 클러스터링은 여러 대의 Mac에 걸쳐 unified memory를 묶습니다 — macOS 26.2는 Thunderbolt 5를 통한 RDMA를 추가했고 exo 1.0도 이를 지원하므로, 연결된 Mac Studio M3 Ultra 512GB 머신들을 합산할 수 있습니다.⁷ 또는 용량을 갖춘 워크스테이션 한 대를 구성하는 방법도 있습니다. Threadripper PRO 플랫폼의 Neox Metal은 개의 registered ECC 메모리 채널을 사용하므로 단일 머신에서 테라바이트에 도달할 수 있으며, 같은 플랫폼은 SGLang 경로가 요구하는 RTX PRO 6000 카드도 수용합니다.

설정

DeepSeek는 온도를 1.0, top-p를 0.95 또는 1.0로 설정하고, 256K 이상의 max_tokens를 권장합니다.¹ Reasoning effort는 다른 모델들이 사용하는 low/high/max 스위치가 아니라, 1부터 100까지 연속적으로 조절 가능한 정수이므로, 기본값으로 두기보다 조정해 볼 가치가 있습니다.

하나의 수치가 유난히 좋습니다. V4.1-Flash는 전역 KV 캐시를 토큰당 890바이트만 사용하므로, 전체 백만 토큰 컨텍스트도 1GB 미만으로 유지됩니다.¹ 이 규모의 대부분 모델에서는 컨텍스트가 다음 메모리 업그레이드를 강제합니다. 여기서는 가중치만, 그것도 오직 가중치만이 문제입니다.

이 모든 계산의 근거는 로컬에서 오픈 모델을 실행하는 데 필요한 메모리를 보십시오. 현재 오픈 리더보드 최상위 모델은 GLM-5.3 하드웨어 요구 사항을 보십시오.