남는 DDR4로 AI 서버의 메모리에 여유를 줄 수 있을까?
Netlist와 Marvell이 SC26에서 DDR4를 쓰는 CXL 메모리 확장 구성을 예고했습니다. 호스트 메모리를 늘리면 어떤 작업에 도움이 되는지, 구매 전에 무엇을 재야 하는지 살펴봅니다.
사내 검색 서비스가 아침에 요청이 몰리기 전까지는 빠르게 반응합니다. 이 서비스는 수천 개의 문서에서 관련 구절을 찾아 GPU에 답변 생성을 요청합니다. 자주 쓰는 구절은 메모리에 들어가지만, 나머지 문서를 반복해서 검색할 때는 저장장치까지 다시 가야 합니다. 가속기에 여유가 남아 있어도 사람들은 더 오래 기다리게 되죠. 서비스 운영팀에는 GPU를 하나 더 다는 것보다 서버 캐시를 키우는 편이 도움이 될 수 있습니다.
SC26을 앞둔 두 발표는 그 캐시를 구성할 선택지를 보여줍니다. CXL 컨소시엄은 11월 10일 메모리 전문업체 Netlist가 NVvault-D4라는 개념 검증용 설계를 선보일 예정이라고 밝혔습니다. 기존 DDR4를 Compute Express Link(CXL)로 연결해 호스트 메모리로 쓰는 방식입니다. 11월 13일 반도체 제조사 Marvell은 파트너사들이 Structera X 메모리 확장 컨트롤러에 DDR4나 DDR5를 연결한 구성을 전시할 예정이라고 발표했습니다. 두 발표에 담긴 것은 전시 예정 하드웨어입니다. 가격, 납기, 예정된 시연 결과는 아직 공개되지 않았습니다. SC26은 시카고에서 11월 1520일에 열리고, 일반 전시는 현지 시간 11월 1719일입니다. CXL 컨소시엄의 Netlist 전시 예고 · Marvell SC26 발표 · SC26 공식 일정
구매팀이 확인할 점은 느린 요청의 응답 시간을 허용 범위로 유지하면서 실제 작업에 필요한 데이터를 메모리에 얼마나 더 담을 수 있느냐입니다. 여분의 DDR4를 가지고 있다면 모듈이 호환성 검증을 통과하고 적절한 데이터를 그곳에 배치할 수 있을 때 비용을 줄일 여지가 있습니다. 얼마나 도움이 되는지는 지금 어떤 작업이 어디에서 기다리는지에 달려 있죠.
추가 메모리는 어디에 붙을까?
CPU는 메모리 컨트롤러를 통해 직접 연결된 DRAM에 접근합니다. 호환 서버에 CXL 메모리 확장 장치를 달면 CPU가 CXL 링크를 거쳐 그 장치 뒤의 메모리도 쓸 수 있습니다. 호스트에서 데이터를 담을 공간이 늘어나는 겁니다. 접근 경로, 대역폭, 지연 시간은 로컬 DRAM 채널과 다릅니다. 펌웨어와 운영체제가 확장 용량을 인식해 사용할 수 있게 해야 하며, 애플리케이션이나 운영체제에서 워크로드에 맞는 메모리 페이지 배치 정책도 필요합니다.
남는 DDR4를 신형 서버에 쓰자는 제안에서는 이 차이가 중요합니다. 서버에 장착된 DDR5는 그대로 두고, 지원되는 확장 장치에 연결한 DDR4에 접근할 수 있습니다. 이때도 확장 장치의 컨트롤러와 메모리 모듈 검증, 호스트 호환성을 확인해야 합니다. 기존 DDR4를 쓴 개념 검증은 재사용을 살펴볼 계기를 줍니다. 어느 모듈이 지원 대상이고 어떤 조합에서 안정적으로 동작할지는 남은 질문입니다.
자주 읽는 페이지는 로컬 DRAM에 두고 대용량 CPU 측 캐시는 확장 계층에 담을 수 있습니다. 가속기의 고대역폭 메모리에는 자체 용량과 대역폭 한계가 있습니다.
검색 사례에서 자주 읽는 인덱스 데이터는 로컬 DDR5에 두고, 덜 자주 찾는 문서 구절이나 검색 결과는 더 큰 CXL 캐시로 옮길 수 있습니다. 관련 구절을 찾아낸 뒤에는 추론 백엔드가 이를 GPU에서 실행 중인 모델에 전달합니다. 모델 가중치와 가속기 커널이 쓰는 데이터는 여전히 추론 엔진이 접근하도록 설계된 메모리 공간에 들어가야 합니다. 이번 발표에서 CXL로 늘어나는 것은 호스트 메모리 용량입니다. GPU의 고대역폭 메모리(HBM)는 별도 자원입니다.
요청 처리 단계별 소요 시간을 추적하는 것부터 시작하세요. CPU가 캐시에서 밀려난 데이터를 기다리는 일이 잦다면, 호스트 메모리를 늘려 저장장치까지 가는 작업을 줄일 수 있습니다. 모델이 대부분의 시간을 GPU 메모리에서 가중치를 읽는 데 쓰고 호스트에서는 거의 대기하지 않는다면 같은 구매가 응답 시간에 주는 효과는 작을 수 있습니다. 모델 실행 속도가 같아도 데이터 검색이 빨라지면 전체 시간은 줄 수 있습니다. 전체 서비스의 변화가 어디서 왔는지 판단하기 전에 두 구간을 각각 재세요.
Netlist 시제품 세 가지는 맡는 일이 다르다
DDR4 재사용에 해당하는 Netlist 제품은 NVvault-D4입니다. 컨소시엄은 가상 머신, 인메모리 데이터베이스, 고성능 컴퓨팅, 기업용 워크로드를 적용 대상으로 꼽았습니다. 가상화 호스트를 예로 들면 가장 바쁜 게스트는 로컬 메모리에 두고, 덜 쓰는 게스트 페이지를 확장 계층에 둘 수 있는지 시험할 수 있습니다. 데이터베이스 팀은 읽기 캐시의 일부를 대상으로 비슷한 실험을 해볼 수 있습니다. 지연에 민감한 쿼리가 읽는 페이지를 CPU 가까이에 두는 할당 정책이 필요하겠죠. 이런 작업으로 용량 확장 구성을 시험할 수 있습니다. 전시 예고에는 워크로드별 결과가 없습니다. CXL 컨소시엄의 Netlist 전시 예고
다른 Netlist 설계 두 가지를 보면 제품 이름을 구분해야 하는 이유가 드러납니다. NVvault-HM은 NAND 기반 용량 앞에 DRAM 캐시를 두며, 발표는 데이터 이동과 상태 정보 수집, AI 키-값 캐시와 분석 같은 활용을 언급합니다. NVvault-PM은 별도의 CXL Type 3 설계입니다. DRAM, NAND 백업, 전원 손실에 대응하기 위한 내장 에너지원이 설명돼 있습니다. 예고에서 PM은 키-값 캐시 보존, 체크포인트, 복구 같은 용도를 겨냥합니다. 백업이나 데이터 영속성을 평가한다면 예상하는 장애 상황에서 해당 설계가 어떻게 동작하는지 확인해야 합니다. D4 발표에서는 나머지 두 설계의 저장이나 복구 기능이 D4에 적용된다는 근거를 찾을 수 없습니다. CXL 컨소시엄의 Netlist 전시 예고
언어 모델의 키-값 캐시로 AI 시험 사례를 따로 생각해볼 수 있습니다. 이 캐시는 모델이 재사용할 수 있도록 이전 토큰의 어텐션 데이터를 저장합니다. 호스트 오프로딩을 지원하는 추론 엔진은 비활성 세션의 캐시 페이지를 GPU 메모리 밖으로 옮겼다가 세션이 돌아오면 다시 불러올 수 있습니다. 호스트 용량이 늘면 얼마나 많은 세션을 유지할 수 있는지, 캐시 전송으로 재개된 요청에 시간이 얼마나 추가되는지 시험할 수 있습니다. 페이지 배치와 복사는 추론 엔진과 서버에 따라 달라집니다. 이는 호스트 메모리에 계층을 둔 구성으로 시도해볼 수 있는 예시입니다. Netlist 예고에서 키-값 캐시를 명시한 설계는 HM과 PM입니다.
Marvell의 발표는 구매팀이 지켜볼 또 하나의 구현 방식을 보여줍니다. 파트너사들이 Structera X 계열 컨트롤러에 DDR4나 DDR5를 연결한 시스템을 전시할 계획입니다. 프로그램과 미디어 자료에서 전시와 제품군의 배경을 알아볼 수 있습니다. 공급사가 어떤 서버 구성을 검증했는지, 어떤 메모리를 받는지, 전체 시스템을 어떻게 지원하는지는 구매팀이 확인할 항목입니다. 자료에 실린 칩 이미지는 제품군을 소개하는 참고용입니다. CXL 컨소시엄 SC26 전시관 프로그램 · Marvell SC26 발표 · Marvell Structera 미디어 자료
느린 요청부터 잰다
평균 응답 시간은 앱을 답답하게 느끼도록 하는 요청을 가릴 수 있습니다. 검색 서비스에서 인기 문서는 하루 종일 캐시에 빠르게 적중하지만, 덜 찾는 문서를 처리할 때는 같은 작업 프로세스가 확장 계층에 반복해서 접근할 수 있습니다. 야간 인덱싱이라면 상위 지연 구간이 조금 길어져도 괜찮을 수 있습니다. 검색 결과를 기다리는 고객은 그 차이를 바로 느낄 수 있죠. 메모리 구성은 트래픽이 가장 많은 때도 실제 서비스가 요구하는 목표를 충족해야 합니다.
2025년 독립 연구 MELODY는 이를 구체적으로 보여줍니다. 연구진은 실제 CXL 메모리 장치 네 개, CPU 플랫폼 다섯 개, 지연 수준 일곱 가지를 사용해 워크로드 265개를 조사했습니다. 지연이 1마이크로초 미만인 140~410나노초 구간을 평가해, 워크로드와 꼬리 지연, CPU 동작이 시스템의 CXL 메모리 처리에 영향을 준다는 점을 보였습니다. 문서에서 평가한 확장 장치는 CXL-A부터 CXL-D로 표기됩니다. 이 결과로 SC26에서 예고한 시스템의 성능을 추정할 수는 없습니다. 평균 지연 하나나 유리한 벤치마크 하나로 실제 서버가 어떻게 동작할지 판단하기 어렵다는 점을 보여주는 연구입니다. ASPLOS 2025 MELODY 연구 · 논문 전문
플랫폼이 허용한다면 세 구성을 비교하세요. 먼저 기존 로컬 DRAM에서 현재 서비스를 재현합니다. 그다음 계층형 호스트에서 용량을 늘려 시험합니다. 마지막으로 총용량이 같은 로컬 DRAM 전용 구성으로 비교 기준을 잡습니다. 용량 산정 예시로 로컬 DRAM 256GiB와 사용 가능한 확장 메모리 256GiB를 합친 구성과 로컬 DRAM 512GiB 구성을 비교할 수 있습니다. 애플리케이션, 데이터셋, 소프트웨어 설정, 유입 부하를 비슷하게 맞추고, 구성 차이로 피할 수 없었던 플랫폼이나 로컬 채널의 차이는 기록합니다. 운영 대안이 저장장치로 데이터를 넘기거나 다른 호스트에 분산하는 것이라면 그 방식의 시간과 비용도 재세요.
두 구성에서 워크로드와 트래픽을 맞춥니다. 가장 느린 요청을 확인하고 실제 사용할 수 있는 단위 용량당 비용을 계산합니다.
- 캐시를 채울 정도의 트래픽을 재현합니다. 자주 쓰는 문서와 거의 찾지 않는 문서를 모두 포함한 현실적인 요청 조합을 준비하세요. 처음 가동할 때와 캐시가 채워진 뒤에 시험합니다. 동일한 동시 처리 수준에서 중앙값, p95와 p99 요청 지연, 오류율, 처리량을 봅니다. AI 검색 앱에서는 검색과 추론 시간을 따로 기록해 빨라진 캐시가 느린 모델을 가리거나 그 반대가 되지 않게 합니다.
- 실제로 옮겨진 데이터를 확인합니다. 계층 및 CPU NUMA 노드별 메모리 할당을 살펴봅니다. 지원되는 경우 페이지 이동과 회수, 플랫폼의 링크나 장치 카운터도 확인합니다. 좋아 보이는 결과라도 요청 대부분이 로컬 DRAM에만 머물렀을 수 있습니다. 좋지 않은 결과라면 자주 읽는 인덱스 페이지가 기본값으로 원격 계층에 배치됐을 수 있습니다. 각 측정값과 함께 배치 정책을 기록하세요.
- 부하가 겹치는 오후를 시험합니다. 대화형 작업이 바쁠 때 두 번째 작업을 실행하고, 재시작 뒤 캐시를 다시 채웁니다. 메모리 한계가 가까워질 때의 동작도 관찰하세요. 운영체제가 장치나 메모리 오류를 어떻게 보고하는지, 운영자가 영향받은 호스트를 어떻게 찾는지, 서비스가 이전 할당 정책으로 어떻게 돌아가는지 확인합니다. 팀이 운영하게 될 구성이라면 복구도 시험에 포함합니다.
- 그래프를 보기 전에 합격 기준을 정합니다. 팀의 현재 p99와 오류 목표부터 기준으로 삼습니다. 그 목표를 지키면서 추가로 몇 GiB를 쓸 수 있어야 하는지, 더 느린 복구를 허용할 수 있는 상황은 무엇인지 적습니다. 캐시 적중률이 높을 때만 목표를 충족한다면, 특히 바쁜 날의 기록으로 운영 환경에서도 그 적중률을 유지할 수 있는지 확인합니다.
재사용에 드는 비용을 모두 계산한다
기존 DIMM을 쓰면 제안서의 메모리 비용 항목은 좋아 보일 수 있습니다. 실제 도입에는 확장 장치, 지원되는 호스트나 업그레이드, 검증된 모듈, 배포와 지원을 맡을 인력이 필요합니다. 장치를 장착하기에 적합한 슬롯이나 플랫폼 연결부도 있어야 합니다. PCIe 레인 배정이 스토리지, 네트워크, 가속기에 어떤 영향을 주는지 확인하세요. 같은 작업에서 데이터를 옮기는 데 쓰는 자원을 빼앗는다면 메모리 업그레이드의 가치가 줄어듭니다.
목표 서비스 수준에서 실제 사용 가능한 GiB당 비용을 계산하세요. 플랫폼이 예약하는 용량이나 로컬 페이지를 충분히 확보하느라 포기한 용량, 전력과 냉각, 여러 장비에 대한 검증, 예비 부품, 사용 기간 동안의 지원을 포함합니다. 펌웨어 업데이트 제공 주체와 시스템 상태 및 메모리 오류를 확인할 방법도 살펴보세요. 확장 계층 덕분에 저장장치로 넘기거나 다른 장비를 추가해야 할 작업을 호스트 한 대로 처리할 수 있다면, 절약한 작업을 측정하고 두 방식의 추가 비용을 계산합니다. 실험은 간단하게 시작할 수 있습니다. 두 구성에서 최고 요청률로 서비스를 실행하고 응답 시간을 목표 범위에 두는 비용을 비교하세요.
SC26 이후에는 검증된 구성과 문서에 명시된 모듈 지원, 소프트웨어 호환성, 실제 워크로드 기록을 확인해볼 만합니다. 제품이 출시되면 규모가 큰 보조 작업 데이터를 다루는 팀은 기존 서버의 용량을 늘릴 선택지가 하나 더 생깁니다. 가장 설득력 있는 결과는 호스트에 문서 데이터를 더 많이 담아 저장장치 읽기를 줄이면서, 종전 p99 한도를 더 적은 비용으로 지키는 서비스입니다. 그 결과를 확보한 팀은 다음 서버를 살 때도 같은 기준을 적용할 수 있습니다.
출처
- CXL 컨소시엄 Netlist SC26 전시 예고, 2026년 11월 10일
- Marvell SC26 파트너 및 연결 기술 발표, 2026년 11월 13일
- CXL 컨소시엄 SC26 전시관 프로그램과 행사 이미지
- Marvell Structera 제품군 보도 자료
- SC26 공식 프로그램과 전시 일정
- ASPLOS 2025 MELODY 논문과 출판 정보 · 논문 전문
시험 메모, 워크로드 기록, 구매 결정을 한곳에 모으려면 Telli.sh 계정을 만들어 보세요.