AI hardware9분 분량

다음 AI 서버는 이미 보유한 공랭식 랙에 들어갈 수 있을까?

Axelera의 Titania는 공랭식 4U 서버에서 대형 모델 추론을 구현하려 합니다. 시뮬레이션 성능을 살펴보면 전력, 메모리, 배포 비용이 다음 질문이 됩니다.

K
Ken Jo

다음 AI 서버는 첫 질문에 답하기도 전에 새로운 전기 회로, 다른 냉각 구성, 소프트웨어 이전을 요구할 수 있습니다. 추론을 자체 건물로 가져오려는 팀이라면 이런 조건이 가속기 가격만큼 중요할 수 있습니다. 빠른 칩이 실제로 쓸 수 있는 처리 능력이 되려면 주변 시스템이 계속 동작하도록 뒷받침해야 합니다.

2026년 11월 12일 네덜란드 가속기 기업 Axelera AI는 3세대 AI 가속 기술인 Titania의 아키텍처를 발표했습니다. 제안된 AX8 레퍼런스 서버는 가속기 패키지 8개와 가속기 메모리 1 TB를 공랭식 4U 시스템에 담습니다. Axelera는 일반적인 시스템 전력을 5~6 kW로 제시하며 기존 데이터센터의 전력·냉각 환경을 겨냥합니다. 이는 앞으로 나올 플랫폼의 발표된 설계 수치이며, 고객이 지금 살 수 있는 서버에서 측정한 값은 아닙니다. Axelera의 11월 12일 발표

흥미로운 질문은 이 설계가 기존 시설에서 대형 모델 추론을 실용적으로 만들 수 있느냐는 것입니다. 답하려면 메모리 용량, 사용자별 응답 경험, 설치 작업, 팀이 유지해야 할 소프트웨어를 살펴봐야 합니다. Titania의 제품 페이지에는 성능 비교의 조건도 공개되어 있어 이 문제를 살펴볼 좋은 사례가 됩니다.

Titania는 Axelera의 영역을 엣지에서 더 큰 추론 시스템으로 넓힌다

Axelera는 이미 엣지와 기업 애플리케이션용 Metis 및 Europa 가속기를 만듭니다. Titania는 시스템 인 패키지, 즉 SiP 하나에 칩렛 두 개를 결합해 이 제품 방향을 더 큰 추론 배포로 확장합니다. 회사의 Digital In-Memory Computing 아키텍처, 프로그래밍 가능한 RISC-V 연산, LPDDR6 메모리를 사용합니다. 발표에서는 PCIe 카드와 OAM 가속기 모듈을 아우르는 제품군을 제시하며, 시스템 파트너를 통해 공랭식과 수랭식 구성을 모두 계획하고 있습니다.

구매자에게 이런 조합이 중요한 이유는 가속기 패키지와 완성 서버가 서로 다른 구매 판단이기 때문입니다. PCIe 폼팩터라는 사실만으로 기존 섀시에 필요한 슬롯, 전력 공급, 공기 흐름, 소프트웨어 지원이 있다는 뜻은 아닙니다. 마찬가지로 공랭식 레퍼런스 설계가 있다고 랙이 놓인 모든 공간이 적합해지는 것도 아닙니다. 공급업체가 실제로 납품하고 서비스할 지원 시스템 구성끼리 비교해야 합니다.

서버, 전력과 냉각, 소프트웨어 이전, 지속적인 운영을 묶은 자체 배포 예산 도식

자체 제작한 설명 그래픽입니다. 배포 예산에는 서버를 지속적으로 관리되는 추론 서비스로 만드는 데 필요한 인프라와 소프트웨어가 포함됩니다. AX8 크기와 전력 수치의 출처는 Axelera의 11월 12일 발표입니다.

Axelera 제품 자료에는 제조사가 그린 Titania 칩렛 아키텍처 그림이 있습니다. 고객 설치 현장이나 벤치마크 시연이 아니라, 의도한 설계와 메모리 계층을 보여 줍니다. 같은 페이지에 성능 차트를 해석하는 데 필요한 구성 설명도 있습니다.

1테라바이트는 속도에 답하기 전에 용량의 질문을 연다

Axelera는 Titania 패키지당 LPDDR6 128 GB를 명시합니다. 따라서 패키지 8개를 쓰는 AX8 설계는 광고된 가속기 메모리 1 TB에 도달하며, 전체 메모리 대역폭 19.6 TB/s와 FP8 연산 20 PFLOPS도 제시됩니다. 회사는 FP4, MXFP4, FP8, MXFP8, BF16 지원도 내세웁니다. 이 수치를 해석하려면 정밀도와 패키지 사이에 모델을 배치하는 방식이 중요합니다. 발표된 아키텍처와 레퍼런스 서버 사양

대형 전문가 혼합 모델에서는 전체 파라미터 수에 따라 저장해야 하는 가중치 데이터의 양이 결정되지만, 특정 토큰을 처리할 때 활성화되는 부분은 그중 일부일 수 있습니다. 따라서 활성 연산량이 감당할 만해 보여도 용량은 여전히 제약이 될 수 있습니다. Axelera는 이를 고용량 LPDDR6와 효율적인 데이터 이동의 근거로 제시합니다. HBM 중심 가속기와는 다른 메모리 기술, 연산, 패키징의 균형을 추구하는 것입니다.

발표에 따르면 AX8 서버 한 대는 FP4 기준 1조 6천억 파라미터 모델을 담고 키-값 캐시 공간도 확보하도록 설계됐습니다. 특정 정밀도를 전제로 한 공급업체의 용량 주장입니다. 애플리케이션은 정확한 모델 표현, 문맥 길이, 동시 요청이 지원 구성에 들어맞는지 여전히 확인해야 합니다. 대화가 많아지거나 길어질수록 서비스에 필요한 작업 메모리는 저장된 가중치 이상으로 늘어납니다.

모델을 메모리에 계속 올려 두면 유용한 서비스로 가는 장애물 하나를 없앨 수 있지만, 사용자가 실제로 경험하는 것은 대기 시간과 답변 품질입니다. 모델이 들어가더라도 애플리케이션 응답 목표를 맞추려면 튜닝이 필요할 수 있습니다. 반대로 작은 모델이 이미 작업에 정확히 답한다면 추가 용량이 필요하지 않을 수도 있습니다. 작업에 맞는 모델과 허용 정밀도를 먼저 정하고, 이를 제공할 하드웨어를 평가하세요.

대화형 속도와 전체 처리량은 서로 다른 설계에 유리하다

직원들이 회의 중 사용하는 내부 문서 비서를 상상해 보세요. 논의를 이어 갈 만큼 빨리 도착하는 답변은 밤새 완료된 수백 개 답변과 가치가 다릅니다. 이 비서에서는 전체 제공 토큰 수와 함께 첫 유용한 문구까지의 시간과 이어지는 응답 속도가 중요합니다. 이는 가상 워크로드이며 Titania 실험은 아닙니다.

다른 팀은 개별 응답을 지켜보는 사람 없이 문서 적체를 처리할 수 있습니다. 배칭으로 시간당 완료 작업량이 늘어난다면 더 오래 기다려도 됩니다. 대규모 공유 서비스에는 시간대에 따라 두 특성이 모두 필요할 수 있습니다. 따라서 사용자당 속도를 고정한 비교는 전체 처리량을 극대화한 비교와 순위가 다를 수 있습니다.

Axelera는 Titania가 응답성 높은 추론을 겨냥한다고 명시하며, 아주 큰 배치에서는 랙 규모 GPU가 앞설 수 있다고 제품 페이지에서 인정합니다. 차트에는 애플리케이션 전체에 통용되는 하나의 결과가 아니라 서로 다른 모델과 랙 구성이 들어 있습니다. 구매자가 물어야 할 것은 예상 동시 처리량과 비용에서 어떤 구성이 서비스의 지연 요구를 충족하느냐입니다. Titania 성능 조건

워크로드에 관한 질문요청할 근거하나의 최고 수치로는 알 수 없는 것
직원들이 실시간 문서 비서를 쓸 수 있는가?목표 동시 처리 조건에서의 첫 응답 시간과 생성 속도혼잡한 시간의 대기열과 긴 꼬리 응답 지연
배치 서비스가 야간 적체를 처리할 수 있는가?대표 문서로 측정한 시간당 완료 작업 수입력 길이와 배칭이 완료 시간에 미치는 영향
서버 한 대에서 영상과 언어 작업을 함께 수행할 수 있는가?디코딩, 추론, 애플리케이션 로직을 함께 실행한 전체 결과호스트 부하, 경쟁 워크로드, 누락되거나 늦어진 작업

성능 비율보다 먼저 시뮬레이션 표시를 읽어야 한다

Titania 제품 페이지는 성능 수치를 Axelera의 운영용 컴파일러로 실행한 내부 시뮬레이션이라고 명시합니다. 서버 비교 하나는 2026년 8월에 시뮬레이션한 Titania 카드 8개 시스템을 2026년 9월자 InferenceX 경쟁사 데이터와 비교합니다. 제시된 조건은 FP4, 입력 8,000토큰, 출력 1,000토큰을 포함합니다. 다른 차트는 10월 랙 단위 시뮬레이션과 각각의 시스템 구성을 사용합니다.

이 조건들은 그래프가 무엇을 비교하려는지 설명합니다. 동시에 구매자가 내릴 수 있는 결론도 제한합니다. 컴파일러를 포함한 시뮬레이션은 유용한 엔지니어링 정보지만, 양산 Titania 하드웨어에서 독립적으로 실행한 시험은 아닙니다. 기존 Metis나 Europa의 배포는 Axelera 기술을 이해하는 배경이 되지만 Titania 전망치를 출하 시스템의 측정값으로 바꾸지는 않습니다.

발표의 와트당 처리량 최대 7배, 총소유비용 최대 20배 개선 주장도 공급업체의 이 비교 체계에 속합니다. 어느 비율도 견적서나 개별 시설의 요금 예측은 아닙니다. 제품 페이지는 전력 비교를 TDP 대 TDP로 설명하며, 비용은 Axelera의 TCO 모델이라고 밝힙니다. TDP는 설계 전력 수치이고, 배포한 서비스의 전력 사용량은 전체 시스템과 워크로드에 따라 달라집니다.

모델과 요청 조건을 서비스 지연, 처리량, 측정한 시스템 전력과 구분한 자체 비교 안내

자체 제작한 설명 그래픽입니다. 성능 비교를 해석할 때 모델, 정밀도, 요청 길이, 동시 처리량을 함께 살펴보세요. 조건 출처: Axelera Titania 제품 페이지.

구매 검토 표에 비율을 넣기 전에 그 수치 뒤에 있는 구성을 요청하세요. 모델 버전, 정밀도, 품질 확인, 요청 분포를 결과와 함께 보관해야 합니다. 이어 가속기, 완성 서버, 시설 중 어느 전력 범위를 측정했는지 물어보세요. 그렇지 않으면 더 나은 서비스가 아니라 더 좁은 측정 범위에 유리한 비교가 될 수 있습니다.

공랭식에도 전력과 열 예산은 필요하다

공랭식이라는 표현은 서버의 열을 주변 공기로 옮기는 방식을 설명합니다. 그 열은 적절한 시설 냉각 시스템을 통해 여전히 실내에서 빠져나가야 합니다. 제안된 AX8의 일반 소비 전력 5~6 kW는 4U 장비 한 대로서는 상당합니다. 시설 담당자는 랙에 설치할 수 있는지 판단하기 전에 견적 구성, 설치 조건, 예상 워크로드를 알아야 합니다.

간단한 계획 시나리오로 규모를 가늠해 볼 수 있습니다. 평균 56 kW를 24시간 계속 소비하는 장비라면 그날 서버 자체에서 120144 kWh를 씁니다. 지속 평균을 가정한 계산이지 Titania 에너지 측정값은 아닙니다. 실제 워크로드와 유휴 동작에 따라 달라질 수 있습니다. 냉각, 전력 변환 손실, 나머지 시설의 소비 전력은 별도로 더해집니다.

Axelera가 제시하는 매력은 기존 데이터센터를 고밀도 수랭식 랙에 맞춰 다시 만들지 않고 활용할 가능성입니다. 절감 효과는 해당 환경이 이미 무엇을 지원할 수 있느냐에 달려 있습니다. 전기와 열 처리에 여유가 있는 시설은 회로와 실내 냉각이 한계에 가까운 시설과 다른 프로젝트를 진행하게 됩니다. 4U 섀시나 PCIe 카드라는 이유로 설치가 데스크톱 PC 업그레이드와 같아지지는 않습니다.

소프트웨어 연속성은 하드웨어 용량만큼 중요할 수 있다

Axelera는 Voyager SDK와 AxeleraScript 기반이 Metis, Europa, Titania에 걸쳐 이어진다고 설명합니다. 발표는 텐서·전문가·파이프라인 병렬화, 추측 디코딩, KV 캐시 오프로딩 또는 분리에 대한 지원 계획을 소개합니다. Titania PCIe 카드를 Europa 기반 Axelera Server 250p의 향후 교체 경로로도 제시합니다. 이미 회사의 소프트웨어 생태계를 평가하는 팀에는 중요한 약속입니다.

기존 Europa 사용자에게 당장 중요한 것은 지원 연산, 모델 변환, 통합 코드, 모니터링, 배포 패키징 등 애플리케이션의 얼마만큼을 그대로 가져갈 수 있는지입니다. 다른 환경에서 출발하는 팀에는 Voyager로 옮기는 것 자체가 엔지니어링 작업입니다. 공통 SDK는 한 공급업체의 제품 사이에서 작업을 줄일 수 있지만, 애플리케이션은 각 대상 시스템에서 검증해야 합니다. 이식성은 실제 모델과 주변 파이프라인으로 보여 줘야 할 항목으로 다루세요.

녹화된 이벤트에 대한 설명을 생성하는 영상 서비스를 생각해 보세요. 발표된 Titania의 H.265 및 AV1 온칩 8K 디코딩과 4K 인코딩은 가속기와 호스트의 역할 분담을 바꿀 수 있습니다. 실용적인 시험에는 지원 코덱 설정, 프레임 준비, 언어 모델, 저장장치, 애플리케이션 응답을 포함해야 합니다. 언어 모델 하나가 빨라진 것만으로 전체 서비스가 필요한 영상 부하를 감당한다고 입증할 수는 없습니다.

프라이빗 문서 비서에서는 검색과 접근 제어가 이에 해당합니다. 추론을 온프레미스로 가져오면 모델의 실행 위치가 바뀌지만, 문서 권한, 로그, 백업, 서비스 자격 증명에는 별도 설계가 필요합니다. 따라서 하드웨어 견적 옆에는 소프트웨어 책임 계획도 있어야 합니다. 누가 런타임을 업데이트하고, 모델 변경을 확인하며, 장애 뒤에 서비스를 복구할까요?

유용한 평가는 여섯 가지 결정에서 시작한다

Titania의 현재 상태에서는 구매를 전제하기보다 단계적으로 평가하는 편이 합리적입니다. 지금 이용 가능한 애플리케이션과 기준선에서 시작한 뒤, 지원 시스템이 나오면 근거를 요청하세요. 공급업체 시연도 구성과 한계를 기록한다면 다음 판단에 도움이 됩니다. 다만 실제 설치 장소에서 진행할 인수 시험을 대체하지는 못합니다.

  1. 작업과 서비스 목표를 고정하세요. 대표적인 문서, 에이전트, 영상 요청을 선택합니다. 가장 큰 모델을 고르기 전에 허용 답변 품질, 응답 시간, 혼잡 시간대의 동시 처리량을 정하세요.
  2. 현재 기준선을 기록하세요. 기존 시스템이나 호스팅 서비스로 워크로드 규모, 지연, 운영 비용을 파악합니다. 이후에도 의미 있게 비교하도록 모델과 요청 버전을 보관하세요.
  3. 지원 구성을 요청하세요. 계획된 모델 지원, 메모리 배치, 호스트 사양, 소프트웨어 버전, 시스템 파트너의 책임을 확인합니다. 발표된 기능과 그 구성에서 실제로 시연한 기능을 구분하세요.
  4. 시설을 점검받으세요. 담당 팀에 공급업체의 전기, 공기 흐름, 설치 요구사항을 전달합니다. 주변 장비와 가용 냉각 용량도 평가에 포함하세요.
  5. 하드웨어가 준비되면 서비스 전체를 시험하세요. 요청 도착 패턴, 검색, 코덱, 모니터링을 포함합니다. 완료 작업량과 응답 시간 통계를 측정하는 같은 기간에 서버 전체 전력을 측정하세요.
  6. 운영 책임의 비용을 계산하세요. 통합 시간, 지원, 유지보수, 실제로 쓸 수 있는 대체 수단을 포함합니다. 한가한 시간까지 고려해 실제 예상 워크로드 기준으로 소유 비용을 비교하세요.

이 단계들은 기존 장비를 유지한다는 결정도 유용하게 만듭니다. 작은 모델이 이미 적은 운영 부담으로 목표를 달성한다면 불필요한 이전을 피함으로써 돈과 인력을 아낄 수 있습니다. 메모리 용량이나 설치 작업이 결정적 제약이라면 Titania의 제안된 설계는 다음 공급업체 대화에 구체적인 초점을 제공합니다.

양산 일정도 하드웨어 사양의 일부다

Axelera의 11월 발표는 2027년 3분기 양산을 목표로 하며, 고객 배포 약정이 2028년 초까지 이어진다고 설명합니다. 제품 페이지는 더 넓은 2027년 하반기 양산 시점을 사용하고 2028년 업그레이드 경로를 보여 줍니다. 이는 개발 일정이지 일반 소매 판매가 시작됐다는 뜻이 아닙니다. 제조 시작, 지원 서버 납품, 특정 국가 설치는 서로 다른 이정표입니다.

2026년 11월에 계획을 세우려면 지역별 가격, 납기, 서비스 범위를 시스템 파트너에게 확인해야 합니다. 미래 하드웨어 구매 약정은 고객 설치 현장에서 실행 중인 시스템과 같은 근거가 아닙니다. 당장 추론이 필요한 조직은 오늘 사용할 수 있는 해결책과 지원 가능한 운영 계획이 있어야 합니다. Titania는 가까운 출시 일정의 필수 조건이 되지 않으면서 향후 평가 대상에 들어갈 수 있습니다.

가장 가치 있는 결과는 팀이 자체 시설에 설치하고 유지하며 비용을 감당할 수 있는 유용한 추론 능력입니다. Titania는 메모리, 대화형 성능, 기존 인프라를 연결해 이 제안을 명확하게 보여 줍니다. 다음 시험은 이런 설계 선택과 시뮬레이션을 고객이 필요한 작업으로 측정한 지원 시스템으로 바꾸는 것입니다.

출처


워크로드 정의, 공급업체에 할 질문, 향후 시험 결과를 함께 보관해 다음 비교도 같은 전제에서 시작해 보세요. Telli.sh에서 첫 노트 시작하기.


← 블로그로 돌아가기