AI 추론시대의 신호탄 (HBF 기술, 광학 인터커넥트, 메모리 생태계)

AI 학습 시대를 지배했던 HBM(고대역폭 메모리)의 시대가 저물고, 추론 시장의 본격화와 함께 HBF(High Bandwidth Flash)라는 새로운 패러다임이 등장하고 있습니다. 거대언어모델(LLM)의 추론 과정에서 발생하는 KV 캐시 병목 현상을 해결하기 위해, GPU 패키지 근처에 대용량 NAND를 직접 배치하는 구조적 혁신이 시작되었습니다. 이는 단순한 저장 장치의 진화를 넘어, 광학 기반 인터커넥트와 결합된 차세대 AI 인프라 아키텍처의 핵심 요소로 자리매김하고 있습니다.

HBF 기술: 추론 시대의 메모리 벽을 허물다

HBF(High Bandwidth Flash)는 HBM의 성공 공식을 NAND 플래시에 적용한 혁신적인 저장 장치 기술입니다. TSV(실리콘 관통 전극)를 이용한 3D 적층 및 인터포저 기술을 통해, 수천 개의 신호 경로를 단축하고 병렬 처리를 극대화하는 것이 핵심입니다. 기존 방식에서는 GPU가 연산을 수행할 때마다 멀리 떨어진 NVMe SSD나 네트워크 저장소에서 데이터를 가져와야 했으며, 이 과정에서 심각한 병목 현상과 전력 낭비가 발생했습니다.
HBF는 대용량 NAND를 GPU 패키지 근처에 직접 배치하여 데이터 이동 거리를 '제로'에 가깝게 줄이는 구조적 혁신을 제공합니다. 목표는 기존 SSD보다 수십 배 빠른 테라바이트급 시스템 대역폭과 HBM으로는 구현하기 힘든 대용량 저장 공간을 동시에 확보하는 것입니다. 거대언어모델 추론 시 이전 대화 데이터를 실시간으로 참조해야 하는 KV 캐시 병목 문제가 바로 HBF가 필요한 결정적 이유입니다. 이 데이터는 너무 방대해 값비싼 HBM에 다 담기 어렵고, 일반 SSD에서 불러오기엔 속도가 너무 느립니다.
반도체 실무 관점에서 보면, HBF는 속도와 용량 사이의 지독한 '트레이드오프'가 핵심 과제입니다. 대역폭을 높일수록 NAND의 본질적 강점인 고용량 이점이 희석되고, DRAM의 레이턴시를 극복하기엔 기술적 한계가 명확합니다. NVIDIA 등 글로벌 기업들이 HBM보다 용량이 크고 SSD보다 빠른 '계층적 메모리 저장' 솔루션을 찾고 있으며, HBF가 그 핵심 후보로 부상한 배경에는 이러한 기술적 필요성이 자리하고 있습니다. 다만 초기 HBM이 그랬듯, 고객사의 채택 문턱을 넘는 것이 관건이며, 시장은 가성비 중심의 TLC, QLC를 우선 소화한 뒤 HBF는 특수 목적의 하이엔드 영역부터 천천히 개화할 것으로 전망됩니다.

광학 인터커넥트: 테라바이트 데이터의 고속도로

HBF가 데이터를 쏟아내기 시작하면, 이를 운반하는 '통로'인 인터커넥트에서 새로운 병목이 발생합니다. 구리 케이블은 대역폭이 높아질수록 전송 거리가 짧아지고 전력 소모와 열 발생이 기하급수적으로 늘어나는 근본적인 한계를 지니고 있습니다. 이러한 구리의 한계를 극복하기 위해 광학 기술이 필수적으로 등장하게 되었습니다. CPO(Co-Packaged Optics)나 LPO(Linear Drive Optics) 같은 광 연결 기술은 테라바이트급 데이터를 손실 없이 전송하기 위한 핵심 인프라입니다.
브로드컴(Broadcom)은 광학 DSP 및 고속 스위치 시장의 절대 강자로서, CPO 기술을 통해 HBF의 전력 효율을 극대화하는 솔루션을 제공하고 있습니다. 마벨(Marvell)은 Celestial AI 인수를 통해 광 연결 플랫폼 기업으로 진화했으며, 'Photonic Fabric' 기술을 보유하고 있습니다. POET Technologies는 저비용으로 광학 엔진을 칩 옆에 배치할 수 있는 'Optical Interposer' 기술로 주목받고 있습니다. 또한 Ayar Labs는 칩 내 광학 I/O 기술을, Lightmatter는 광학 신경망 플랫폼을, Xscape Photonics는 다파장 제어 기술을 무기로 광학 생태계의 혁신을 주도하고 있습니다.
HBF가 표준으로 자리 잡으면 테라바이트급 데이터를 실어 나를 수 있는 광학 기반 인터커넥트는 생존을 위한 필수 전제 조건이 될 것입니다. 이는 단순히 전송 속도를 높이는 것을 넘어, "연산(GPU) - 메모리(HBM) - 저장(HBF) - 연결(Optics)"로 이어지는 AI 인프라 아키텍처의 완성을 의미합니다. 광학 인터커넥트 없이는 HBF의 잠재력을 완전히 발휘할 수 없으며, 반대로 HBF 없이는 광학 기술의 시장 확대도 제한적일 수밖에 없습니다. 결국 두 기술은 상호 의존적이며 공진화하는 관계에 놓여 있습니다.

메모리 생태계: 글로벌 기업들의 경쟁 구도

HBF 시장의 주요 수혜 기업들은 각자의 기술적 강점을 바탕으로 치열한 경쟁을 벌이고 있습니다. 샌디스크(SanDisk)는 초고속 I/O 기술을 바탕으로 HBF 개념을 학계에 제안하고 표준화를 주도하는 설계자 그룹으로서 선도적 역할을 수행하고 있습니다. 키옥시아(Kioxia)는 샌디스크와 20년 이상 R&D를 공유하며 HBF 핵심 기술을 공동 개발 중이며, 두 기업의 협력 관계는 HBF 생태계 형성에 중요한 축을 이루고 있습니다.
SK하이닉스는 HBM에서 입증된 TSV 및 패키징 기술을 NAND에 이식하고 있으며, 2026년 하반기 샘플링 등 가시적인 'AI-NAND' 로드맵을 보유하고 있습니다. HBM 시장에서 쌓은 기술력과 양산 경험을 HBF로 전환하는 과정에서 상당한 경쟁 우위를 확보할 것으로 예상됩니다. 삼성전자는 파운드리 공정(14nm FinFET)을 NAND 로직에 적용하고, 파운드리-메모리-패키징을 잇는 'AI 턴키 솔루션'을 무기로 삼고 있습니다. 이는 단일 공급업체로서 통합 솔루션을 제공할 수 있다는 점에서 차별화된 경쟁력입니다.
실무 현장에서 보면, 초기 시장은 고객사의 채택 문턱을 넘는 것이 최대 과제입니다. 기술적 우수성만으로는 충분하지 않으며, 비용 대비 성능, 생산 안정성, 공급망 신뢰성 등 다층적인 요소들이 시장 성공을 결정합니다. TLC와 QLC 같은 검증된 기술을 먼저 소화한 후, HBF는 하이엔드 AI 추론 서버 같은 특수 목적 영역부터 점진적으로 확산될 가능성이 높습니다. 장기적으로는 이들 기업을 핵심 인프라 자산으로 바라볼 필요가 있으며, HBF와 광학 인터커넥트의 결합이 가져올 시너지 효과는 투자 관점에서도 중요한 고려 사항입니다.
HBF는 단순한 저장 장치의 진화가 아니라 AI 인프라 아키텍처의 다음 단계를 여는 핵심 기술입니다. 속도와 용량 사이의 트레이드오프를 극복하고, 광학 인터커넥트와의 통합을 통해 차세대 AI 시스템의 기반을 마련하는 과정에서 글로벌 반도체 기업들의 기술 경쟁은 더욱 치열해질 것입니다. 실무자의 관점에서 볼 때, 이는 혁신과 검증 사이의 균형을 찾아가는 여정이며, 시장의 진정한 수요를 충족시키는 기업만이 승자가 될 것입니다.

---

[출처]
HBF (High Bandwidth Flash)와 광학(Optics): AI 인프라의 잃어버린 고리 / PhotonCap Substack: https://open.substack.com/pub/photoncap/p/hbf-high-bandwidth-flash-and-optics?utm_source=share&utm_medium=android&r=6jompb