Software Engineer, KV Cache Infrastructure

About Company:

• CXL 기반 지능형 메모리 솔루션 개발/제공

Key Competencies:

• CXL Memory 기반 KV Cache 스토리지 엔진의 핵심 모듈 설계 및 구현

• LLM 추론 엔진(vLLM, SGLang 등)과 연동되는 KV Cache 저장·조회·공유 파이프라인 최적화

• GPU ↔ CPU ↔ CXL 간 KV Cache 계층적 메모리 관리 및 데이터 이동 최적화

• 다수의 LLM 인스턴스 간 KV Cache 공유를 위한 메모리 풀링, 동시성 제어, RPC 통신 설계

• 오픈소스 KV Cache 관리 시스템(LMCache, vLLM 등)의 기능 개발 및 커뮤니티 기여

An Ideal Candidate:

• 전산/컴퓨터/전기전자공학 혹은 SW 관련 분야 학사 이상 학위 소지자

• Python, C++ 를 활용한 소프트웨어 개발 경험

• LLM, KVCache에 대한 기본적인 이해

우대 요건

• LLM 추론 엔진 관련 개발 또는 운영 경험

• GPU/CUDA 프로그래밍 및 GPU 메모리 최적화 경험

• CXL, RDMA 등 고성능 메모리/네트워크 기술 경험

• 오픈소스 프로젝트 운영/기여 경험