Stop adding more GPUs: Weka's new storage platform reduces load by caching 100% of an AI model's pre-calculated tokens

Weka는 NeuralMesh 6 소프트웨어와 자체 설계 하드웨어 Wekapod 3를 공개하며, NAND flash를 묶어 GPU memory를 보완하는 Augmented Memory Grid 전략을 제시했습니다. 장문 context와 다중 턴 대화에서 반복 계산되는 사전 처리 토큰을 storage 계층에 캐싱해 GPU memory와 compute 사용량을 줄이는 것이 핵심입니다.

AI 추론 비용의 병목이 GPU 확보에서 GPU 활용률 최적화로 이동하면서, storage vendor들이 AI infrastructure 시장에서 더 적극적인 역할을 노리고 있습니다. Weka의 접근은 대규모 내부 copilot, customer service agent, retrieval system처럼 긴 context를 다루는 기업에 추론 비용 절감과 배포 속도 개선 효과를 제공할 수 있습니다.