Cactus, 저가형 스마트폰·웨어러블·IoT 기기용 14MB agentic LLM ‘Needle 2’ 공개

Cactus는 도구 호출, 기기 제어, 구조화 추출에 초점을 맞춘 Needle 2를 공개했습니다. 단일 14MB 바이너리로 제공되며 28MB RAM에서 세션을 실행하고, Raspberry Pi 5에서 500 tokens/sec, Meta Quest 3S와 Apple Vision Pro 등 VR 기기에서 400~1,500 tokens/sec 수준의 디코딩 속도를 주장합니다.

Needle 2는 Edge AI의 중심을 고성능 PC와 Mac에서 저가형 스마트폰, 웨어러블, 스마트홈, 소형 로봇으로 확장하려는 시도입니다. 2bit 압축과 Simple Attention Networks 기반 설계는 온디바이스 AI가 전력·메모리 제약이 큰 환경에서도 기능 호출형 인터페이스로 확산될 수 있음을 보여줍니다.