Ollaya, 로컬 GPU에서 Jev식 오픈소스 결정 모델을 밀리초 단위로 실행하는 API 호환 서버 공개

Ollaya는 텍스트나 JSON에 대해 형식화된 질문을 던지고 확률이 보정된 답변을 반환하는 결정 모델 실행 도구입니다. 로컬 하드웨어에서 동작하며, NVIDIA RTX 4090 기준 Laya 모델은 HTTP API를 통한 5개 질문 요청을 약 8~10ms에 처리한다고 소개합니다. TypeSafe의 /v1/systemone 및 /v1/models API 형태와 호환돼 기존 TypeSafe Python SDK를 그대로 사용할 수 있습니다.

토큰을 순차 생성하는 LLM과 달리 단일 forward pass로 판단 결과를 내는 구조는 에이전트 안전성 검사, 명령 차단, 리스크 분류 같은 저지연 워크플로에 적합합니다. Ollaya는 로컬 추론과 API 호환성을 결합해, 민감한 데이터를 외부 Hosted API로 보내지 않으려는 기업·개발자 수요를 겨냥합니다.