·ollaya.dev
Ollaya, 로컬 GPU에서 Jev식 오픈소스 결정 모델을 밀리초 단위로 실행하는 API 호환 서버 공개
Ollaya는 텍스트나 JSON에 대해 형식화된 질문을 던지고 확률이 보정된 답변을 반환하는 결정 모델 실행 도구입니다. 로컬 하드웨어에서 동작하며, NVIDIA RTX 4090 기준 Laya 모델은 HTTP API를 통한 5개 질문 요청을 약 8~10ms에 처리한다고 소개합니다. TypeSafe의 /v1/systemon...
읽기 →