IBM, 채팅·의사결정·음성 전사를 단일 엔드포인트로 묶은 Granite Switch 4.1 공개

IBM은 Granite-Switch-4.1-8B와 30B에 일반 의사결정용 Decision aLoRA, 안전 판단용 Guardian aLoRA, Granite-Speech-5.0-Turbo-CTC ASR를 결합해 단일 호스티드 엔드포인트에서 채팅, 판단, 음성 전사를 처리한다고 밝혔습니다. 회사는 이 구성이 기본 모델과 거의 같은 GPU VRAM을 사용하며, Activated LoRA의 KV 캐시 재사용과 vLLM 최적화로 요청 유형 전환을 빠르게 한다고 설명했습니다. 자체 어댑터 조합은 가능하지만 Adapter SDK와 추가 자료는 향후 공개 예정입니다.

음성 입력, 요약, 안전 필터링을 한 워크플로에서 처리하는 제품팀에는 별도 모델을 붙이는 방식보다 단일 엔드포인트와 공유 캐시가 지연시간과 GPU 비용을 줄일 수 있는 선택지입니다. 다만 Granite 실행 환경과 어댑터 구조에 맞춰야 하는 잠금 효과가 생기며, 제시된 성능 비교와 데모가 실제 도메인 데이터의 정확도·지연시간을 보장하는지는 별도 검증이 필요합니다.