GEEK HAUS

요약·논평: 긱하우스 편집팀. 편집 책임: 장진호 대표

피드로 돌아가기

Reflection, 501B 오픈 모델 ‘Beam’ 공개…1M 토큰 문맥과 Apache 2.0 지원

·Hugging Face Blog
원문 보기 ↗

편집자 요약

Reflection의 첫 모델 Beam이 Hugging Face에 공개됐습니다. Beam은 501B 매개변수 규모의 MoE 모델로, 토큰당 23B 매개변수를 활성화하며 1M 토큰 문맥, 텍스트 입출력, Apache 2.0 라이선스를 지원합니다. 코딩과 에이전트형 작업을 겨냥해 transformers, vLLM, SGLang 지원과 Rust 기반 실행 하네스를 함께 제공합니다.

인사이트

자체 인프라에서 대형 모델을 조정하려는 팀에는 Apache 2.0과 SFT·RL 레시피가 실질적 선택지를 넓힙니다. 다만 모든 전문가 매개변수를 메모리에 올려야 하므로 BF16 체크포인트가 약 1TB에 이르는 배포 비용을 감수해야 하며, NVFP4·FP8 선택은 하드웨어 적합성과 정확도 저하 가능성을 함께 검토해야 합니다.

댓글

토론

> geekhaus:~$ 다음 읽을거리?

다음 읽을거리 추천