기사 3건
arXiv 논문은 ternary LLM의 {-1,0,+1} 가중치가 균등 분포한다는 기존 가정과 달리, 29개 모델에서 0 값 비중이 최대 51.5%에 이른다고 보고합니다. 연구진은 dense presence bitmap과 compacted sign vector를 결합한 BITCOS 레이아웃을 제안했으며, 26개 모델에서...
이 아티클은 Ken Thompson의 trusting-trust 공격이 컴파일러에만 국한되지 않으며, GNU strip 같은 일반 빌드 유틸리티를 통해서도 구현될 수 있음을 보인 연구를 소개합니다. 연구진은 NixOS bootstrap 과정에서 binary seed에 포함된 변조된 strip 하나가 이후 세대의 strip...
arXiv에 제출된 이 아티클은 Transformer attention의 query, key, value projection 중 일부를 공유하는 QKV 변형을 체계적으로 평가합니다. 합성 과제, vision, language modeling 실험에서 일부 공유 구조가 표준 QKV와 비슷하거나 더 나은 성능을 보였으며, 특...