AI 모델 LFM3-1.7B, GGUF 포맷으로 배포… 모바일 기기에서도 구동 가능
노형석 기자
작성일 2026-11-10 08:01
본문

이번 GGUF 파일 배포를 통해 기존에 트랜스포머 safetensors 형식으로만 제공되어 llama.cpp 런타임에서 즉시 로드하기 어려웠던 LFM3-1.7B 무검열 가중치를 직접 구동할 수 있는 경로가 확보되었다. 저장소에는 4비트(1.10GB), 8비트(1.84GB), BF16(3.47GB) 세 가지 정밀도 옵션이 포함되었다.
LFM3-1.7B 모델은 17억 3000만 개의 파라미터를 가진 텍스트 전용 AI 모델로, 24개 레이어 중 게이트 숏 컨볼루션, 슬라이딩 윈도우 어텐션, 전역 어텐션 구조가 적용되었다. 컨텍스트 길이는 입출력 합산 최대 256K 토큰이며, 한국어를 포함한 16개 다국어를 지원한다. OrcaRouter는 어블리터레이션(Abliterated) 기법을 적용하여 거부 반응을 줄인 무검열 버전으로 배포된다.
4비트 버전은 최신 스마트폰이나 8GB 메모리 노트북 환경에 적합하며, 8비트 버전은 정밀도와 리소스 점유율 간 최적의 균형을 제공한다. BF16 버전은 원본 체크포인트에 가장 가까운 품질을 구현한다. 이러한 규격별 장점은 사용자가 기기 성능에 맞춰 적절한 버전을 선택할 수 있게 하며, 엣지(Edge) 기기 기반의 로컬 에이전트 구축에 최적화된 환경을 제공한다.
1GB 대의 경량화 규격은 네트워크 연결 없이 로컬 에이전트를 구축하거나 오프라인 문서 분석, 기기 내 문서 요약 작업 등에 유용하다. 256K 대용량 컨텍스트 지원으로 긴 문서도 분할 없이 다룰 수 있으나, 모바일 기기 환경에서는 메모리 제약을 고려한 최적화된 길이 활용이 권장된다. 한국어를 포함한 16개 다국어 지원을 바탕으로 다양한 온디바이스 다국어 문서 처리에도 즉시 투입할 수 있으며, 별도 외부 서버 없이 작동한다는 점이 핵심 가치로 제시되었다.
GGUF 포맷으로 배포됨에 따라 llama.cpp 계열 런타임 환경에서 즉시 로드하여 실행할 수 있다. 해당 저장소는 약관 동의 후 접근이 허용되는 게이트(Gated) 방식으로 운영되며, 라이선스는 ‘LFM Open License v1.0’이 적용된다. 본 모델은 별도 API 카탈로그 형태로 제공되지 않으므로, 서버 환경 활용을 원할 경우 OrcaCyber 등급의 호스팅 모델을 선택할 수 있다.
한편, 모델 규격이 2B로 표기되기도 하지만 실제 파라미터 규모는 1.73B이며, 4비트 및 8비트 양자화 버전은 압축 과정 특성상 BF16 원본과 완벽히 동일한 출력을 보장하지 않을 수 있다. 또한 무검열 처리 작업 이후 원본 벤치마크 지표를 재측정한 별도 데이터는 제공되지 않는다. 256K 컨텍스트는 이론적 최대치로, 1GB 대 파일을 운용하는 일반 엣지 기기에서 최대 길이를 온전히 활용하려면 추가적인 메모리가 요구될 수 있다. MLX 형식은 아직 제공되지 않는다.
기사 공유하기
