llama.cpp로 즉시 구동… OrcaRouter, LFM3-1.7B GGUF 배포

지난주 공개된 LFM3-1.7B 무검열 가중치에 GGUF 포맷 추가

4비트 파일 1.10GB 수준… 모바일 및 노트북 구동 가능

256K 컨텍스트 및 한국어 포함 16개 언어 지원 스펙 유지

뉴스 제공

2026-11-09 19:00

싱가포르--(뉴스와이어)--컨티뉴엄 AI(CONTINUUM AI)가 개발한 OrcaRouter가 2026년 11월 5일, LFM3-1.7B 무검열(Uncensored) 가중치의 GGUF 포맷 버전을 공개했다. OrcaRouter 측은 4비트 양자화 파일의 크기가 1.10GB에 불과해 모바일 기기에서도 원활하게 실행할 수 있다고 설명했다. 256K 컨텍스트 길이 지원 및 16개 언어 처리 기능은 원본 스펙 그대로 유지된다.

신규 포맷 추가 및 저장소 구성

저장소에는 총 세 가지 정밀도 옵션이 탑재됐다. 파일 크기는 4비트 1.10GB, 8비트 1.84GB, BF16 3.47GB다. 지난 11월 2일 공개된 무검열 가중치는 트랜스포머 safetensors 형식으로만 제공돼 llama.cpp 런타임에서 즉시 로드하기 어려웠으나, 이번 GGUF 파일 배포를 통해 직접 구동 경로가 확보됐다. 애플 실리콘용 MLX 형식은 아직 제공되지 않는다.

LFM3-1.7B 모델의 구조적 특징

LFM3-1.7B는 17억3000만(1.73B)개 파라미터를 갖춘 텍스트 전용 AI 모델이다. 총 24개 레이어 중 13개는 게이트 숏 컨볼루션(Gate Short Convolution), 5개는 슬라이딩 윈도우 어텐션(Sliding Window Attention), 6개는 전역 어텐션(Global Attention) 구조로 설계됐다. 컨텍스트 길이는 입출력 합산 최대 256K 토큰이며 어휘집(Vocabulary) 규모는 12만8000개다. 한국어를 포함한 16개 다국어를 지원하며, OrcaRouter가 어블리터레이션(Abliterated) 기법을 적용해 거부 반응을 줄인 무검열 버전으로 배포된다.

소형 경량화 모델의 규격별 장점

4비트 버전(1.10GB)은 최신 스마트폰이나 8GB 메모리를 탑재한 기본형 노트북 환경에도 무리 없이 탑재된다. 8비트 버전(1.84GB)은 정밀도와 리소스 점유율 간 최적의 밸런스를 제공하며, BF16 버전(3.47GB)은 원본 체크포인트에 가장 가까운 최상의 품질을 구현한다. 사용자는 기기 성능에 맞춰 적절한 버전을 선택할 수 있어, 엣지(Edge) 기기 기반의 로컬 에이전트 구축에 최적화된 환경을 제공한다.

로컬 환경 기반 주요 활용 분야

1GB 대의 경량화 규격은 네트워크 연결 없는 로컬 에이전트 구축, 오프라인 문서 분석, 기기 안에서 끝나는 문서 요약 작업 등에 유용하다. 256K 대용량 컨텍스트 지원으로 긴 문서도 분할 없이 다룰 수 있으나, 모바일 기기 환경에서는 메모리 제약을 고려해 최적화된 길이로 활용하는 것이 권장된다. 한국어를 포함한 16개 다국어 지원을 바탕으로 다양한 온디바이스 다국어 문서 처리에도 즉시 투입할 수 있으며, 별도 외부 서버 없이 작동한다는 점이 핵심 가치다.

구동 방식 및 호스팅 안내

GGUF 포맷으로 배포됨에 따라 llama.cpp 계열 런타임 환경에서 즉시 로드해 실행할 수 있다. 해당 저장소는 약관 동의 후 액세스가 허용되는 게이트(Gated) 방식으로 운영되며, 라이선스는 ‘LFM Open License v1.0’이 적용된다. 본 모델은 별도 API 카탈로그 형태로 제공되지 않으므로, 서버 환경에서 활용을 원할 경우 OrcaCyber 등급의 호스팅 모델을 선택할 수 있다.

구동 시 고려사항 및 한계

허깅페이스(Hugging Face) 모델 카드상에는 모델 규격이 2B로 반올림되어 표시되나 실제 파라미터 규모는 1.73B다. 4비트 및 8비트 양자화 버전은 압축 과정 특성상 BF16 원본과 완벽히 동일한 출력을 보장하지 않을 수 있다. 또한 무검열 처리 작업 이후 원본 벤치마크 지표를 재측정한 별도 데이터는 제공되지 않는다. 256K 컨텍스트는 이론적 최대치로, 1GB 대 파일을 운용하는 일반 엣지 기기에서 최대 길이를 온전히 활용하려면 추가적인 메모리가 요구된다. MLX 형식은 아직 제공되지 않는다.

주요 모델

OrcaRouter는 단일 API 키와 엔드포인트로 다음을 포함한 200개 이상의 모델을 제공한다.

· OrcaCyber Zero 1.5
· OrcaCyber Hy4 Abliterated
· OrcaCyber K3.1 Pro Abliterated
· OrcaCyber GLM 5.3 Abliterated
· Qwen3.8 27B
· Gemini 3.8 Flash
· Claude Opus 5.5

참고

· LFM3-1.7B 무검열 GGUF 저장소
· LFM3-1.7B 원본 모델 카드
· OrcaRouter 게시물
· 모델 카탈로그
· 요금 안내

OrcaRouter 소개

OrcaRouter는 OpenAI 호환 LLM 게이트웨이로, 200개가 넘는 모델에 걸쳐 라우팅하며 약 40%의 비용 절감, 1밀리초 미만의 라우팅 오버헤드, 0%의 토큰 마크업을 제공한다. 자체 호스팅 에디션인 OrcaRouter-Lite는 MIT 라이선스로 제공된다.

컨티뉴엄 AI 소개

컨티뉴엄 AI(CONTINUUM AI)는 최첨단 AI를 개발자와 팀이 접근 가능하고 합리적인 비용으로 사용할 수 있도록 하기 위해 설립된 싱가포르 기반 기업이다. 단일 API 키와 엔드포인트를 통해 200개 이상의 선도적인 AI 모델에 대한 액세스를 제공하는 OpenAI 호환 AI Gateway인 OrcaRouter를 개발한 회사다. OrcaRouter는 약 40%의 비용 절감, 1ms 미만의 라우팅 오버헤드, 토큰 마크업 없음을 제공하며, MIT 라이선스로 출시된 자체 호스팅 버전(OrcaRouter-Lite)도 함께 제공한다.

웹사이트: https://www.orcarouter.ai