낡은 GPU 세 장으로 20배… OrcaRouter, Qwen3.8 Flash Next Uncensored를 MI50 기준 초당 0.5토큰에서 10토큰으로 개선

OrcaRouter의 Qwen3.8 Flash Next Uncensored GGUF, 중고 AMD MI50 세 장에서 처음에는 초당 0.5토큰 속도 기록

CPU 스레드를 32개에서 8~12개로 줄이자 같은 GPU·같은 가중치에서 초당 약 10토큰으로 향상

폐기 예정인 가속기로 로컬 추론을 돌리려는 조직에 참고할 만한 사례

뉴스 제공

2026-10-21 15:29

싱가포르--(뉴스와이어)--컨티뉴엄 AI(CONTINUUM AI)가 개발한 OrcaRouter는 Qwen3.8 Flash Next Uncensored가 중고 AMD MI50 세 장에서 초당 약 10토큰으로 동작했다고 밝혔다. 처음 측정값은 초당 0.5토큰이었으나 같은 GPU와 같은 가중치에서 20배 빨라졌다. OrcaRouter는 실험에 사용한 GGUF 저장소와 양자화 이름도 함께 공개했다.

무엇을 돌렸나

OrcaRouter는 Hugging Face 저장소 orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF에 Qwen3.8 Flash Next Uncensored의 GGUF 변환본을 올려뒀다. 이번 실험에 쓰인 양자화는 Q6_K다. 가속기는 Radeon Instinct MI50 세 장이다. MI50은 AMD가 오래전에 내놓은 데이터센터용 가속기로, 지금은 중고 시장에서 저렴하게 구할 수 있는 세대다.

처음 값은 초당 0.5토큰

개발자가 처음 측정한 처리량은 초당 0.5토큰이었다. 대화형 사용에는 쓸 수 없는 속도다. 이 상태에서 모델 교체나 양자화 하향 없이 실행 설정 수정만이 이뤄졌다.

CPU 스레드를 32개에서 8-12개로

가장 큰 변화를 만든 것은 CPU 스레드 수였다. 32개로 뒀을 때보다 8~12개로 줄였을 때 성능이 크게 올랐다. OrcaRouter는 GPU 추론에서 CPU 스레드가 지나치게 많으면 오히려 방해가 된다고 밝혔다. 스레드를 줄인 뒤 측정값은 초당 약 10토큰이 됐다. 같은 GPU 세 장, 같은 Q6_K 가중치에서 20배의 향상이다.

폐기 세대 가속기의 의미

OrcaRouter는 오래된 가속기를 보유한 조직이 버리지 않고 로컬 추론에 다시 쓸 수 있다는 점을 이 사례의 핵심으로 들었다. 이어 MI50은 폐기 단계에 들어선 세대지만 중고 시장에서 저렴하게 구할 수 있고, 대화형 응답보다는 배치 처리나 오프라인 작업처럼 처리량보다 총량이 중요한 용도에 맞는다고 설명했다.

같은 모델을 API로 쓰는 경로

OrcaRouter는 같은 계열 모델을 API로도 제공한다. Qwen3.8 Flash는 100만토큰당 입력 0.15달러, 출력 0.47달러에 제공된다. OrcaRouter는 로컬 추론과 API를 같은 계정에서 함께 쓰고, 경제성이 맞는 지점마다 나눠 쓰라고 밝혔다. 로컬에서 감당하기 어려운 요청은 API로 넘기고, 민감하거나 대량인 작업은 로컬에 두는 식이다.

GGUF를 내려받는 경로

OrcaRouter는 Hugging Face 저장소에 Q6_K를 포함한 양자화본을 올려뒀다. 같은 저장소에서 내려받아 llama.cpp 계열 런타임에 올리면 된다. OrcaRouter는 GPU가 있어도 CPU 스레드 설정이 처리량을 좌우하는 경우가 많으므로 실행 환경에 따라 스레드 수를 먼저 조정해 볼 것을 권장했다.

주요 모델

OrcaRouter는 단일 API 키와 엔드포인트로 다음을 포함한 200개 이상의 모델을 제공한다.

· Qwen3.8 Flash
· Qwen3.8 Max
· DeepSeek V4.1 Flash
· GLM-5.3 Flash
· Kimi K3
· Claude Opus 5.5
· OrcaCyber Zero 1.5

참고

· Qwen3.8-Flash-Next-Uncensored-GGUF 저장소
· 모델 카탈로그
· 자동 장애 조치
· 네임드 라우터
· 과금과 사용량

OrcaRouter 소개

OrcaRouter는 OpenAI 호환 LLM 게이트웨이로, 200개가 넘는 모델에 걸쳐 라우팅하며 약 40%의 비용 절감, 1밀리초 미만의 라우팅 오버헤드, 0%의 토큰 마크업을 제공한다. 자체 호스팅 에디션인 OrcaRouter-Lite는 MIT 라이선스로 제공된다.

CONTINUUM AI PTE. LTD. 소개

컨티뉴엄 AI(CONTINUUM AI PTE. LTD.)는 최첨단 AI를 개발자와 팀이 접근 가능하고 합리적인 비용으로 사용할 수 있도록 하기 위해 설립된 싱가포르 기반 기업이다. 단일 API 키와 엔드포인트를 통해 200개 이상의 선도적인 AI 모델에 대한 액세스를 제공하는 OpenAI 호환 AI Gateway인 OrcaRouter를 개발한 회사다. OrcaRouter는 약 40%의 비용 절감, 1ms 미만의 라우팅 오버헤드, 토큰 마크업 없음을 제공하며, MIT 라이선스로 출시된 자체 호스팅 버전(OrcaRouter-Lite)도 함께 제공한다.

웹사이트: https://www.orcarouter.ai