알프레드, OpenAI Showcase 1위… 세무는 안 틀리는 게 중요
세무 상담 실데이터 300문항으로 국내외 LLM 9종 비교… 환각·과잉절제 중심 평가체계 제시
제품 소개 대신 검증 데이터로 승부… ‘치명적 오류가 허용되지 않는 도메인의 평가 기준’ 제시
중소벤처기업부 글로벌 기업 협업 프로그램 ‘열림’의 중간 성과 발표회, OpenAI ‘열림 Showcase’ 현장
특히 평가 방식이 차별점으로 꼽혔다. 답변 하나의 오류가 가산세나 신고 오류로 직결되는 세무 영역의 특성을 반영해, 통상적인 ‘정답률’ 비교가 아니라 어떤 모델이 어떤 상황에서 실수하는지를 규명하는 방향으로 설계했다. 근거 없이 답을 만들어내는 환각, 근거가 충분한데도 답을 회피하는 과잉 절제, 검색된 문서와 자체 기억이 충돌할 때의 선택을 각각 분리해 측정했다.
평가는 2025년 세무 상담 실데이터로 구성한 FAQ 300문항을 국내외 LLM 9종에 적용해 정상, 무관 문서 삽입, 컨텍스트 변조, 근거 부재, 클로즈드북 5개 조건으로 진행됐다. 알프레드는 답변 품질과 절제 판단, 컨텍스트 준수, 추론 속도를 종합해 기존 기준 모델을 유지하기로 했으며, 협업 중인 진영의 최신 모델 일부에서 환각 위험이 높게 나온 결과도 수정 없이 공개했다.
1위 선정에 따라 알프레드는 OpenAI API 크레딧 5000달러를 지원받고, 상위 3개사 중 1개사로 선정되면 오는 11월 성과 공유회에서 OpenAI와 함께 대표 성공사례를 발표한다.
옥형석 알프레드 대표는 “세무 도메인에서는 얼마나 똑똑한지 보다 어떤 상황에서 틀리는지를 알고, 틀리지 않게 하는 것이 서비스 신뢰도를 결정한다”라며 “평가 기준을 먼저 정하고 결과는 나온 대로 공개했다”라고 말했다.
알프레드는 120만 사업자를 대상으로 세무·재무 업무를 수행하는 AI 에이전트를 운영하고 있다. 올해 2월 중소벤처기업부 ‘OpenData × AI 챌린지’ 소상공인 분야 1위, 정부 ‘독자 AI 파운데이션 모델’ 사업 참여에 이어 지난 8월 과학기술정보통신부 ‘모두의 AI’ SK텔레콤 컨소시엄에도 참여사로 이름을 올렸다. 마이크로소프트와 AI 에이전트 기술 협력도 진행 중이다.
알프레드 소개
알프레드는 사업자를 위한 금융 AI 에이전트 기업이다. 2017년 세무법인 혜움의 사내 IT 연구소로 출발해 2026년 5월 사명을 알프레드로 변경했다. 지난 10년간 120만 사업자를 대상으로 5000만 건 이상의 세무·상담 데이터를 축적했으며, 이를 기반으로 경리·세무·급여 등 사업자의 백오피스 업무를 직접 수행하는 에이전틱 AI를 개발하고 있다. 2024년 중소벤처기업부 초격차 스타트업에 선정됐고, 2026년 2월에는 중기부가 주관한 ‘OpenData X AI 챌린지’ 소상공인 맞춤형 컨설팅 부문에서 우승했다. 한국투자파트너스, 스톤브릿지벤처스, IBK기업은행, 쿼드벤처스, 키움인베스트먼트 등으로부터 누적 210억원의 투자를 유치했다. 알프레드는 소상공인이 반복 업무에서 벗어나 본업에 집중할 수 있는 환경을 만드는 것을 목표로 한다.
웹사이트: https://www.alfred.kr/
연락처
알프레드
마케팅팀
유소민
이메일 보내기
