당신의 모델. 당신의 엔드포인트. 당신의 비용 곡선.

모델은 설정 항목이지, 아키텍처가 아닙니다

대부분의 에이전트 플랫폼은 하나의 모델 계열 위에 세워지고, 그 모델의 전제를 함께 물려받습니다. 컨텍스트 윈도우, 도구 호출 형식, 가격까지 전부요. 그러면 모델을 갈아 끼우는 일은 플랫폼을 다시 만드는 일이 됩니다.

여기서 모델은 게이트웨이 뒤에 있습니다. 백엔드는 테이블의 한 행일 뿐입니다. base URL 하나, 키 하나, 모델 이름 하나, 종류 하나, 가중치 하나. 백엔드를 늘리는 것은 설정 변경이지 배포가 아닙니다. 당신의 에이전트와 프롬프트, 지식베이스와 Skill은 방금 어떤 모델이 답했는지 알지도 못하고 알 필요도 없습니다.

작은 오픈 모델은 정해진 방식으로 깨집니다

"오픈 모델을 지원합니다"라는 말은 하기 쉽고, 대개는 "HTTP 호출이 성공한다"는 뜻에 그칩니다. 진짜 문제는 한참 뒤에, 운영 환경의 도구 호출 경로에서 드러납니다. 그중 네 가지는 충분히 흔해서 저희가 직접 대비해 두었습니다.

도구 호출이 텍스트로 옵니다. 적지 않은 오픈 모델이 구조화된 tool_calls 필드를 무시하고, 호출을 XML이나 JSON으로 응답 본문에 써 넣습니다. 그대로 두면 사용자에게는 마크업 덩어리만 보이고 실행되는 것은 없습니다. agent4.io는 두 형식을 모두 파싱해 도구를 실행하고, 마크업을 걷어 내 최종 사용자에게 닿지 않게 합니다.

스트리밍된 도구 호출이 조각으로 옵니다. OpenAI 호환 서버들은 도구 호출을 스트리밍 청크로 어떻게 자를지에 대해 서로 다르게 동작합니다. 조각은 무엇이 실행되기 전에 인덱스 기준으로 다시 조립됩니다.

컨텍스트 윈도우가 훨씬 작습니다. 32K 윈도우 모델을 100만 토큰 모델처럼 부릴 수는 없습니다. 사용 가능한 입력 예산은 빌드 시점에 하드코딩한 숫자가 아니라, 시작 시 실제로 탐지한 윈도우에서 출력 예약분과 안전 여유를 뺀 값에서 산출됩니다.

추론이 답을 잡아먹습니다. 답하기 전에 생각하는 모델에서는, 순진하게 잡은 출력 예산이 추론 과정에 모두 소진되고 정작 진짜 답이 잘려 나갑니다. 그래서 예산을 그만큼 올려 잡습니다.

어떻게 작동하는지 자세히 보기. 이게 정말 되는 이야기냐는 질문을 받게 될 팀 내 그 사람을 위한 엔지니어링 설명입니다.

벤더가 아니라 업무 기준으로 배분하십시오

모든 단계에 같은 모델이 필요하지는 않습니다. 분류와 추출, 정형적인 응답은 작은 모델에서도 잘 돌아가고, 까다로운 추론 단계는 그렇지 않을 수 있습니다. 백엔드가 종류와 가중치를 달고 있으므로, 여러 모델을 나란히 돌리면서 각 업무를 있어야 할 자리에 놓을 수 있습니다.

당신의 업계 말을 하는 모델

범용 모델은 맞는 말을 하면서도 어딘가 어색하게 들릴 수 있습니다. 행정사, 보험 언더라이터, 영상의학과 전문의에게는 각자의 어휘와 말투, 질문을 던지는 순서가 있고, 그것은 외부인이 흉내 낼 수 없으며 동료는 한 번에 알아봅니다. 검색은 사실을 바로잡습니다. 그러나 억양까지 바로잡지는 못합니다.

모델이 설정 항목이기 때문에, 업계에 맞게 파인튜닝한 모델은 다른 것을 하나도 건드리지 않고 그대로 들어옵니다. 같은 에이전트, 같은 지식베이스, 같은 경계, 그 뒤에 더 나은 감각이 붙는 것입니다.

파인튜닝이 무엇인지 짧게 말하면. 그 분야의 좋은 실무자가 내놓았을 답변 예시로 베이스 모델을 이어서 학습시키는 것입니다. 모델의 기본값이 옮겨 갑니다. 먼저 고르는 단어, 답변의 모양, 답하기 전에 되묻는 내용이 달라집니다. 실무에서 이것은 대체로 어댑터(LoRA)입니다. 얼어붙은 베이스 모델 위에 올린 수십 메가바이트짜리 파일이지, 완전히 새로운 모델이 아닙니다. 따라서 하나의 베이스 모델이 여러 어댑터를 받칠 수 있습니다. 같은 장비가 법무법인의 것과 병원의 것을 함께 돌리며, 테넌트마다 작은 파일 하나를 바꿔 끼웁니다.

파인튜닝은 데이터베이스가 아닙니다. 무언가를 저장했다가 꺼내 오는 것이 아닙니다. 아래 표는 결국 이 구분에 관한 이야기이고, 이것을 잘못 이해하는 것이 이런 프로젝트가 실패하는 방식입니다.

파인튜닝이 다루는 것과 다루지 않는 것:

제대로 하려면 세 가지가 필요합니다. 그 분야를 아는 사람이 검수한 수백 건의 실제 예시, 별도로 떼어 둔 평가 세트(없으면 튜닝이 도움이 됐는지 아무도 말할 수 없습니다), 그리고 베이스 모델이 바뀌었을 때 다시 할 계획입니다. 파인튜닝이 무엇인지 전부 보기. 더 나은 프롬프트로 충분했을 경우까지 함께 다룹니다.

파인튜닝은 요금제에 포함된 기능이 아니라 유상 프로젝트입니다. 범위는 보유한 자료의 양, 업종, 그리고 어디서 돌려야 하는지에 따라 달라집니다. 무엇이 필요할지 문의해 주십시오.

이것이 비용에 대해 바꾸는 것

토큰 가격은 대부분의 에이전트 프로젝트를 끝장내는 반론입니다. 파일럿은 싸고, 전사 확대는 그렇지 않습니다. 모델을 플랫폼에서 떼어 내면 레버가 하나도 없던 자리에 세 개가 생깁니다. 물량이 많고 위험이 낮은 트래픽은 더 싼 모델로 옮기고, 오픈 웨이트는 이미 보유한 하드웨어에서 돌리고, 강한 모델은 그럴 값어치를 하는 일에 남겨 두는 것입니다.

핵심은 오픈 모델이 언제나 정답이라는 이야기가 아닙니다. 그 결정이 계속 당신의 것이고, 언제든 되돌릴 수 있다는 이야기입니다.