배포 전 평가와 승인 기준을 정의하고, 운영 중에는 실행 이력과 품질, 성능과 비용, 장애와 변경을 지속적으로 관리합니다. 고객의 운영 모델에 따라 AgentOps 기반 구축과 Managed Operations를 제공합니다.
업무에 배포된 Agent는 답변을 생성하는 데 그치지 않고 데이터에 접근하고 도구를 실행하며 후속 업무에 영향을 줍니다. 품질뿐 아니라 실행 권한, 추적 가능성, 비용과 장애 대응까지 함께 관리해야 합니다.
대표 업무와 예외 상황에서 정확성, 완전성, 일관성과 재현성을 평가합니다.
사용자와 Agent의 데이터 접근, 도구 실행, 검토·승인과 자동화 범위를 통제합니다.
입력과 참조 정보, 모델 응답, 도구 호출, 실행 결과와 사용자 조치를 추적합니다.
응답 시간과 비용, 오류와 장애, 변경과 복구를 서비스 운영 기준으로 관리합니다.
Evaluation Set과 평가 지표, 배포 승인 조건을 정의하고 변경 전후의 회귀 테스트를 수행합니다.
실행 Trace, 응답 품질, 도구 호출, 지연 시간, 오류와 사용 패턴을 관측합니다.
데이터·모델·도구별 권한과 금지 조건, 사람의 검토가 필요한 업무를 정책으로 관리합니다.
모델과 도구별 사용량, 처리 시간과 비용을 분석하고 품질과 효율의 균형을 조정합니다.
장애 등급과 알림, 영향 분석, 중단·우회·복구와 서비스 재개 절차를 정의합니다.
Model·Prompt·Skill·Knowledge·Tool의 버전, 변경 승인, 배포와 롤백을 관리합니다.
수치가 잘못된 이유는 원천 데이터, 지표 정의, 검색, 계산 중 어디에나 있을 수 있습니다. Agent의 답변만 채점해서는 무엇을 고쳐야 할지 알기 어렵습니다. 실행 과정의 근거를 확인하고, 원인에 맞는 변경을 검증하는 것이 운영 평가의 핵심입니다.
실패한 질문만 고치다 보면 기존에 맞던 결과가 달라질 수 있습니다. 대표 업무와 예외 상황을 회귀 테스트에 포함하고, 개발 중 사용하지 않은 평가 사례로도 확인합니다. 비교할 버전, 데이터 기준일과 기대 결과를 고정해 변경 효과를 구분합니다.
합계와 계산식, 입력 형식, 권한은 코드와 규칙으로 검사합니다. 설명의 적절성은 전문가 검토를 기준으로 평가하며 LLM의 채점을 보조적으로 활용할 수 있습니다. 평가 방식은 확인하려는 오류의 성격에 맞춰 선택합니다.
Execution Trace에서 참조 문서, 적용 규칙·모델 버전, Tool의 입력과 결과를 확인합니다. 이를 바탕으로 지식 누락, 검색 실패, 계산 오류와 실행 장애를 구분합니다. 로그에는 필요한 정보만 남기고 민감정보 마스킹과 접근권한을 적용합니다.
변경 전후를 같은 조건에서 비교하고 정확성, 중대한 오류, 응답 시간과 비용을 검토합니다. 승인한 버전부터 제한된 업무에 적용하며, 중단·복구 기준을 정해 운영 중 문제가 생겼을 때 대응합니다.
검색 실패는 다시 시도할 수 있지만, 주문 등록을 반복하면 중복 거래가 생길 수 있습니다. 작업별 재시도 조건과 횟수, 시간·비용 한도를 정하고 외부 변경에는 중복 실행 방지를 적용합니다. 한도를 넘거나 근거가 부족하면 담당자에게 이관합니다.
누락된 업무 규칙은 Knowledge에, 잘못된 분석 순서는 Skill이나 Tool에 반영할 수 있습니다. 변경 후보의 근거와 영향 범위를 검토하고 테스트·승인 후 배포합니다. 모델 가중치를 바꾸는 학습은 이 과정과 구분해 별도로 검토합니다.
운영 기록은 개선을 위한 자료입니다. Knowledge·Skill의 승인된 변경과 모델 학습을 구분하며, 평가 기준 자체의 변경도 이력으로 남깁니다. 개발 방법론 보기 →
AgentOps는 운영에 필요한 관리 체계를 설계하고 구현하는 영역입니다. Managed Operations는 합의된 범위와 서비스 수준에 따라 실제 운영 업무를 수행하는 Application Service입니다.
평가 체계와 Release Gate, Trace와 Dashboard, 권한·통제 정책, 변경·장애 절차와 운영 Runbook을 구축합니다.
모니터링과 품질 점검, 장애 대응, Release·Change, 성능·비용 최적화와 정기 운영 보고를 수행합니다.
가용성, 실행 상태, 오류, 지연 시간과 주요 운영 지표를 관측하고 이상 징후를 알립니다.
정기 평가와 표본 검토를 통해 품질 변화를 확인하고 개선이 필요한 항목을 관리합니다.
장애 접수와 등급 분류, 영향 분석, 우회·복구와 재발 방지 조치를 관리합니다.
변경 요청과 영향 평가, 테스트, 배포 승인, 버전 기록과 롤백 절차를 운영합니다.
모델과 도구의 사용량, 처리 성능과 비용을 분석해 운영 효율을 개선합니다.
승인된 업무 규칙과 예외, Knowledge와 Agent Skill의 변경을 검증해 반영합니다.
운영 대상, 업무 중요도와 지원 조직을 확인한 뒤 서비스 시간과 장애 등급, 대응·복구 기준, 변경 절차와 정기 보고 범위를 합의합니다.
지원할 Agent와 Application, 데이터·모델·도구, 운영 환경과 제외 대상을 정합니다.
업무 영향에 따른 장애 등급과 통보, 초기 대응, 우회와 복구 기준을 정합니다.
정기·긴급 변경의 승인 절차, 배포 시간, 검증과 롤백 조건을 정합니다.
품질, 사용량, 비용, 장애와 변경 내역을 정기적으로 검토하고 개선 계획을 관리합니다.
운영 중이거나 배포를 준비하는 Agent의 적용 업무와 사용자, 연결 데이터·도구, 현재 평가·모니터링·변경 절차를 바탕으로 필요한 AgentOps와 Managed Operations 범위를 정합니다.
AgentOps 운영 상담하기 →