일일보고서를 요약해주는 AI Agent 설계·테스트·운영 Setup
일일보고서 요약 AI Agent는 보고서 수집 → 내용 분석 → 핵심 요약 → 중요 이슈 추출 → 결과 검증 → 자동 배포까지 연결하는 방식으로 설계하면 좋습니다. 실제 운영을 고려하면 단순한 LLM 호출보다 Agent Workflow + RAG + 검증 단계를 함께 구성하는 것이 핵심입니다.
1. 요구사항 정의
먼저 AI Agent가 무엇을 해야 하는지 명확하게 정의합니다. 매일 직원들이 작성한 일일보고서를 수집하고 다음과 같은 결과를 자동 생성하도록 구성할 수 있습니다.
- 오늘의 주요 업무
- 업무 진행률
- 완료 및 미완료 업무
- 주요 이슈 및 장애
- 의사결정이 필요한 사항
- 내일 예정 업무
- 부서별 주요 내용
- 경영진용 핵심 요약
입력 데이터는 Word, PDF, Excel, 이메일, 사내 게시판, Google Drive, SharePoint 등으로 확장할 수 있습니다.
2. 전체 아키텍처 설계
기본적인 구조는 다음과 같이 구성할 수 있습니다.
[일일보고서]
↓
[데이터 수집 Agent]
↓
[문서 파싱 / 정제]
↓
[업무별 분류]
↓
[LLM 요약 Agent]
↓
[사실 검증 Agent]
↓
[중요도 / 이슈 분석]
↓
[최종 보고서 생성]
↓
[메일 / Slack / Teams / Dashboard]
하나의 거대한 Agent를 만드는 것보다 Collector Agent, Summarizer Agent, Verifier Agent, Reporter Agent처럼 작업을 작은 Agent로 분리하는 것이 유지보수와 확장에 유리합니다.
3. 개발 환경 Setup
Python 기반으로 개발한다면 다음과 같은 환경을 구성할 수 있습니다.
python -m venv .venv # Windows .venv\Scripts\activate pip install langgraph langchain pip install fastapi uvicorn pip install pydantic pip install pandas openpyxl pip install pypdf python-docx
LLM은 OpenAI, Anthropic, Google 등의 API를 사용할 수 있으며, 사내 보안이 중요한 환경에서는 온프레미스 LLM이나 사내 추론 서버를 사용할 수도 있습니다.
프로젝트 디렉터리는 다음과 같이 구성할 수 있습니다.
daily-report-agent/ ├─ agents/ │ ├─ collector.py │ ├─ summarizer.py │ ├─ verifier.py │ └─ reporter.py ├─ data/ ├─ prompts/ ├─ tests/ ├─ config.py ├─ workflow.py └─ main.py
4. 보고서 수집 Agent 개발
첫 번째 Agent는 여러 위치에서 보고서를 가져오는 역할을 담당합니다.
def collect_reports():
reports = load_files("./data")
return reports
실제 운영에서는 이메일 첨부파일이나 사내 시스템 API와 연결합니다. 수집 후에는 작성자, 부서, 작성일, 프로젝트, 원본 파일, 보고서 내용 등의 메타데이터를 함께 저장합니다.
이 정보가 있어야 나중에 어느 부서에서 어떤 문제가 발생했는지 또는 특정 프로젝트의 진행 상황이 어떻게 변했는지를 분석할 수 있습니다.
5. 요약 Agent 설계
LLM에게 단순히 "요약해줘"라고 요청하기보다는 출력 형식을 구조화하는 것이 중요합니다. 예를 들어 다음과 같은 JSON 형태로 결과를 생성하도록 설계할 수 있습니다.
{
"summary": "핵심 업무 요약",
"completed": [],
"in_progress": [],
"issues": [],
"risks": [],
"tomorrow": [],
"importance": "HIGH"
}
구조화된 결과를 사용하면 이후 프로그램에서 데이터를 쉽게 처리할 수 있습니다. 특히 프롬프트에는 원문에 없는 사실을 추가하지 말 것, 추측과 사실을 구분할 것, 중요한 숫자와 날짜를 변경하지 말 것 등의 규칙을 포함하는 것이 좋습니다.
6. 검증 Agent 추가
업무용 AI Agent에서 가장 중요한 단계 중 하나입니다. LLM은 자연스러운 문장을 생성하지만 원문에 없는 내용을 만들어낼 가능성이 있으므로 요약 결과를 다시 원본과 비교해야 합니다.
원본 보고서
↓
요약 Agent
↓
검증 Agent
↓
PASS → 최종 보고서
FAIL → 재요약
검증 항목은 숫자 오류, 날짜 오류, 담당자 오류, 원문에 없는 사실 포함 여부, 중요 이슈 누락 여부 등으로 구성할 수 있습니다. 이 과정을 추가하면 단순한 LLM 호출보다 업무 시스템으로서의 신뢰성을 높일 수 있습니다.
7. Agent Workflow 구성
LangGraph와 같은 Workflow 프레임워크를 이용하면 각 단계를 연결할 수 있습니다.
START
↓
Collect
↓
Parse
↓
Summarize
↓
Verify
↓
[검증 실패?]
├─ YES → Summarize
└─ NO
↓
Generate Report
↓
Send
↓
END
이 구조의 장점은 특정 Agent만 교체하기 쉽다는 것입니다. 예를 들어 GPT 기반 요약 Agent를 다른 LLM으로 교체하더라도 전체 시스템을 다시 개발할 필요가 없습니다.
8. 테스트 단계
운영 전에 최소 50~100개의 과거 일일보고서를 테스트 데이터로 사용하는 것을 권장합니다.
| 평가 항목 | 목표 |
|---|---|
| 핵심 내용 보존율 | 95% 이상 |
| 사실 오류율 | 1% 이하 |
| 중요 이슈 누락률 | 5% 이하 |
| 요약 길이 | 원문의 20~30% |
| 처리 시간 | 보고서당 수초~수십초 |
특히 사람이 작성한 기존 요약본이 있다면 이를 Ground Truth로 활용해 AI의 요약 품질을 평가하는 것이 좋습니다.
9. 운영 환경 구축
테스트가 끝나면 매일 정해진 시간에 Agent가 자동 실행되도록 구성합니다.
09:00 Scheduler
↓
보고서 수집
↓
AI 분석
↓
검증
↓
경영진 요약
↓
Email / Teams / Slack
운영 환경에서는 FastAPI + Docker + Scheduler + Database + Logging 구조를 적용할 수 있습니다.
또한 실행 시간, 보고서 수, 사용 LLM 모델, 사용 토큰, 처리 시간, 검증 결과, 오류 내용, 최종 결과 등을 로그로 기록해야 합니다. 이를 통해 Agent의 비용과 품질을 지속적으로 관리할 수 있습니다.
10. 운영 후 고도화
초기에는 단순 요약 기능으로 시작하고 운영 데이터가 쌓이면 기능을 단계적으로 확장하는 것이 좋습니다.
- 1단계: 보고서 자동 요약
- 2단계: 부서별 요약
- 3단계: 이슈 및 위험 탐지
- 4단계: 전일 대비 변화 분석
- 5단계: 반복되는 문제 자동 탐색
- 6단계: 경영진 의사결정 지원 Agent
일일보고서 요약 AI Agent의 최종 목표는 단순히 보고서의 분량을 줄이는 것이 아닙니다. "오늘 회사에서 어떤 일이 발생했고, 무엇이 중요하며, 무엇을 결정해야 하는가?"를 자동으로 알려주는 업무 분석 시스템으로 발전시키는 것이 핵심입니다.
실제 업무에 적용할 때는 원본 데이터 접근권한, 개인정보 및 기밀정보 보호, LLM 환각 검증, 결과에 대한 감사 로그를 초기 설계부터 포함해야 합니다. 이를 기반으로 설계 → 개발 → 테스트 → 시범운영 → 정식운영 → 지속적인 평가 및 개선의 순서로 구축하면 안정적인 일일보고서 AI Agent를 만들 수 있습니다. 다음 블로그에서는 단계별 세분화 하여 LLM 모델을 활용하여 보고서 요약 Web UI를 구축하는 과정을 기술해 보겠습니다.
'프로그래밍 기술' 카테고리의 다른 글
| React 프론트 엔드 개발: 개념과 활용 기초 (0) | 2026.01.04 |
|---|---|
| 데이터 분석 프로세스 마이닝 (Process Mining) 활용: PM4Py (0) | 2025.11.16 |
| 데이터 분석 프로세스 마이닝 (Process Mining) 개요 (0) | 2025.11.09 |
| 웹 애플리케이션 Web Application 개발과 도구 (0) | 2025.09.07 |
| [MFC] BITMAP 이미지 구조 및 생성 과정 이해하고 활용하기 (0) | 2025.06.26 |