AI Agent 아키텍처: Tool Use, Planning, Memory 설계 패턴

AI Agent는 LLM에 도구 사용(Tool Use), 계획 수립(Planning), 기억(Memory) 능력을 결합하여 복잡한 작업을 자율적으로 수행하는 시스템입니다. 단순 질의응답을 넘어 "생각하고, 행동하고, 관찰하는" 루프를 반복합니다.핵심 요약AI Agent는 LLM + Tool Use + Planning + Memory + Control Loop의 조합으로 구성됩니다.Tool Use는 LLM이 외부 시스템과 상호작용하는 인터페이스이며, MCP(Model Context Protocol)가 도구 연동 표준으로 자리잡고 있습니다.Planning 패턴은 단순한 ReAct(Think→Act→Observe)부터 Plan-and-Execute, Multi-Agent 오케스트레이션까지 복잡도에 따라 선택합..

RAG의 응답 품질은 검색 품질에 의해 결정됩니다. 아무리 좋은 LLM을 사용해도, 검색 단계에서 관련 문서를 가져오지 못하면 정확한 답변을 생성할 수 없습니다. 이 글에서는 검색 품질을 개선하는 세 가지 핵심 전략을 다룹니다.핵심 요약순수 벡터 검색(Dense Retrieval)만으로는 키워드 매칭이 필요한 질문에 취약합니다. BM25와 결합한 Hybrid Search로 커버리지를 높일 수 있습니다.검색 결과의 순위를 Cross-encoder로 재정렬하는 Reranking은 적은 비용으로 정밀도를 높이는 효과적인 방법입니다.사용자 질문을 그대로 검색하지 않고, LLM으로 변환하는 Query Transformation은 질문-문서 간 의미 격차를 줄입니다.세 전략은 독립적이지 않으며, Hybrid Sea..

Chunking은 RAG 시스템에서 원본 문서를 검색 가능한 단위로 분할하는 과정입니다. Chunk 크기와 분할 방식은 검색 정밀도, 응답 품질, 비용에 직접적인 영향을 미칩니다.핵심 요약Chunking은 RAG 파이프라인에서 검색 품질을 결정하는 가장 중요한 단일 변수입니다.Chunk가 너무 작으면 문맥이 유실되고, 너무 크면 노이즈가 섞여 검색 정밀도가 떨어집니다.전략 선택은 문서 구조, 질문 유형, 응답 요구사항에 따라 달라집니다.운영 환경에서는 단일 전략보다 Overlap, Parent-Child, Metadata 보강을 조합하는 것이 일반적입니다.Chunk 크기는 이론적 정답이 없으므로, 평가 데이터셋을 기반으로 실험하고 측정하는 방식이 필요합니다.1. 왜 Chunking이 중요한가RAG 시스템..

LLM을 우리 데이터에 맞게 활용하려면 RAG와 Fine-tuning 중 어떤 방식을 선택해야 하는지, 비용·운영·품질 관점에서 판단 기준을 정리합니다.핵심 요약RAG는 외부 지식을 검색하여 프롬프트에 제공하는 방식이고, Fine-tuning은 모델 자체를 추가 학습시키는 방식입니다.자주 변경되는 지식 기반 시스템에는 RAG가, 특정 도메인의 언어 패턴이나 출력 형식을 학습시켜야 할 때는 Fine-tuning이 적합합니다.두 방식은 상호 배타적이지 않으며, 운영 환경에서는 결합하여 사용하는 경우도 있습니다.선택 기준은 "모델이 무엇을 알아야 하는가(지식)" vs "모델이 어떻게 답해야 하는가(행동)"로 구분할 수 있습니다.비용, 운영 복잡도, 데이터 보안 요건에 따라 최적 전략이 달라집니다.1. 문제 상..

AWS Bedrock Knowledge Bases를 중심으로 사내 문서 기반 RAG 챗봇을 설계할 때, 어떤 서비스를 선택하고 어떻게 연결하는지를 아키텍처 관점에서 정리합니다.핵심 요약AWS Bedrock Knowledge Bases는 S3 문서를 자동으로 Chunking → Embedding → 벡터 저장까지 처리하는 관리형 RAG 파이프라인입니다.벡터 저장소로 OpenSearch Serverless를 사용하며, VPC 내부에서 프라이빗하게 통신할 수 있습니다.Bedrock Agent를 결합하면 단순 Q&A를 넘어 외부 API 호출, 다단계 추론이 가능한 챗봇을 구성할 수 있습니다.데이터 유출 방지를 위해 VPC Endpoint, IAM 최소 권한, S3 버킷 정책, Guardrails를 조합하여 보안..

LLM 기반 서비스를 운영할 때 반드시 고려해야 할 보안 위협과, 각 위협에 대한 실무 방어 전략을 정리합니다.핵심 요약LLM 기반 애플리케이션은 기존 웹 애플리케이션과 다른 공격 표면(Attack Surface)을 가집니다.Prompt Injection은 사용자 입력으로 시스템 프롬프트를 우회하거나 의도하지 않은 동작을 유발하는 공격입니다.Indirect Injection은 외부 데이터(RAG 문서, 웹 검색 결과 등)에 악의적 지시를 삽입하는 공격입니다.데이터 유출은 시스템 프롬프트, 학습 데이터, 사용자 대화 내역이 외부로 노출되는 위험입니다.단일 방어 수단으로는 충분하지 않으며, 입력 검증 + 출력 필터링 + 권한 분리를 조합해야 합니다.1. 왜 AI 애플리케이션 보안이 다른가사내 챗봇을 만들어서..