Embedding 모델의 개념과 RAG 파이프라인에서의 역할
RAG(Retrieval-Augmented Generation) 시스템이나 AI 자동화 파이프라인에서 검색 성능을 결정짓는 첫 단추는 바로 임베딩(Embedding) 모델입니다. 임베딩 모델은 인간이 사용하는 자연어(텍스트)를 컴퓨터가 이해하고 연산할 수 있도록 수백에서 수천 차원의 고정된 크기의 벡터(숫자 배열)로 변환하는 역할을 수행합니다.
임베딩 과정을 거치면 텍스트는 다차원 벡터 공간의 한 점으로 좌표화됩니다. 검색 엔진은 사용자의 질문이 들어왔을 때, 질문의 벡터 좌표와 가장 가까운 거리에 위치한 문서 벡터들을 찾아내어 LLM에 전달합니다. 따라서 어떤 임베딩 모델을 선택하느냐에 따라 텍스트의 좌표가 완전히 다르게 찍히며, 이는 전체 시스템의 검색 정확도를 바꾸는 결정적인 요인이 됩니다.
Embedding 모델 선택이 검색 성능을 좌우하는 원인
시장에는 다양한 오픈소스 및 상용 임베딩 모델이 존재하며, 모델마다 학습된 데이터, 아키텍처, 차원의 크기가 다릅니다. 이 차이점이 검색 성능을 바꾸는 구체적인 이유는 다음과 같습니다.
- 차원 수(Dimensionality)와 정보 압축력의 차이: 모델마다 텍스트를 압축하는 벡터의 차원 수(예: 384, 768, 1536차원 등)가 다릅니다. 차원 수가 클수록 문장이 가진 복잡하고 미묘한 맥락을 더 풍부하게 담아낼 수 있지만 연산 속도와 저장 비용이 증가합니다. 반면 차원 수가 너무 작으면 정보 손실이 발생하여 검색 정밀도가 떨어집니다.
- 사전 학습 데이터(Pre-training Data)의 도메인 연관성: 임베딩 모델이 탄생하기까지 어떤 데이터를 보고 학습했는지가 중요합니다. 일반적인 위키피디아나 뉴스 기사로만 학습된 모델은 법률 문서, 의학 논문, IT 소스코드 등 전문적인 도메인 지식이 포함된 텍스트를 입력받았을 때 단어의 핵심 의미를 왜곡하여 벡터 공간에 배치하는 오류를 범합니다.
- 언어별 지원 능력과 토큰화 방식의 차이: 다국어(Multilingual) 모델이 아닌 영어 중심 모델을 한국어 텍스트에 적용하면 형태소 분석이나 단어 분리가 제대로 이루어지지 않습니다. 이는 한국어 문장의 의미를 엉뚱한 벡터 좌표로 표현하게 만들어 검색 엔진이 관련 없는 문서를 반환하게 만드는 주원인이 됩니다.
텍스트 매칭과 벡터 공간의 이해
임베딩 모델의 성능이 뛰어날수록 단순한 단어의 일치를 넘어 문장 이면에 숨겨진 ‘의도와 맥락’을 찾아내는 능력이 향상됩니다.
- 동의어 및 문맥적 유사성 파악
- 고성능 임베딩 모델은 “컴퓨터가 너무 느려졌어”라는 문장과 “PC 성능 저하 현상 해결 방법”이라는 문장이 형태적으로는 완전히 다르지만, 의미론적으로 매우 유사하다는 것을 인지하고 벡터 공간에서 두 문장을 가까운 거리에 배치합니다. 성능이 낮은 모델은 단어가 일치하지 않으면 두 문장의 연관성을 전혀 찾아내지 못합니다.
- 다의어의 정확한 분리
- “금융 기관인 은행”과 “가을에 떨어지는 은행나무 열매”에서 ‘은행’이라는 단어는 동음이의어입니다. 우수한 임베딩 모델은 주변 단어들의 맥락을 함께 분석하여, 두 ‘은행’을 벡터 공간에서 완전히 다른 영역으로 격리시킵니다. 이를 통해 사용자가 금융 관련 질문을 했을 때 식물 관련 문서가 검색되는 배달 사고를 막아줍니다.
Embedding 모델 선택 시 핵심 고려 기준
AI 자동화 시스템의 목적과 인프라 환경에 맞춰 최적의 임베딩 모델을 선별하기 위한 기준을 정립해야 합니다.
- Matryoshka Representation Learning(MRL) 지원 여부: 최신 임베딩 모델 중에는 마트료시카 임베딩을 지원하는 모델이 있습니다. 이는 큰 차원(예: 1536차원)으로 생성된 벡터를 시스템 환경에 따라 앞부분만 잘라서 작은 차원(예: 256차원)으로 축소해 사용해도 검색 성능이 크게 저하되지 않도록 설계된 기술입니다. 데이터베이스 용량과 비용을 극적으로 아낄 수 있는 기준이 됩니다.
- 최대 입력 토큰 한도(Context Window): 임베딩 모델이 한 번에 받아들일 수 있는 텍스트의 길이가 모델마다 제한되어 있습니다. 청크 크기를 1,000토큰으로 설정했는데 임베딩 모델의 한도가 512토큰이라면 나머지 텍스트는 잘려 나간 채 임베딩되므로 뒤쪽 내용은 검색에서 완전히 소외됩니다.
- MTEB(Massive Text Embedding Benchmark) 순위 확인: 글로벌 임베딩 모델들의 성능을 다양한 검색 작업별로 순위를 매겨둔 벤치마크 점수를 참고하는 것이 좋습니다. 다만, 영어 기준의 점수가 높다고 해서 한국어 성능까지 무조건 담보하는 것은 아니므로 다국어 성능이나 한국어 특화 벤치마크(Ko-MTEB) 결과를 교차 검증해야 합니다.
성공적인 임베딩 최적화를 위한 아키텍처 전략
모델 선택 이후에도 검색 성능을 지속적으로 유지하고 개선하기 위해 다음과 같은 운영 전략이 결합되어야 합니다.
- 상용 API 모델과 오픈소스 자체 구축 모델의 비용 비교
- 데이터의 양이 적고 빠른 구현이 필요하다면 OpenAI나 Cohere 같은 빅테크 기업의 유료 API 임베딩 모델을 사용하는 것이 시간 대비 효율적입니다. 그러나 수천만 건 이상의 대규모 문서를 실시간으로 인덱싱해야 한다면 Hugging Face의 고성능 오픈소스 모델을 사내 서버에 직접 서빙하는 것이 장기적인 비용 면에서 유리합니다.
- 도메인 특화 파인튜닝(Fine-tuning) 검토
- 사내 매뉴얼, 특정 기업의 제품 품번, 특수 보안 용어 등 일반적인 모델이 알 수 없는 고유 데이터가 주를 이룬다면, 범용 임베딩 모델을 그대로 쓰기보다 해당 데이터를 활용해 대조 학습(Contrastive Learning) 방식으로 모델을 가볍게 파인튜닝하는 것이 검색 정확도를 올리는 가장 확실한 방법입니다.