“돈을 돌려받는 방법”을 검색하면 두 페이지가 중요한 단어를 공유하지 않더라도 “환불 정책”이라는 제목의 페이지를 찾을 수 있습니다. 이러한 능력은 현대 AI의 가장 유용한 아이디어 중 하나인 임베딩에서 비롯됩니다.

이 가이드에서는 복잡한 계산 없이 임베딩을 설명합니다. Python 3.13에서 작은 예제를 실행했으며 그 출력은 아래와 같습니다. 그 안의 벡터는 우리가 손으로 만든 것으로, 아이디어를 쉽게 볼 수 있도록 각각 세 개의 숫자만 포함되어 있습니다. 실제 임베딩은 훈련된 모델에서 나오며 종종 수백 또는 수천 개의 숫자를 포함합니다.

임베딩이란 무엇입니까?

임베딩은 벡터라고 하는 숫자 목록으로 무언가를 표현한 것입니다. 관련된 의미를 가진 항목이 서로 가까운 벡터를 얻도록 모델이 훈련됩니다.

"kitten"  -> [0.9, 0.8, 0.1]
"cat"     -> [0.9, 0.7, 0.2]
"invoice" -> [0.0, 0.1, 0.9]

텍스트가 이 형식이 되면 컴퓨터는 단어로는 직접 계산할 수 없는 두 텍스트 조각이 얼마나 유사한지 계산할 수 있습니다. 임베딩은 단어에만 국한되지 않습니다. 문장, 문서 전체, 이미지, 오디오, 제품 등을 모두 삽입할 수 있습니다.

키워드만 일치시키면 안 되는 이유는 무엇입니까?

RAG 가이드는 이를 실제로 보여줍니다. 간단한 단어 수 검색에서는 “언제 돈을 돌려받을 수 있나요?”에 대해 0점을 받았습니다. 환불 문서에 대해 아무런 말도 공유하지 않았기 때문입니다. 세 번째 행도 참고하세요. 정확한 식별자는 임베딩의 약점이므로 키워드 검색은 여전히 ​​유효합니다.

지도를 생각해 보세요

위치가 의미를 반영하는 거대한 지도에 모든 단어를 배치한다고 상상해 보세요. “고양이”와 “새끼 고양이”는 거의 나란히 앉아 있고, “개”는 같은 동네에 있고, “송장”은 다른 도시에 있습니다. 관련 단어를 찾으려면 근처를 보면 됩니다.

실제 임베딩은 지도에 2차원이 아닌 수백 개의 차원이 있다는 점을 제외하면 동일한 방식으로 작동합니다. 사람들은 그것을 상상할 수 없지만 수학은 똑같이 작동합니다. 개별 숫자는 일반적으로 “모피”와 같은 깔끔한 의미가 없습니다. 중요한 것은 전반적인 입장이다.

작은 작업 예

손으로 만든 벡터를 비교하는 방법은 다음과 같습니다.

import math

def cosine(a, b):
    dot = sum(x * y for x, y in zip(a, b))
    return dot / (math.sqrt(sum(x * x for x in a)) *
                  math.sqrt(sum(y * y for y in b)))

vectors = {
    "kitten":  [0.9, 0.8, 0.1],
    "cat":     [0.9, 0.7, 0.2],
    "dog":     [0.8, 0.3, 0.2],
    "invoice": [0.0, 0.1, 0.9],
}

for word in ("kitten", "dog", "invoice"):
    print(word, round(cosine(vectors["cat"], vectors[word]), 3))

# kitten 0.994
# dog 0.955
# invoice 0.238

“고양이”에 대해서는 “새끼 고양이”가 가장 높은 점수를 얻었고, “개”가 그 다음, “송장”이 훨씬 낮았습니다. 우리는 해당 패턴을 생성하기 위해 이러한 벡터를 선택했기 때문에 순위는 실제 언어에 대해 아무 것도 증명하지 않습니다. 계산이 어떻게 작동하는지만 보여줍니다. 의미 체계 검색은 쿼리 삽입, 저장된 모든 항목에 대해 점수 매기기, 정렬의 세 단계로 동일한 작업을 수행합니다.

query = [0.85, 0.75, 0.15]
sorted(vectors, key=lambda w: cosine(query, vectors[w]), reverse=True)

# ['kitten', 'cat', 'dog', 'invoice']

코사인 유사성 설명

각 벡터는 원점을 가리키는 화살표로 생각할 수 있습니다. 코사인 유사성은 길이를 무시하고 두 화살표 사이의 각도를 측정합니다. 우리는 핵심 가치를 확인했습니다:

cosine([1, 2, 3], [2, 4, 6])   # 1.0   same direction
cosine([1, 0], [0, 1])         # 0.0   unrelated (at right angles)
cosine([1, 0], [-1, 0])        # -1.0  opposite directions

첫 번째 줄을 보세요. [2, 4, 6]은 [1, 2, 3]보다 두 배 길지만 방향이 중요하기 때문에 점수는 만점 1.0입니다. 이는 길이가 의미보다는 문서 크기 등을 반영할 수 있는 텍스트에 유용합니다. 임계값에도 주의하세요. 모델마다 유효 범위가 다르기 때문에 “유사함”을 의미하는 보편적인 점수는 없으므로 자체 데이터로 테스트하세요.

기타 거리 측정

차이점은 쉽게 알 수 있습니다. 코사인 점수가 1.0인 동일한 두 벡터는 하나가 다른 것보다 길기 때문에 유클리드 거리가 3.742입니다. 많은 시스템이 벡터를 정규화하여 각각의 길이를 1로 조정합니다. 그 후 내적과 코사인은 동일한 답을 제공하고 이를 확인했습니다. 둘 다 “고양이”와 “개”에 대해 0.955를 제공했습니다. 모델이 권장하는 측정값을 확인하려면 모델 설명서를 확인하세요.

임베딩을 학습하는 방법

실제 시스템에서는 누구도 이러한 번호를 직접 할당하지 않습니다. 신경망은 훈련 중에 이를 학습합니다. 초기의 영향력 있는 아이디어는 “I fed my cat” 및 “I fed my dog”와 같이 비슷한 맥락에 나타나는 단어가 유사한 의미를 갖는 경향이 있다는 것입니다. Word2Vec 및 GloVe와 같은 모델은 이러한 패턴에서 단어 벡터를 학습했습니다.

나중에 BERT와 같은 변환기 기반 모델에서는 임베딩이 상황을 인식하도록 하여 “은행”이 “강둑”과 “은행 대출”에서 다른 벡터를 얻을 수 있었습니다. 많은 최신 모델에는 전체 문장이나 구절을 한 번에 삽입합니다. 대규모 언어 모델에 대한 가이드에서는 변환기가 컨텍스트를 처리하는 방법을 설명합니다.

임베딩이 사용되는 곳

대규모 검색

우리의 예는 정확한 검색으로 알려진 모든 항목과 쿼리를 비교했습니다. 이는 수천 개의 항목에 대해서는 잘 작동하지만 수백만 개의 항목에 대해서는 속도가 느려집니다. HNSW와 같은 대략적인 최근접 이웃 (ANN) 지수가 이 문제를 해결합니다. 그들은 가장 좋은 것을 놓칠 가능성을 조금 포기함으로써 매우 가까운 일치를 빠르게 찾습니다.

PostgreSQL용 pgVector와 같은 벡터 데이터베이스 및 확장은 필터링 및 저장과 함께 이러한 인덱스를 제공합니다. 우리의 벡터 데이터베이스 가이드에서는 옵션을 다룹니다. 소규모 프로젝트의 경우 전혀 필요하지 않을 수 있으며, 메모리 내 검색은 시작하기에 아주 좋은 방법입니다.

임베딩 모델 선택

• 언어. 예를 들어 콘텐츠가 힌디어나 타밀어로 되어 있는 경우 모델이 이를 잘 처리하는지 확인하세요.
• 도메인. 일반 모델은 전문적인 법적 또는 의학 용어로 인해 어려움을 겪을 수 있습니다.
• 차원. 차원이 많을수록 더 많은 세부 정보를 캡처할 수 있지만 저장 공간과 메모리 비용이 더 많이 듭니다.
• 비용 및 호스팅. 호스팅된 API를 특히 개인 데이터의 경우 직접 실행할 수 있는 개방형 모델과 비교해 보세요.
• 입력 길이. 모델에는 제한이 있으므로 긴 문서는 먼저 청크로 분할해야 합니다.

가장 좋은 테스트는 자신의 데이터입니다. 찾아야 할 문서와 함께 약 20개의 실제 쿼리를 수집하고 각 모델이 순위를 매기는 방법을 비교합니다. 게시된 벤치마크에는 귀하의 콘텐츠가 반영되지 않을 수 있습니다.

제한사항

• 모델 고정. 서로 다른 모델의 벡터를 비교할 수 없습니다. 모델을 변경하면 모든 것을 다시 포함해야 합니다.
• 정확한 용어. ID, 코드 및 희귀 이름은 확실하게 일치하지 않을 수 있습니다.
• 부정. “환불 허용”과 “환불 허용 안 됨”은 반대 의미에도 불구하고 서로 밀접하게 연결될 수 있습니다.
• 유사하다고 해서 옳다는 뜻은 아닙니다. 가까운 일치가 오래되었거나 단순히 틀렸을 수도 있습니다.
• 편향. 임베딩은 훈련 데이터에서 고정관념을 흡수할 수 있습니다.
• 코사인은 마법이 아닙니다. 연구자들은 이것이 일부 학습된 임베딩에서 얼마나 의미가 있는지 의문을 제기했습니다. 따라서 점수를 진실의 척도가 아닌 유용한 신호로 취급하십시오.

일반적인 실수

• 모델 혼합. 동일한 모델과 버전의 쿼리와 문서를 포함합니다.
• 어디서나 하나의 유사성 임계값을 사용합니다. 각 모델 및 작업에 맞게 조정합니다.
• 큰 문서 전체를 포함합니다. 의미가 희석되므로 먼저 청크하세요.
• 평가 건너뛰기. 테스트 쿼리가 없으면 변경 사항이 도움이 되었는지 알 수 없습니다.
• 모든 것에 임베딩을 사용합니다. 사용자가 정확한 ID를 검색하는 경우 일반 데이터베이스 인덱스가 더 좋습니다.

마무리

임베딩은 의미를 숫자로 변환하므로 소프트웨어는 문자열이 아닌 아이디어를 비교할 수 있습니다. 개념은 간단하지만 실제 작업은 모델 선택, 데이터 청크 분할, 실제 쿼리 테스트에 있습니다. 직접 시도해 보려면 임베딩 모델에 수십 개의 문서를 임베드하고, 실제 질문으로 검색한 후, 어떤 결과가 놀라운지 확인하세요.

자주 묻는 질문

계속 학습하세요