채팅하고, 요약하고, 코드를 작성하는 도구는 아래의 메커니즘을 보기 전까지는 거의 마술처럼 보입니다. 대형 언어 모델, 즉 LLM은 본질적으로 다음 텍스트를 예측하기 위한 매우 정교한 시스템입니다. 이 하나의 아이디어는 이러한 도구의 기능과 작동 방식이 실패하는 이유를 모두 설명합니다.

이 가이드에서는 수학 없이 주요 개념을 설명한 다음 작은 다음 단어 예측 도구를 구축하여 아이디어를 구체적으로 만듭니다. 우리는 Python 3.13에서 해당 코드를 실행했고, 해당 실행에서 출력이 나왔습니다. 이는 신경망이라기보다는 단순한 계산 장난감이며, 실제 LLM은 훨씬 더 많은 능력을 갖추고 있습니다. 또한 특정 모델에 대한 수치는 빠르게 변경되므로 인용을 피합니다.

대규모 언어 모델이란 무엇입니까?

LLM은 인간의 언어를 이해하고 생성하도록 훈련된 인공 지능의 한 유형입니다. 한 번에 한 단어씩 이름을 살펴보겠습니다.

• 대형: 매개변수라고 하는 조정 가능한 내부 값이 엄청나게 많고, 엄청난 양의 텍스트를 통해 학습합니다.
• 언어: 자연어 및 코드를 포함한 텍스트와 함께 작동합니다.
• 모델: 데이터에서 패턴을 포착하고 이를 사용하여 예측하는 수학적 시스템입니다.

모델은 엔진이고, 채팅 도우미와 같은 제품은 모델을 중심으로 만들어진 자동차입니다. 제품에는 사용자 인터페이스, 안전 시스템, 검색 및 기타 도구가 추가되는 경우가 많습니다.

핵심 아이디어: 다음에 무엇이 올지 예측

당신은 이것을 스스로한다. ‘프랑스의 수도는’이라고 읽으면 바로 ‘파리’가 떠오른다. LLM은 비슷한 일을 하지만 훨씬 더 큰 규모로 수행합니다. 일부 텍스트가 주어지면 가능한 각 다음 토큰의 가능성을 계산하고 하나를 선택하여 텍스트에 추가하고 반복합니다.

조회 중인 저장된 답변의 데이터베이스가 없습니다. 모델은 학습 중에 학습된 패턴을 숫자 형태로 보유합니다. 그 패턴이 진실과 일치하면 정답을 얻게 됩니다. 그렇지 않은 경우에도 유창한 답변을 얻을 수 있으며 이는 검색 엔진과의 중요한 차이점입니다.

작은 작업 데모

가장 간단한 형태로 다음 토큰 예측을 보기 위해 이 스크립트는 작은 텍스트에서 어떤 단어가 뒤에 오는지 계산합니다. 그런 다음 해당 개수에서 새 텍스트를 생성합니다. 통계학자들은 이것을 바이그램 모델이라고 부릅니다.

import random
from collections import Counter, defaultdict

TEXT = """the cat sat on the mat . the dog sat on the rug .
the cat saw the dog . the dog saw the cat ."""

tokens = TEXT.split()

follows = defaultdict(Counter)
for current, following in zip(tokens, tokens[1:]):
    follows[current][following] += 1

def probabilities(word):
    counts = follows[word]
    total = sum(counts.values())
    return {w: round(n / total, 2) for w, n in counts.most_common()}

print(probabilities("the"))
print(probabilities("sat"))

# {'cat': 0.38, 'dog': 0.38, 'mat': 0.12, 'rug': 0.12}
# {'on': 1.0}

그 출력은 확률 분포입니다. 모델은 “the” 다음으로 “cat”과 “dog”를 가장 가능성이 높은 것으로 간주합니다. 이제 해당 확률을 반복적으로 샘플링하여 텍스트를 생성합니다.

def generate(start, length, seed):
    rng = random.Random(seed)
    words = [start]
    for _ in range(length):
        counts = follows[words[-1]]
        words.append(rng.choices(list(counts), weights=counts.values())[0])
    return " ".join(words)

print(generate("the", 6, seed=1))
print(generate("the", 6, seed=2))
print(generate("the", 6, seed=3))

# the cat . the cat saw the
# the rug . the cat . the
# the cat saw the dog . the

세 가지를 주목하세요. 선택이 무작위이기 때문에 동일한 시작으로 다른 텍스트가 생성될 수 있습니다. 출력은 전혀 나타나지 않은 시퀀스의 경우에도 훈련 데이터와 유사합니다. 그리고 그것은 전혀 이해가 없기 때문에 “양탄자 . 고양이”가 말도 안되는 것처럼 읽혀집니다.

본 적이 없는 단어에 대해 물어보고 제공할 것이 없습니다. follows["elephant"]은 비어 있습니다. 우리 장난감은 이전 단어 하나개만 봅니다. 실제 LLM의 엄청난 도약은 단순한 카운트가 아닌 신경망을 사용하여 광범위한 맥락을 고려하고 훨씬 더 많은 데이터로부터 학습하는 데서 비롯됩니다.

토큰: 모델이 읽는 방법

LLM은 우리처럼 전체 단어를 읽지 않습니다. 텍스트는 먼저 단어, 단어의 일부 또는 구두점일 수 있는 토큰으로 분할됩니다. 각 토큰은 숫자에 매핑되며 모델은 전적으로 숫자로 작동합니다.

토큰은 실제로 두 가지 이유로 중요합니다. 호스팅 모델의 사용 가격은 일반적으로 토큰으로 책정되며 각 모델은 한 번에 처리할 수 있는 수에 제한이 있습니다. 토큰화는 또한 몇몇 유명한 이상한 행동을 설명합니다. 모델은 문자보다는 덩어리를 보기 때문에 단어의 문자 수를 세는 것과 같은 작업은 전통적으로 모델에게 놀라울 정도로 어려웠습니다.

임베딩: 숫자로서의 의미

각 토큰은 일종의 의미 공간에 배치되는 긴 숫자 목록인 임베딩으로 변환됩니다. 관련된 개념은 결국 서로 가까워지므로 “cat”과 “kitten”은 가까운 위치에 있는 반면 “cat”과 “invoice”는 그렇지 않습니다.

동일한 아이디어로 정확한 단어가 아닌 의미로 문서를 찾는 의미론적 검색이 가능해졌습니다. 우리의 벡터 데이터베이스 가이드에서는 이러한 용도를 다룹니다.

주의와 변압기

대부분의 최신 LLM은 Google 연구원이 2017년 논문 “Attention Is All You Need”에서 소개한 transformer 아키텍처를 기반으로 합니다. 그 핵심 메커니즘은 자기 주의입니다.

다음 문장을 생각해 보세요. “트로피가 너무 커서 여행 가방에 맞지 않았습니다.” “그것”은 무엇을 가리키는가? 트로피라는 뜻인거 아시죠? Attention을 사용하면 모델이 각각의 새로운 토큰을 처리할 때 모든 이전 토큰의 무게를 측정할 수 있으므로 “it”을 가장 관련성이 높은 단어에 연결할 수 있습니다. 심지어 멀리 떨어져 있는 경우에도 가능합니다.

이전 접근 방식에서는 텍스트를 단계별로 처리하고 멀리 있는 단어를 추적하지 못하는 경향이 있었습니다. Transformers는 컨텍스트를 함께 살펴보고 이 작업의 대부분을 특수 하드웨어에서 병렬로 실행할 수 있어 많은 양의 텍스트에 대한 교육을 실용적으로 만들었습니다.

LLM 교육 방법

사전 학습은 모델에 광범위한 언어 능력을 제공하지만 답변을 하기보다는 텍스트를 계속 이어갈 수 있습니다. 이후 단계에서는 이를 유용한 보조자로 만듭니다. 대규모 모델을 훈련하려면 상당한 컴퓨팅 성능이 필요하고 비용도 많이 듭니다. 추론이라고 하는 완성된 모델을 사용하는 것이 요청당 훨씬 저렴합니다.

텍스트를 생성하는 방법

1. 프롬프트는 토큰으로 분할되어 임베딩으로 변환됩니다.
2. 네트워크는 주의를 기울여 서로 연관시켜 처리합니다.
3. 가능한 모든 다음 토큰에 대한 확률을 출력합니다.
4. 하나의 토큰이 선택되어 컨텍스트에 추가됩니다.
5. 정지 조건에 도달할 때까지 2~4단계를 반복합니다.

이것이 스트리밍될 때 일반적으로 응답이 단어별로 표시되는 이유입니다. 텍스트는 문자 그대로 순차적으로 생성됩니다. 온도는 4단계의 모험 정도를 제어합니다. 값이 낮을수록 가능성이 가장 높은 토큰에 선호되고, 값이 높을수록 다양성이 더 커집니다.

귀하가 충족할 조건

알아야 할 제한 사항

• 환각. 모델은 사실, 인용 또는 코드 기능을 만들어낼 수 있습니다. 그럴듯한 텍스트를 생성하기 때문에 거짓 진술은 완전히 그럴듯해 보일 수 있습니다.
• 지식 차단. 제품이 검색이나 다른 도구에 연결하지 않는 한 최근 사건에 대해 알 수 없습니다.
• 제한된 컨텍스트. 대화가 컨텍스트 창을 초과하는 경우 이전 세부정보가 삭제되거나 요약될 수 있습니다. 또한 제품에 해당 기능이 추가되지 않는 한 모델은 과거 채팅을 자동으로 기억하지 않습니다.
• 편향. 훈련 데이터는 인간의 편향을 반영하며 이는 출력에 나타날 수 있습니다.
• 불일관성. 동일한 질문이 다른 답변을 낳을 수 있으며, 이는 하나 위에 소프트웨어를 구축할 때 중요합니다.
• 보안 위험. 텍스트에 숨겨진 지침이 모델을 조작할 수 있는데, 이를 프롬프트 주입이라고 하는 문제입니다.

LLM을 잘 활용하기

LLM을 업무 검토가 필요한 빠르고 유능한 조수로 여기십시오. 몇 가지 습관이 큰 차이를 만듭니다.

• 구체적으로 작성하세요. 명확한 지침, 맥락, 예시를 통해 더 나은 결과를 얻을 수 있습니다. 신속한 엔지니어링에 대한 가이드에서는 그 방법을 보여줍니다.
• 사실을 제공하세요. 답변이 자신의 문서에서 나와야 하는 경우 기억에 의존하기보다는 RAG를 사용하세요.
• 중요한 내용을 확인하세요. 신뢰할 수 있는 출처를 바탕으로 수치, 인용, 법적 또는 의학적 주장을 확인하세요.
• 생성된 코드를 테스트합니다. 동료에게 하듯이 코드를 실행하고 테스트를 작성합니다. 우리의 AI 코드 검토 도구 가이드에서는 몇 가지 지원을 다룹니다.
• 민감한 데이터를 보호하세요. 호스팅 도구로 기밀 정보를 공유하기 전에 조직의 규칙을 확인하세요.

자신의 작업에 맞게 모델을 사용자 정의하는 방법을 결정하는 경우 RAG, 미세 조정 및 신속한 엔지니어링 비교가 선택하는 데 도움이 될 것입니다.

마무리

LLM은 엄청난 규모로 훈련된 다음 토큰 예측기이며 설명에서 제시하는 것보다 더 유용하고 오류가 더 많습니다. 메커니즘을 염두에 두는 것은 이를 잘 사용하는 데 도움이 됩니다. 언어와 패턴이 강하고 사실에 대한 감독이 필요합니다. 구체적으로 작성하려면 자신의 텍스트로 위의 작은 스크립트를 실행한 다음 실제 어시스턴트에서 동일한 프롬프트를 여러 번 시도하고 답변을 비교하십시오.

자주 묻는 질문

계속 학습하세요