안드레 카파시 LLM 강의 2편: 학습 순서와 핵심 내용

안드레 카파시의 LLM 강의를 처음 본다면 Deep Dive into LLMs like ChatGPT를 먼저 보고, How I use LLMs를 이어서 보는 순서가 좋습니다.

첫 번째 강의는 LLM이 어떻게 만들어지고 왜 틀리는지 설명합니다. 두 번째 강의는 그 원리를 바탕으로 검색, 파일, Python 같은 도구를 언제 써야 하는지 보여 줍니다. 앞의 강의를 건너뛰면 뒤의 강의가 제품 기능 소개처럼 보일 수 있습니다. 원리를 먼저 이해하면 각 기능이 필요한 이유가 보입니다.

두 영상은 모두 안드레 카파시 공식 유튜브 채널에 2025년 2월 공개됐습니다. 2026년 신작은 아니지만, 특정 제품의 버튼보다 오래가는 LLM 사용 원칙을 담고 있습니다.

공식 강의 2편

Deep Dive into LLMs like ChatGPT

공개일: 2025년 2월 5일
길이: 3시간 31분
주제: 토큰, 사전학습, 후학습, 할루시네이션, 강화학습, 사고 모델
대상: LLM의 작동 원리를 처음부터 이해하고 싶은 사람

이 강의는 인터넷 문서가 학습 데이터로 바뀌는 과정부터 시작합니다. 텍스트를 토큰으로 나누고, 다음 토큰을 예측하도록 신경망을 학습한 뒤, 대화형 비서로 조정하는 흐름을 차례로 설명합니다.

수식을 길게 전개하기보다 시각 자료와 비유를 많이 사용합니다. 비전공자도 따라갈 수 있지만 내용은 가볍지 않습니다. ChatGPT를 자주 쓰면서도 기반 모델과 대화형 모델의 차이를 설명하기 어렵다면 이 강의부터 보는 편이 좋습니다.

How I use LLMs

공개일: 2025년 2월 27일
길이: 2시간 11분
주제: 컨텍스트, 검색, 딥 리서치, 파일, Python, 음성·이미지·비디오, 메모리
대상: LLM을 실제 업무와 학습에 더 정확하게 쓰고 싶은 사람

두 번째 강의는 카파시가 여러 LLM 도구를 사용하는 모습을 보여 줍니다. 어떤 모델이 더 좋다는 순위표보다, 질문의 성격에 따라 작업 경로를 고르는 법에 가깝습니다.

최신 정보는 검색으로 찾고, 긴 원문은 파일로 제공하며, 계산은 Python으로 넘깁니다. 모델의 기억에만 의존하지 않고 필요한 도구를 붙이는 방식입니다.

첫 강의의 핵심 원리

토큰과 다음 토큰 예측

LLM은 문장을 사람처럼 통째로 읽지 않습니다. 텍스트를 토큰이라는 작은 단위로 나누고, 앞에 나온 토큰을 바탕으로 다음에 올 토큰의 확률을 계산합니다. 하나를 고른 뒤 다시 다음 토큰을 계산하는 과정을 반복하면서 답변이 만들어집니다.

이 구조를 알면 몇 가지 이상한 행동이 이해됩니다. 어려운 개념은 잘 설명하면서도 글자 수를 틀리거나, 철자를 정확히 다루지 못하거나, 긴 계산에서 실수하는 이유입니다. 모델이 의미를 전혀 이해하지 못한다는 뜻이 아니라, 입력과 출력이 토큰 단위로 처리된다는 제약이 있다는 뜻입니다.

정확한 문자 조작과 계산은 자연어 추론만으로 밀어붙이기보다 코드나 계산기로 보내는 편이 안전합니다.

사전학습과 후학습

사전학습 단계에서 모델은 방대한 문서의 다음 토큰을 예측합니다. 카파시는 이 과정을 인터넷을 모델의 매개변수 안에 압축하는 일에 비유합니다. 다만 원문을 그대로 저장하는 압축 파일은 아닙니다. 자주 등장한 정보는 비교적 선명하지만, 드문 정보는 흐리거나 섞일 수 있습니다.

사전학습을 마친 기반 모델은 아직 우리가 아는 대화형 비서가 아닙니다. 인터넷 문서의 문체와 패턴을 이어 쓰는 모델에 가깝습니다.

후학습에서는 질문과 모범 답변으로 구성된 대화 데이터를 사용합니다. 지도 미세조정(SFT)을 거치면 모델은 사용자의 요청을 따르고, 답변 형식을 갖추고, 대화를 이어 가는 비서처럼 행동하기 시작합니다.

여기서 중요한 구분이 생깁니다. 유창한 말투는 후학습의 결과일 수 있지만, 그 말이 사실이라는 보장은 아닙니다. 단정적인 문장과 정확한 근거는 별개입니다.

할루시네이션과 기억

모델은 다음 토큰을 자연스럽게 이어 가도록 학습됩니다. 모르는 질문에도 익숙한 답변 형식을 계속 만들 수 있습니다. 존재하지 않는 논문, 링크, 인물 정보를 그럴듯하게 생성하는 이유입니다.

카파시의 설명에서 모델의 매개변수는 흐릿한 장기 기억에 가깝습니다. 반면 현재 대화에 넣은 텍스트는 바로 참고할 수 있는 작업 기억에 가깝습니다.

중요한 문서를 다룰 때는 제목만 알려 주고 기억에 맡기지 않는 편이 좋습니다. 원문 파일이나 공식 링크를 함께 제공하고, 답변에 인용된 문장을 다시 확인해야 합니다. “모르면 모른다고 답하라”는 지시만으로 할루시네이션이 사라지지는 않습니다.

들쭉날쭉한 능력

LLM은 어려운 코드를 작성하면서도 간단한 비교나 글자 세기에 실패할 수 있습니다. 카파시는 이런 특성을 구멍이 뚫린 스위스 치즈에 비유합니다. 한 분야에서 뛰어난 결과를 냈다고 해서 주변 작업도 모두 잘하는 것은 아닙니다.

그래서 실제 업무에서는 한 번의 성공보다 반복 검증이 중요합니다. 자주 쓰는 입력을 작은 평가 묶음으로 만들고, 틀리기 쉬운 단계에는 검색·계산·코드 실행이나 사람의 확인을 붙여야 합니다.

SFT·강화학습·RLHF

SFT는 전문가가 만든 답변을 모방하는 단계입니다. 정답을 확인할 수 있는 수학·코드 문제에서는 강화학습을 통해 여러 풀이를 시도하고, 맞는 답에 도달한 경로를 강화할 수 있습니다.

농담이나 글쓰기처럼 정답이 하나가 아닌 영역에서는 사람의 선호를 학습한 보상 모델을 사용할 수 있습니다. 이것이 RLHF의 기본적인 역할입니다. 다만 언어 모델이 실제 사람이 아니라 보상 모델의 점수를 높이는 방향으로 최적화된다는 한계가 있습니다.

사고 모델이 답을 내기 전에 더 많은 토큰을 사용해 시도하고 되짚는 모습도 이 흐름에서 이해할 수 있습니다. 생각을 길게 했다는 사실 자체가 정답의 증거는 아닙니다. 마지막에는 실행 결과나 독립적인 검산이 필요합니다.

두 번째 강의의 도구 활용

컨텍스트 관리

대화가 길어질수록 이전 질문과 답변이 컨텍스트에 쌓입니다. 관련 자료가 충분한 것은 도움이 되지만, 오래된 지시와 다른 주제가 섞이면 모델이 무엇을 우선해야 하는지 흐려질 수 있습니다.

주제가 바뀌면 새 대화를 시작하고, 꼭 필요한 조건과 자료만 다시 넣는 편이 낫습니다. 컨텍스트는 무한한 저장 공간이 아니라 현재 작업을 위한 책상이라고 생각하면 쉽습니다.

검색과 딥 리서치

모델 내부 지식은 학습 시점에 묶여 있고 드문 사실에는 약할 수 있습니다. 최근 뉴스, 현재 가격, 바뀐 정책, 특정 기관의 공고처럼 최신성이 중요한 질문은 검색이 필요합니다.

딥 리서치는 한 번의 검색으로 끝내지 않고 여러 출처를 읽고 비교해 긴 조사 초안을 만드는 작업에 맞습니다. 다만 출처가 붙었다고 자동으로 정확해지는 것은 아닙니다. 링크를 직접 열어 날짜, 문장, 적용 범위를 확인해야 합니다.

파일과 긴 원문

논문, 보고서, 계약서처럼 답이 특정 문서 안에 있다면 웹 전체를 검색하기보다 파일을 직접 주는 편이 빠르고 정확합니다. 모델이 제목만 보고 내용을 떠올리게 하지 않고, 실제 원문을 컨텍스트에 넣는 방식입니다.

긴 문서는 먼저 구조와 목차를 확인하고, 필요한 구간을 좁힌 뒤 질문하는 편이 좋습니다. 요약 결과가 중요한 의사결정에 쓰인다면 원문 문장과 페이지를 다시 대조해야 합니다.

Python과 코드 실행

큰 수의 계산, 데이터 집계, 표 변환, 그래프 작성은 언어 모델의 암산보다 Python 실행에 적합합니다. 모델은 코드를 작성하고 실행기는 그 코드를 실제로 돌린 뒤 결과를 돌려줍니다.

여기에도 검증은 필요합니다. 코드가 실행됐다는 사실은 입력값과 계산 방식이 맞다는 뜻이 아닙니다. 그래프의 축과 단위, 결측값 처리, 임의로 채운 값이 없는지 확인해야 합니다.

음성·이미지·비디오

두 번째 강의에는 음성 대화, 문서 기반 오디오, 이미지 인식과 생성, 비디오 활용 사례도 등장합니다. 핵심은 기능 목록이 아니라 입력이 어떻게 변환됐는지 확인하는 습관입니다.

음성이라면 전사된 문장을, 이미지라면 OCR 결과를 먼저 확인합니다. 생성한 이미지와 영상은 사실 자료와 구분합니다. 카메라가 읽은 수치나 물체도 원본 화면과 대조해야 합니다.

메모리와 반복 작업

메모리 기능은 이전 대화 전체를 그대로 기억하는 것과 다릅니다. 사용자에 대한 일부 정보를 별도로 저장하고 다음 대화에 다시 제공하는 방식에 가깝습니다.

반복 작업에는 목적, 입력 형식, 출력 형식, 금지 조건, 좋은 예시를 고정해 두는 것이 유용합니다. 반면 매번 달라지는 최신 자료까지 메모리에 맡기면 오래된 정보가 섞일 수 있습니다. 규칙과 사실 자료를 분리해야 합니다.

2026년 시점의 주의점

강의에 등장하는 모델명, 요금제, 버튼 위치, 사용량 제한은 2025년 2월 당시 화면입니다. 현재 제품을 선택할 때 그대로 적용하면 안 됩니다. 기능 제공 여부와 가격은 각 서비스의 최신 공식 문서에서 다시 확인해야 합니다.

반면 다음 기준은 제품이 바뀌어도 남습니다.

유창한 답변과 검증된 사실의 구분
모델의 기억과 현재 컨텍스트의 구분
최신 정보는 검색, 원문은 파일, 계산은 코드로 나누는 작업 방식
한 번의 성공보다 반복 평가를 중시하는 태도
음성·이미지·영상의 변환 결과를 먼저 확인하는 습관
사고 과정의 길이보다 최종 결과와 검산을 보는 기준

학습 체크리스트

기반 모델과 대화형 모델의 차이를 설명할 수 있는가?
매개변수의 기억과 대화 컨텍스트를 구분할 수 있는가?
최신 정보가 필요한 질문을 검색으로 전환했는가?
긴 문서를 제목이나 기억이 아니라 실제 파일로 제공했는가?
계산과 집계를 Python으로 실행하고 입력값을 확인했는가?
인용 링크를 열어 원문과 날짜를 확인했는가?
긴 사고 출력보다 최종 답과 검산 결과를 평가했는가?
메모리에 저장할 규칙과 매번 바뀌는 사실 자료를 분리했는가?

두 강의가 전하는 핵심은 간단합니다. LLM의 기억이 흐린 곳에는 원문을 넣고, 최신 정보가 필요한 곳에는 검색을 붙이고, 계산이 약한 곳에는 코드를 사용합니다. 그리고 결과가 중요한 곳에는 반드시 검증 단계를 둡니다.