책소개

이 책은 강화학습의 핵심 이론을 “동적계획법에서 정책경사까지”라는 흐름으로 정리한 기초 안내서다. 강화학습을 처음 체계적으로 이해하려는 독자를 위해, 문제를 어떻게 수학적으로 정의하고 어떤 원리로 해법이 구성되는지에 초점을 맞춘다. 상태·행동·보상으로 표현되는 상호작용 구조에서 출발해 마르코프 결정과정, 벨만 방정식, 정책 평가와 개선의 연결을 따라가며, 표본 기반 추정으로 확장되는 몬테카를로 방법과 시간차 학습, 그리고 가치기반 제어 알고리즘의 논리를 단계적으로 다룬다.

또한 테이블 방식이 갖는 한계를 짚고, 함수근사를 도입할 때 등장하는 목적 함수와 업데이트 형태를 필요한 만큼의 수준에서 설명한다. 마지막으로 정책을 직접 최적화하는 정책경사와 액터-크리틱 구조로 자연스럽게 이어지도록 구성하여, 강화학습의 주요 계열이 하나의 원리적 맥락 안에서 연결되도록 했다.

이 책의 목표는 특정 사례나 경험을 소개하는 것이 아니라, 강화학습을 이루는 개념과 방정식, 업데이트 규칙이 어떤 논리로 등장하는지 이해 가능한 형태로 제공하는 데 있다. 독자는 각 장을 통해 강화학습의 대표적 접근들이 공유하는 공통 요소와 차이를 구분할 수 있게 되며, 기본 이론을 일관된 관점으로 정리할 수 있다.


*생성형 인공지능을 활용하여 제작하고 편집 과정을 거쳤습니다. 편집자의 최종 검토를 거쳐 제작되었습니다.

저자소개

목차

1장 강화학습 문제 설정과 목표
에이전트-환경 상호작용 구조
상태행동보상의 역할
에피소드형과 연속형 과제
리턴과 할인율의 의미
정책의 개념과 표현
가치기반 관점과 정책기반 관점
온폴리시와 오프폴리시 구분

2장 마르코프 결정과정의 수학적 틀
마르코프 성질과 정보 가정
전이확률과 보상함수의 해석
초기상태 분포와 종료 조건
정책에 따른 유도 마르코프 연쇄
기대 리턴의 정식화
행동가치와 상태가치의 관계
최적 정책의 정의

3장 벨만 방정식과 최적성 원리
벨만 기대 방정식의 유도
벨만 최적 방정식의 유도
백업 연산자 관점
수축 사상과 고정점 직관
가치함수의 일관성 조건
정책 평가와 정책 개선의 연결
그리디 선택과 최적성의 의미

4장 동적계획법 기반 해법
정책 평가의 반복 계산
정책 반복의 구성과 수렴 개요
가치 반복의 구성과 수렴 개요
전이모델이 필요한 이유
동적계획법의 계산 복잡도 관점
정책 개선 정리의 적용
근사 없이 가능한 조건

5장 몬테카를로 방법의 원리
표본 경로로 기대값을 추정하는 아이디어
에피소드 샘플과 리턴 계산
첫 방문과 모든 방문 추정
샘플 평균과 편향분산
정책 개선을 위한 행동가치 사용
탐험을 보장하는 조건
오프폴리시 추정의 기본 형태

6장 시간차 학습의 핵심
부트스트래핑 개념
TD 오차의 의미
TD(0) 업데이트 구조
n-스텝 반환과 편향분산
가치추정의 안정성 직관
탐험 전략과 학습 신호
온폴리시 학습의 기본 형태
오프폴리시 학습의 기본 형태

7장 가치기반 제어 알고리즘
행동가치 기반 제어의 목표
SARSA의 업데이트 구조
Q-러닝의 업데이트 구조
기대 SARSA의 업데이트 구조
탐험-활용 균형의 수식적 관점
학습률과 수렴 조건 개요
부트스트래핑과 최대 연산의 효과

8장 함수근사와 표현의 필요성
테이블 표현의 한계
특징 기반 선형 근사의 형태
근사 오차와 일반화의 의미
목표 함수와 손실 관점
그라디언트 기반 업데이트 형태
안정성과 발산 가능성의 원인
데이터 분포와 학습 편향
근사에서의 정책 평가 관점

9장 정책경사 방법의 기초 이론
확률적 정책의 정의
목표 함수로서 기대 리턴
로그-미분 트릭의 사용
정책경사 정리의 형태
리턴 기반 추정과 분산 문제
베이스라인 도입의 논리
어드밴티지 개념의 역할
온폴리시 샘플링의 의미

10장 액터-크리틱 구조로의 연결
가치추정과 정책업데이트의 분리
크리틱의 학습 신호 구성
액터의 업데이트 신호 구성
어드밴티지 추정의 기본 형태
부트스트래핑을 쓰는 이유
온폴리시 학습에서의 구성
오프폴리시로의 일반적 확장 형태
알고리즘 요소 간 상호작용 요약