Od Soft Actor-Critic do Destylacji Teacher–Student

Dokumentujemy pełny proces budowy sieciowego agenta-kierowcy dla toru Corkscrew (Laguna Seca, 3602 m) w TORCS, komunikującego się protokołem SCR z częstotliwością 50 Hz. Projekt przeszedł przez pięć etapów — od eksploracyjnych baseline'ów Soft Actor-Critic, przez curriculum z sieciami stabilizowanymi LayerNorm (co ujawniło dywergencję krytyka), po stos residual-RL, którego pięciowarstwową kaskadę awarii zdiagnozowaliśmy i naprawiliśmy.

Ostateczny pipeline optymalizuje analitycznego teachera o 54 parametrach rozproszonym przeszukiwaniem Optuna (~15 000 prób) i destyluje go do sieci MLP o 109 tys. parametrów przez klonowanie behawioralne i DAgger. Oddana sieć (bc_v6.pth, 429 KB) uzyskała 92,04 s na okrążeniu ze startu zatrzymanego w warunkach zgłoszeniowych. Residualna polityka Soft Actor-Critic na tej samej zamrożonej sieci osiąga to samo ~92 s, więc wynik stoi zarówno na imitacji, jak i na uczeniu ze wzmocnieniem.