4.3 - Environments

Question 1

Hva må et reinforcement learning-environment kunne gjøre?

Answer 1

Ta imot en action, gå til en ny tilstand og returnere reward (og info om episodens slutt).

Question 2

Hvilke to sentrale funksjoner finnes i de fleste RL-environments?

Answer 2

reset() og step(action).

Question 3

Hva gjør env.reset()?

Answer 3

Setter environment i starttilstand og returnerer initial state og info.

Question 4

Hva gjør env.step(action)?

Answer 4

Tar en action og returnerer:
* ny state
* reward
* done (om episoden er ferdig)
* info

Question 5

Når stopper en RL-episode normalt?

Answer 5

Når done=True eller når et maks antall steg er nådd.

Question 6

Hva illustrerer eksemplet med tre-på-rad (tic-tac-toe)?

Answer 6

Hvordan et environment kan definere state, actions, rewards og terminaltilstander.

Question 7

Hvordan kan board-tilstanden representeres i tic-tac-toe-miljøet?

Answer 7

Som en streng av 9 tegn, f.eks. “012345678” hvor hver posisjon representerer en rute.

Question 8

Hva må minimum implementeres i et tic-tac-toe-environment?

Answer 8

1. __init__() – opprett initial state og nyttige variabler
   
   2. reset() – sett miljøet til start
   3. step(action) – utfør action og oppdater state, reward, done
   4. check_winner() – sjekk om X eller O har vunnet
   5. render() – (valgfritt) vis spillbrettet

Question 9

Hva er formålet med done i RL-environments?

Answer 9

Indikerer om en episode er ferdig (for eksempel ved seier, tap eller uavgjort).