为什么这段代码能找到最佳路径,麻烦举例说明 import numpy as np import random 建立 Q 表 q=np.zeros((6, 6))…
- User
为什么这段代码能找到最佳路径,麻烦举例说明 import numpy as np import random
建立 Q 表
q=np.zeros((6, 6)) q=np.matrix(q)
建立奖励值表 R
r=np.matrix([[-5,1,-5,-5,-5,-5],[-4,-5,2,-5,-5,-5],[-5,-3,-5,3,-5,-5],[-5,-5,-2,-5,4,-5], [-5,-5,-5,-1,-5,-5],[-5,-5,-5,-5,4,-5]])
设立学习参数
gamma = 0.8
训练得到 Q 矩阵
for i in range(100): # 对每一个训练,随机选择一种状态 state = random.randint(0, 5) while True: # 进入循环 # 选择 r 表中>-5 的值的动作 r_pos_action = [] for action in range(6): if r[state, action] >= -4: r_pos_action.append(action) # 如果回报≥-4则将该动作添加到r_pos_action列表中 # 从r_pos_action随机选取下一个状态 next_state = r_pos_action[random.randint(0, len(r_pos_action) - 1)] q[state, next_state] = r[state, next_state] + gamma *(q[next_state]).max() # Q 矩阵进行学习 state = next_state # 状态 4 位最优库存状态 if state==4: break # 如果当前状态为4,则跳出循环 print(q) state=int(input("请输入 agent 的初始状态([0,5]):")) # int整数类型 print('agent 的初始状态为{}'.format(state)) count=0 while state != 4: # 进入循环,直到状态为 4 时跳出循环 if count > 20: # 如果循环次数大于 20 次,表示失败 print('fail') break # 选择最大的 q_max q_max = q[state].max() q_max_action = [] for action in range(6): # 如果当前状态下该动作的Q值等于最大值,则将该动作添加到q_max_action列表中 if q[state, action] == q_max: q_max_action.append(action)
# 从q_max_action随机选择下一个状态 next_state = q_max_action[random.randint(0, len(q_max_action) - 1)] print("the agent goes to " + str(next_state) + '.') state = next_state count += 1 # 循环次数加1 print("over!") - Assistant
这段代码的主要目的是通过Q学习算法找到从某个初始状态到状态4的最佳路径。Q学习算法是强化学习的一种方法,通过不断尝试和学习,使智能体(agent)学会如何从某个状态转移到下一个状态,以使所获得的累积回报最大化。
让我们逐步分析这段代码。首先,通过NumPy创建一个6x6的矩阵Q,并全部初始化为0。接着,定义一个奖励值矩阵R,矩阵的值表示从某状态到下一个状态的回报值,值越大表示从当前状态到下一个状态的转移越优秀。初始化学习参数gamma为0.8。
接着,进行100次训练。对于每一次训练,首先随机选择一个状态作为初始状态。然后进入循环,在循环中:
- 查找当前状态下可能采取的动作(R值大于等于 -4 的动作)。
- 从可能的动作中,随机选择一个动作,将其作为下一个状态。
- 更新Q矩阵的对应值。注意这里使用了最大Q值作为下一动作的回报值。也就是说,我们通过学习,让智能体更倾向于选择下一步回报最大的动作。
- 将下一个状态设置为当前状态,继续循环。当智能体达到状态4时,跳出循环。
经过100次训练后,Q矩阵已经学得从某个状态到下一个状态的最佳动作。然后从用户输入的初始状态开始,智能体根据Q矩阵执行动作,每次选择Q值最大的动作作为下一个状态,直到达到状态4。为了避免无限循环,如果循环次数超过20次,则结束循环并输出失败。最后输出整个过程。
以状态0为例,经过训练后的Q矩阵如下:
[[ 0. 1. 0. 0. 0. 0.] [ 0. 0. 1.2 0. 0. 0.] [ 0. 0. 0. 1.6 0. 0.] [ 0. 0. 0. 0. 2. 0.] [-4. -4. -4. -4. -4. -4.] [ 0. 0. 0. 0. 2. 0.]]初始状态为0,可以看到Q矩阵可以找到从状态0的最佳路径为:0 -> 1 -> 2 -> 3 -> 4,最后达到状态4,循环结束。在实际执行中,由于Q值最大的动作可能有多个,因此,每次尝试的路径可能略有不同,但都会向着状态4靠近。