木叶禅

一、时序差分学习（Temporal Difference Learning）强化学习中常用时序差分学习来更新模型，时序差分学习的一般流程是：模型根据获取到的状态 $s_t$ 决定采取动作 $a_t$ 。环境在执行动作 $a_t$ 后会

2020-12-23 机器学习

在理解蒙特卡洛方法和时序差分学习一文中已经对时序差分学习进行了直观上的解释，本文中将具体的描述时序差分学习的数学推导过程及在强化学习中的应用。一、时序差分学习的数学推导根据折扣回报（Discounted Return）的定义，有： \be

2020-12-19 机器学习

学习机器学习时常常会用到蒙特卡洛方法和时序差分学习，所以对它们有一个直观的理解还是很重要的。本文通过举一个实际的例子来帮助理解。假如要训练一个预估开车从成都到北京需要耗时多久的模型（Model），那么如何训练呢？ 1. 蒙特卡洛方法

2020-12-18 机器学习

时序差分学习蒙特卡洛方法

一、随机变量变量的值无法预先确定仅以一定的可能性（概率）取值的量。强化学习中一般用大写的字母表示随机变量，用小写的字母表示随机变量的观测值（确定的值）。比如：掷骰子中，用大写的变量 $X$ 表示可能掷出来骰子的值。假如掷一次骰子，得到

2020-12-16 机器学习

一、马尔可夫环境的状态必须是全部能够获取的（fully observable），即环境的 observation 就是 state。 1. 马尔可夫性（Markov Property）环境的下一个状态只由当前的的状态决定，与过去无关。 \m

2020-11-21 机器学习

马尔可夫贝尔曼公式

一、型别推导1. 理解模板型别推导在模板型别推导过程中，具有引用型别的实参会被当成非引用型别来处理。换言之，其引用性会被忽略。对万能引用(Universal Reference)形参进行推导时，左值实参会进行特殊处理。对按值传递的形参

2020-05-22 读书笔记

CPP

一、OSI 模型名字功能协议数据单元（PDU）常用协议及设备应用层为应用进程提供服务 HTTP、FTP、TELNET、DNS、BT、NTP、DHCP、SNMP 表示层提供数据格式转换服务 JPEG、MP

2020-05-11 网络

IP TCP FTP DHCP

一、关于对象关于菱形继承对象的内存分布，可以查看C++菱形继承内存布局分析了解。二、构造函数语义学四种情况下，编译器会为未声明 contructor 的 class 合成一个 default constructor。带有 Defau

2020-05-10 读书笔记

CPP

一、编译环境 Visual Studio 2017 G++ (Ubuntu 7.5.0-3ubuntu1~18.04) 7.5.0 Clang++ 6.0.0-1ubuntu2 二、非虚继承2.1 测试代码// filename: no

2020-05-10 编程语言

CPP 逆向工程