木叶禅

在理解蒙特卡洛方法和时序差分学习一文中已经对时序差分学习进行了直观上的解释，本文中将具体的描述时序差分学习的数学推导过程及在强化学习中的应用。一、时序差分学习的数学推导根据折扣回报（Discounted Return）的定义，有： \be

2020-12-19 机器学习

学习机器学习时常常会用到蒙特卡洛方法和时序差分学习，所以对它们有一个直观的理解还是很重要的。本文通过举一个实际的例子来帮助理解。假如要训练一个预估开车从成都到北京需要耗时多久的模型（Model），那么如何训练呢？ 1. 蒙特卡洛方法

2020-12-18 机器学习

时序差分学习蒙特卡洛方法

一、随机变量变量的值无法预先确定仅以一定的可能性（概率）取值的量。强化学习中一般用大写的字母表示随机变量，用小写的字母表示随机变量的观测值（确定的值）。比如：掷骰子中，用大写的变量 $X$ 表示可能掷出来骰子的值。假如掷一次骰子，得到

2020-12-16 机器学习

一、马尔可夫环境的状态必须是全部能够获取的（fully observable），即环境的 observation 就是 state。 1. 马尔可夫性（Markov Property）环境的下一个状态只由当前的的状态决定，与过去无关。 \m

2020-11-21 机器学习

马尔可夫贝尔曼公式

播放声音卡顿安装完Ubuntu18.04后，用网易云音乐听歌时，声音总是每隔几秒卡顿一下，特此记录一下解决方法。用命令sudo lspci -v | grep -A7 Audio查看系统的使用的声卡设备是Intel Corporation

2020-08-13 Linux

Ubuntu

一、型别推导1. 理解模板型别推导在模板型别推导过程中，具有引用型别的实参会被当成非引用型别来处理。换言之，其引用性会被忽略。对万能引用(Universal Reference)形参进行推导时，左值实参会进行特殊处理。对按值传递的形参

2020-05-22 读书笔记

CPP

一、OSI 模型名字功能协议数据单元（PDU）常用协议及设备应用层为应用进程提供服务 HTTP、FTP、TELNET、DNS、BT、NTP、DHCP、SNMP 表示层提供数据格式转换服务 JPEG、MP

2020-05-11 网络

IP TCP FTP DHCP

一、关于对象关于菱形继承对象的内存分布，可以查看C++菱形继承内存布局分析了解。二、构造函数语义学四种情况下，编译器会为未声明 contructor 的 class 合成一个 default constructor。带有 Defau

2020-05-10 读书笔记

CPP

一、编译环境 Visual Studio 2017 G++ (Ubuntu 7.5.0-3ubuntu1~18.04) 7.5.0 Clang++ 6.0.0-1ubuntu2 二、非虚继承2.1 测试代码// filename: no

2020-05-10 编程语言

CPP 逆向工程