木叶禅

学习机器学习时常常会用到蒙特卡洛方法和时序差分学习，所以对它们有一个直观的理解还是很重要的。本文通过举一个实际的例子来帮助理解。假如要训练一个预估开车从成都到北京需要耗时多久的模型（Model），那么如何训练呢？ 1. 蒙特卡洛方法

2020-12-18 机器学习

时序差分学习蒙特卡洛方法

一、随机变量变量的值无法预先确定仅以一定的可能性（概率）取值的量。强化学习中一般用大写的字母表示随机变量，用小写的字母表示随机变量的观测值（确定的值）。比如：掷骰子中，用大写的变量 $X$ 表示可能掷出来骰子的值。假如掷一次骰子，得到

2020-12-16 机器学习

一、马尔可夫环境的状态必须是全部能够获取的（fully observable），即环境的 observation 就是 state。 1. 马尔可夫性（Markov Property）环境的下一个状态只由当前的的状态决定，与过去无关。 \m

2020-11-21 机器学习

马尔可夫贝尔曼公式

播放声音卡顿安装完Ubuntu18.04后，用网易云音乐听歌时，声音总是每隔几秒卡顿一下，特此记录一下解决方法。用命令sudo lspci -v | grep -A7 Audio查看系统的使用的声卡设备是Intel Corporation

2020-08-13 Linux

Ubuntu

一、型别推导1. 理解模板型别推导在模板型别推导过程中，具有引用型别的实参会被当成非引用型别来处理。换言之，其引用性会被忽略。对万能引用(Universal Reference)形参进行推导时，左值实参会进行特殊处理。对按值传递的形参

2020-05-22 读书笔记

CPP

一、OSI 模型名字功能协议数据单元（PDU）常用协议及设备应用层为应用进程提供服务 HTTP、FTP、TELNET、DNS、BT、NTP、DHCP、SNMP 表示层提供数据格式转换服务 JPEG、MP

2020-05-11 网络

IP TCP FTP DHCP

一、关于对象关于菱形继承对象的内存分布，可以查看C++菱形继承内存布局分析了解。二、构造函数语义学四种情况下，编译器会为未声明 contructor 的 class 合成一个 default constructor。带有 Defau

2020-05-10 读书笔记

CPP

一、编译环境 Visual Studio 2017 G++ (Ubuntu 7.5.0-3ubuntu1~18.04) 7.5.0 Clang++ 6.0.0-1ubuntu2 二、非虚继承2.1 测试代码// filename: no

2020-05-10 编程语言

CPP 逆向工程

一、程序员如何用技术变现（一）一些学习经验要去经历大多数人经历不到的，要把学习时间花在那些比较难的地方。要写文章就要写没有人写过的，或是别人写过，但我能写得更好的。更重要的是，技术和知识完全是可以变现的。（二）如何保持竞争力一个是

2020-05-07 学习笔记

极客时间职业规划