木叶禅

一、准备环境环境：Ubuntu18.04 编辑器：VSCode 内核版本：linux-4.19.194 1. 下载编译内核源码wget https://mirrors.edge.kernel.org/pub/linux/kernel/v

2021-06-17 网络

内核分析 Ubuntu

设计原则与思想一、代码质量评判标准如何评价代码质量的高低？代码质量的评价有很强的主观性，描述代码质量的词汇也有很多，比如可读性、可维护性、灵活、优雅、简洁。这些词汇是从不同的维度去评价代码质量的。它们之间有互相作用，并不是独立的，比如，代

2021-03-14 学习笔记

极客时间设计模式

第1章 SQL优化 01 开篇词3 提升 MySQL 水平的方式如果你没有 MySQL 的基础，建议可以看下面两本书籍，看完之后，可以简单处理一些优化：《MySQL 必知必会》：主要讲 SQL 的写法；《深入浅出 MySQL》：比较

2021-03-11 学习笔记

职业规划慕课专栏

第1章了解SQL 数据库（database）保存有组织的数据的容器（通常是一个文件或一组文件）。表（table）某种特定类型数据的结构化清单。模式（schema）关于数据库和表的布局及特性的信息。列（column）表中

2021-03-04 读书笔记

MYSQL

一、策略梯度中的 baseline 本小结的主要内容是做数学推导得到带 baseline 的策略梯度的公式。策略梯度方法常用 baseline 来降低方差，可以让收敛更快。 1.1 baseline 的性质baseline 指的是一个函

2021-02-03 机器学习

策略梯度 baseline 蒙特卡洛

一、策略函数策略函数 $\pi(a|s)$ 的本质是一个概率密度函数（Probability Density Function， PDF）。它将从环境观察到的状态 $s$ 作为输入，输出所有动作中每个动作的概率。在需要执行动作时，就从这些动

2021-01-18 机器学习

一、DQN 中的 BootstrappingBootstrapping，自举，字面意思是：拔自己的鞋带，把自己举起来。而 Bootstrapping 在强化学习中的意思是：用一个估算去更新同类的估算。在 DQN 算法中，我们让 DQN 在

2021-01-03 机器学习

高估问题 Target Network Double DQN

一、时序差分学习（Temporal Difference Learning）强化学习中常用时序差分学习来更新模型，时序差分学习的一般流程是：模型根据获取到的状态 $s_t$ 决定采取动作 $a_t$ 。环境在执行动作 $a_t$ 后会

2020-12-23 机器学习

在理解蒙特卡洛方法和时序差分学习一文中已经对时序差分学习进行了直观上的解释，本文中将具体的描述时序差分学习的数学推导过程及在强化学习中的应用。一、时序差分学习的数学推导根据折扣回报（Discounted Return）的定义，有： \be

2020-12-19 机器学习