木叶禅

一、RFC1122关于 TCP 中 keepalive 机制的描述在 RFC1122 中的 4.2.3.6 小结，内容不多，总结一下有下面几点： TCP 实现中可以包含 keepalive 这个功能，也可以不包含。如果实现了 ke

2021-07-01 网络

TCP keepalive

一、准备环境环境：Ubuntu18.04 编辑器：VSCode 内核版本：linux-4.19.194 1. 下载编译内核源码wget https://mirrors.edge.kernel.org/pub/linux/kernel/v

2021-06-17 网络

内核分析 Ubuntu

设计原则与思想一、代码质量评判标准如何评价代码质量的高低？代码质量的评价有很强的主观性，描述代码质量的词汇也有很多，比如可读性、可维护性、灵活、优雅、简洁。这些词汇是从不同的维度去评价代码质量的。它们之间有互相作用，并不是独立的，比如，代

2021-03-14 学习笔记

极客时间设计模式

第1章 SQL优化 01 开篇词3 提升 MySQL 水平的方式如果你没有 MySQL 的基础，建议可以看下面两本书籍，看完之后，可以简单处理一些优化：《MySQL 必知必会》：主要讲 SQL 的写法；《深入浅出 MySQL》：比较

2021-03-11 学习笔记

职业规划慕课专栏

第1章了解SQL 数据库（database）保存有组织的数据的容器（通常是一个文件或一组文件）。表（table）某种特定类型数据的结构化清单。模式（schema）关于数据库和表的布局及特性的信息。列（column）表中

2021-03-04 读书笔记

MYSQL

一、策略梯度中的 baseline 本小结的主要内容是做数学推导得到带 baseline 的策略梯度的公式。策略梯度方法常用 baseline 来降低方差，可以让收敛更快。 1.1 baseline 的性质baseline 指的是一个函

2021-02-03 机器学习

策略梯度 baseline 蒙特卡洛

一、策略函数策略函数 $\pi(a|s)$ 的本质是一个概率密度函数（Probability Density Function， PDF）。它将从环境观察到的状态 $s$ 作为输入，输出所有动作中每个动作的概率。在需要执行动作时，就从这些动

2021-01-18 机器学习

一、DQN 中的 BootstrappingBootstrapping，自举，字面意思是：拔自己的鞋带，把自己举起来。而 Bootstrapping 在强化学习中的意思是：用一个估算去更新同类的估算。在 DQN 算法中，我们让 DQN 在

2021-01-03 机器学习

高估问题 Target Network Double DQN

一、时序差分学习（Temporal Difference Learning）强化学习中常用时序差分学习来更新模型，时序差分学习的一般流程是：模型根据获取到的状态 $s_t$ 决定采取动作 $a_t$ 。环境在执行动作 $a_t$ 后会

2020-12-23 机器学习