小 Giao 之死 December 9, 2019 ## 机器人小 Giao 的前生今世 一个突然地想法，想到用个普通的摄像头做个预警机器人🤖，于是折腾了三四天，小 Giao 出生了。  *小 Giao 的头像经过模糊处理，头像来自 Allenzsy 在群里分享的第一个图片！* 小 Giao 威力巨大，为了防止小 Giao 统治人类世界，已经将其一棒子打死，尸体在： https://github.com/wangke0809/GiaoCameraRobot ------------ ## 目录 [TOC] ## 需求 需求分析： - 进入实验室检测：能够通过摄像头实时检测到有人进入实验室 -> Face Detection + Multi-label Classification - 检测结果通知：能够方便的接受监测结果 -> 使用钉钉群聊机器人 - 轻量级资源占用：工位上除了有个 2015 年办公的老电脑（i7-4790），还有个 GPU 工作站，因为借来的摄像头数据线长度不够，以及考虑到在工作站上跑实验时占用资源多会严重造成系统卡顿，所以决定在办公电脑上跑小 Giao ，所以需要保证运行小 Giao 的时候不能影响正常办公 -> 聚焦关键区域 + 上下帧图像变化量阈值 - 阅读剩余部分 -
对于朴素贝叶斯算法的理解 March 22, 2018 [TOC] ### 算法的基础 贝叶斯定理：已知P(B|A)求P(A|B)。公式： ```math P(A|B)= \frac {P(A)\times P(B|A)}{P(B)} ``` ### 何来朴素 因为对所有条件概率分布作了条件独立性的假设，目的是简化计算量。 ### 极大似然估计与贝叶斯估计 前者可能出现$$P(B_i|A)=0$$的情况，此时会影响到后验概率的计算结果，使分类产生偏差，不能很好的你和测试集。所以引出了贝叶斯估计。拉普拉斯平滑是条件概率贝叶斯估计的一个特例（$$\lambda=1$$）
对于K近邻K-NN算法的理解 March 9, 2018 [TOC] ### 整体思想 今天看了K-NN算法，该算法适用于分类，整体思想是把训练数据集当成了一个数据库，在训练数据集找与输入数据最临近的k个数据，这k个数据中的多数属于某个类，这个输入就输入某个类。特别地， k=1 是称为最近邻算法。 ### 如何定义近邻 可以用欧氏距离，$$L_p$$距离，Minkowski距离等。 ### k值的选择 k太小，学习的近似误差会减小，估计误差会增大，比如遇到噪声，这时候容易发生过拟合。 k过大，会增加不相近的数据对输入的干扰，虽然增大了学习的近似误差，但是减少了估计误差，k的增大意味着整体模型变得简单。 k=N，对于一个输入用上了全部数据，不可取。 ### 分类决策规则 多数投票表决规则等价于经验风险最小化，除了投票还有求均值等规则。 ### 实现 书上介绍通过kd树实现训练数据存储，然后在kd树上查找最近邻。除了kd树还有很多优化算法。
对于感知机Perceptron算法的理解 March 8, 2018 [TOC] # 算法的适用范围 目标二分类，数据集线性可分。之所以不能学习XOR是因为XOR线性不可分。 # 几何意义 特征空间$$R^n$$中的一个超平面$$S$$将特征空间划分为两个部分。这两个部分分别代表两类。这个超平面称为**分离超平面**。 # 学习策略 感知机的损失函数由误分类点到超平面的距离之后推出，根据空间点到面的距离得到损失函数。 # 原始形式和对偶形式的区别 感知机学习算法分为原始形式和对偶形式，我的理解是原始形式和对偶形式本质上是一样的（废话），不同点在于计算顺序不同。假定处理高维数据，对偶形式的好处为可以首先并行计算出Gram矩阵，然后通过查表更新参数。而原始形式串行处理每组数据进行更新参数。 知乎的[这个](https://www.zhihu.com/question/26526858 "这个")答案解释的有点过了吧。 # 收敛性证明 收敛性证明的思路为递推缩放，主要是推导以下两个不等式。 ```latex ||\hat{W}_k|| \cdot ||\hat{W}_{opt}||\leq k \eta \gamma ``` ```math ||\hat{W}_k||^2 \leq k \eta^2 R^2 ``` # 多解的原因 - 初值不同 - 误分类点出现顺序不同 # 代码 通过`sklearn`实现：[Github](https://github.com/wangke0809/learn-statistical-learning-method/blob/master/Perceptron.py)
kaggle房价预测：使用Python综合探索数据 January 23, 2018 > 学习[COMPREHENSIVE DATA EXPLORATION WITH PYTHON](https://www.kaggle.com/pmarcelino/comprehensive-data-exploration-with-python "COMPREHENSIVE DATA EXPLORATION WITH PYTHON")笔记 **'The most difficult thing in life is to know yourself'** - 阅读剩余部分 -