㈠ 异常聚集检测报警系统最大的作用是什么
1.告警精确度高
智能视频分析系统内置智能算法，能排除气候与环境因素的干扰，有效弥补人工监控的不足，减少视频监控系统整体的误报率和漏报率。
2.实时识别报警
基于智能视频分析和深度学习神经网络技术，对监控区域内的人员异常聚集行为进行识别，报警信息可显示在监控客户端界面，也可将报警信息推送到移动端。
3.全天候运行 稳定可靠
智能视频监控系统可对监控画面进行7×24不间断的分析，大大提高了视频资源的利用率，减少人工监控的工作强度。
4.告警存储功能
对监控区域内的人员异常聚集行为实时识别预警，并将报警信息存储到服务器数据库中，包括时间、地点、快照、视频等。
㈡ 入侵检测技术基础的异常检测技术
●概率统计异常检测
原理：每一个轮廓保存记录主体当前行为，并定时将当前轮廓与历史轮廓合并形成统计轮廓（更新），通过比较当前轮廓与统计轮廓来判定异常行为。
优点：可应用成熟的概率统计理论
缺点：①由于用户行为的复杂性，要想准确地匹配一个用户的历史行为非常困难，容易造成系统误报和漏报；
②定义入侵阈值比较困难，阈值高则误报率提高，阈值低则漏报率增高。
●神经网络异常检测
原理：对下一事件的预测错误率在一定程度上反映了用户行为的异常程度。
优点：①更好地表达了变量间的非线性关系，能更好地处理原始数据的随机特征，即不需要对这些数据做任何统计假设，并且能自动学习和更新；②有较好的抗干扰能力
缺点：网络拓扑结构以及各元素的权重很难确定
㈢ 用机器学习检测异常点击流
用机器学习检测异常点击流
本文内容是我学习ML时做的一个练手项目，描述应用机器学习的一般步骤。该项目的目标是从点击流数据中找出恶意用户的请求。点击流数据长下图这样子，包括请求时间、IP、平台等特征：
该项目从开始做到阶段性完成，大致可分为两个阶段：算法选择和工程优化。算法选择阶段挑选合适的ML模型，尝试了神经网络、高斯分布、Isolation Forest等三个模型。由于点击流数据本身的特性，导致神经网络和高斯分布并不适用于该场景，最终选择了Isolation Forest。工程优化阶段，最初使用单机训练模型和预测结果，但随着数据量的增加，最初的单机系统出现了性能瓶颈；然后开始优化性能，尝试了分布化训练，最终通过单机异步化达到了性能要求。
1 算法选择
1.1 神经网络
刚开始没经验，受TensorFlow热潮影响，先尝试了神经网络。选用的神经网络是MLP（Multilayer Perceptron，多层感知器），一种全连接的多层网络。MLP是有监督学习，需要带标签的样本，这里“带标签”的意思是样本数据标注了哪些用户请求是恶意的、哪些是正常的。但后台并没有现成带标签的恶意用户样本数据。后来通过安全侧的一些数据“间接”给用户请求打上了标签，然后选择IP、平台、版本号、操作码等数据作为MLP的输入数据。结果当然是失败，想了下原因有两个：
1， 样本的标签质量非常差，用这些样本训练出来的模型性能当然也很差；
2， 输入的特征不足以刻画恶意用户。
数据的质量问题目前很难解决，所以只能弃用MLP。
1.2 高斯分布
然后尝试其他模型。通过搜索发现，有一类ML模型专门用于异常检测，找到了Andrew Ng介绍的基于高斯分布的异常检测算法：高斯分布如下图所示：
这个算法的思想比较简单：与大部分样本不一致的样本就是异常；通过概率密度量化“不一致”。具体做法是：选择符合高斯分布或能转换为高斯分布的特征，利用收集到的数据对高斯分布做参数估计，把概率密度函数值小于某个阈值的点判定为异常。
所谓的参数估计是指，给定分布数据，求分布的参数。对高斯分布来说，就是求μ和σ。用极大似然估计可以得到高斯分布参数的解析解：
得到高斯分布参数后，用下式计算概率密度：
X表示一个特征输入。若有多个特征x0、x1、…、xn，一种简单的处理方法是将其结果连乘起来即可：f(x) = f(x0)f(x1)…f(xn)。
然后选定一个阈值ε，把f(x) < ε的样本判定为异常。ε值需根据实际情况动态调整，默认可设定ε = f(μ- 3σ)。
把这个模型初步应用于点击流异常检测时，效果还不错，但在进一步实施过程中碰到一个棘手问题：样本中最重要的一个特征是操作码，当前操作码在微信后台的取值范围是[101,1000]，每个操作码的请求次数是模型的基础输入，对900个特征计算概率密度再相乘，非常容易导致结果下溢出，以致无法计算出精度合适的概率密度值。这个现象被称为维度灾难（Dimension Disaster）。
解决维度灾难的一个常见做法是降维，降维的手段有多种，这里不展开讨论了。在点击流分析的实践中，降维的效果并不好，主要原因有两个：
1， 正常用户和恶意用户的访问模式并不固定，导致很难分解出有效的特征矩阵或特征向量；
2， 降维的本质是有损压缩，有损压缩必定导致信息丢失。但在本例中每一维的信息都是关键信息，有损压缩会极大破坏样本的有效性。
高斯分布模型的维度灾难在本例中较难解决，只能再尝试其他模型了
1.3 Isolation Forest
Isolation Forest，可翻译为孤异森林，该算法的基本思想是：随机选择样本的一个特征，再随机选择该特征取值范围中的一个值，对样本集做拆分，迭代该过程，生成一颗Isolation Tree；树上叶子节点离根节点越近，其异常值越高。迭代生成多颗Isolation Tree，生成Isolation Forest，预测时，融合多颗树的结果形成最终预测结果。Isolation Forest的基础结构有点类似经典的随机森林（Random Forest）。
这个异常检测模型有效利用了异常样本“量少”和“与正常样本表现不一样”的两个特点，不依赖概率密度因此不会导致高维输入的下溢出问题。提取少量点击流样本测试，它在900维输入的情况下也表现良好，最终选择它作为系统的模型。
2 工程优化
工程实现经历了单机训练、分布式训练、单机异步化训练3个方案，下面内容介绍实现过程中碰到的问题和解决方法。
2.1 单机训练
整个系统主要包括收集数据、训练模型、预测异常、上报结果四个部分。
2.1.1 收集数据
刚开始尝试该模型时，是通过手工方式从mmstreamstorage获取样本的：
1，通过logid 11357，得到手工登录成功用户的uin和登录时间；
2，利用mmstreamstorage提供的接口，得到用户登录后10分钟的点击流；
但这样做有两个缺点：
1，上述步骤1是离线手工操作的，需要做成自动化；
2，mmstreamstorage的接口性能较差，只能提供2万/min的查询性能，上海IDC登录的峰值有9万/min。
改进办法是复用点击流上报模块mmstreamstorage，增加一个旁路数据的逻辑：
1，手工登录时在presence中记录手工登录时间，mmstreamstorage基于该时间旁路一份数据给mmguardstore。由于mmstreamstorage每次只能提供单挑点击流数据，所以需要在mmguardstore中缓存；
2，mmguardstore做完数据清洗和特征提取，然后把样本数据落地，最后利用crontab定期将该数据同步到Hadoop集群中。
最终的数据收集模块结构图如下所示：
点击流数据提供了IP、平台、版本号、操作码等特征，经过多次试验，选定用户手工登录后一段时间内操作码的访问次数作为模型的输入。
上面我们提到过点击流的操作码有900个有效取值，所以一个显然的处理方法是，在mmguardstore中把用户的点击流数据转化为一个900维的向量，key是cgi id，value是对应cgi的访问次数。该向量刻画了用户的行为，可称为行为特征向量。
2.1.2 训练模型
初起为了控制不确定性，只输入1万/分钟的样本给模型训练和预测。系统的工作流程是先从Hadoop加载上一分钟的样本数据，然后用数据训练Isolation Forest模型，最后用训练好的模型做异常检测，并将检测结果同步到tdw。
在1万/分钟输入下取得较好的检测结果后，开始导入全量数据，全量数据数据的峰值为20万/分钟左右。出现的第一个问题是，一分钟内无法完成加载数据、训练模型、预测结果，单加载数据就耗时10分钟左右。这里先解释下为什么有“一分钟”的时间周期限制，主要原因有两个：
1， 想尽快获取检测结果；
2， 由于点击流异常检测场景的特殊性，模型性能有时效性，需要经常用最新数据训练新的模型。
解决性能问题的第一步是要知道性能瓶颈在哪里，抽样发现主要是加载数据和训练模型耗时较多，预测异常和上报结果的耗时并没有随数据量的增加而快速上涨。
加载数据的耗时主要消耗在网络通信上：样本文件太大了，导致系统从Hadoop同步样本数据时碰到网络带宽瓶颈。但由于样本是文本类数据，对数据先压缩再传输可极大减少通信量，这里的耗时比较容易优化。
训练模型的耗时增加源于输入数据量的增加。下图是1万样本/min的输入下，系统个阶段的耗时：
其中：
加载程序： 2s
加载数据： 6s
训练模型：11s
分类异常： 2s
保存结果： 4s
单轮总耗时：25s
需处理全量数据时，按线性关系换算，“训练模型”耗时为：11s * 24 = 264s，约为4.4分钟，单机下无法在1分钟内完成计算。
最先想到的优化训练模型耗时的办法是分布式训练。
2.2 分布式训练
由于scikit-learn只提供单机版的Isolation Forest实现，所以只能自己实现它的分布式版本。了解了下目前最常用的分布式训练方法是参数服务器（Parameter Server，PS）模式，其想法比较简单：训练模型并行跑在多机上，训练结果在PS合并。示意图如下所示：
分布式训练对算法有一定要求，而Isolation Forest正好适用于分布式训练。
然后尝试在TensorFlow上实现Isolation Forest的分布式训练版本。选择TensorFlow的原因有主要两个：
1， TensorFlow已经实现了一个分布式训练框架；
2， TensorFlow的tf.contrib.learn包已经实现的Random Forest可作参考（Isolation Forest在结构上与Random Forest类似），只需对Isolation Forest定制一个Operation即可。
写完代码测试时，发现了个巨坑的问题：TenforFlow内部的序列化操作非常频繁、性能十分差。构造了110个测试样本，scikit-learn耗时只有0.340秒，29万次函数调用；而TensorFlow耗时达207.831秒，有2.48亿次函数调用。
TensorFlow性能抽样：
Scikit-learn性能抽样：
从TensorFlow的性能抽样数据可以看到，耗时排前排的函数都不是实现Isolation Forest算法的函数，其原因应该与TensorFlow基于Graph、Session的实现方式有关。感觉这里坑比较深，遂放弃填坑。
也了解了下基于Spark的spark-sklearn，该项目暂时还未支持Isolation Forest，也因为坑太深，一时半会搞不定而放弃了。
2.3 单机异步化训练
没搞定分布式训练，只能回到单机场景再想办法。单机优化有两个着力点：优化算法实现和优化系统结构。
首先看了下scikit-learn中Isoaltion Forest的实现，底层专门用Cython优化了，再加上Joblib库的多CPU并行，算法实现上的优化空间已经很小了，只能从系统结构上想办法。
系统结构上的优化有两个利器：并行化和异步化。之前的单机模型，加载数据、训练模型、预测异常、上报结果在单进程中串行执行，由此想到的办法是启动4个工作进程分别处理相应的四个任务：异步训练模型、预测异常和上报结果，并行加载数据。工作进程之间用队列通信，队列的一个优势是容易实现流量控制。
写完代码测试，却发现YARD环境中的Python HDFS库在多进程并发下直接抛异常。尝试多个方法发现这个问题较难解决，暂时只能想办法规避。经测试发现，直接从Hadoop同步所有压缩过的样本数据只需2秒左右，由此想到规避方法是：先单进程同步所有样本数据，再多进程并发解压、加载和预测。
按上述想法修改代码测试，效果较好，处理所有样本只需20秒左右，达到了1分钟处理完所有样本的要求。然后提交YARD作业线上跑，处理所有样本耗时却达到200～400秒：
咨询YARD侧同学，得知YARD对提交的离线作业有CPU配额的硬限制，分时段配额如下表：
00:00~09:00 80%
09:00~19:00 50%
19:00~23:00 15%
23:00~24:00 50%
晚高峰时段的配额只有15%。
与YARD侧同学沟通，他们答应后续会支持scikit-learn库的在线服务。目前通过手工方式在一台有scikit-learn的mmguardstore机器上运行在线服务，晚高峰时段处理全量数据耗时为20秒左右。
最终的系统结构图如下图所示：
模型训练进程定期训练最新的模型，并把模型通过队列传给预测进程。预测进程每分钟运行一次，检查模型队列上是否有新模型可使用，然后加载数据、检测异常，将检测结果通过上报队列传给上报进程。上报进程block在上报队列上，一旦发现有新数据，就根据数据类型执行上报监控、上报tdw等操作。
2.4 评估性能
安全侧将异常用户分为以下几类：盗号、LBS/加好友、养号、欺诈、外挂/多开等。由于这些分类的异常打击是由不同同学负责，不便于对Isolation Forest的分类结果做评估，因此需要在Isolation Forest的基础上，再加一个分类器，标记“异常样本”的小类。利用操作码实现了该分类器。
接入全量数据后，每天准实时分析1亿量级的样本，检测出500万左右的异常，精确分类出15万左右的恶意请求。恶意请求的uin、类型、发生时间通过tdw中转给安全侧。安全侧通过线下人工分析和线上打击，从结果看检测效果较好。
2.5 持续优化
再回过头观察点击流数据，我们使用的Isolation Forest模型只利用了操作码的统计数据。可以明显看到，点击流是一个具备时间序列信息的时序数据。而自然语言处理（Natural LanguageProcessing，NLP）领域已经积累了非常多的处理时序数据的理论和实战经验，如LSTM、word2vec等模型。后续期望能引入NLP的相关工具挖掘出更多恶意用户。
㈣ 什么是BP神经网络
BP算法的基本思想是：学习过程由信号正向传播与误差的反向回传两个部分组成；正向传播时，输入样本从输入层传入，经各隐层依次逐层处理，传向输出层，若输出层输出与期望不符，则将误差作为调整信号逐层反向回传，对神经元之间的连接权矩阵做出处理，使误差减小。经反复学习，最终使误差减小到可接受的范围。具体步骤如下：
1、从训练集中取出某一样本，把信息输入网络中。
2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。
3、计算网络实际输出与期望输出的误差。
4、将误差逐层反向回传至之前各层，并按一定原则将误差信号加载到连接权值上，使整个神经网络的连接权值向误差减小的方向转化。
5、対训练集中每一个输入—输出样本对重复以上步骤，直到整个训练样本集的误差减小到符合要求为止。
㈤ 异常检测有哪些主要的分析方法
1. 概率统计方法
在基于异常检测技术的IDS中应用最早也是最多的一种方法。
首先要对系统或用户的行为按照一定的时间间隔进行采样，样本的内容包括每个会话的登录、退出情况，CPU和内存的占用情况，硬盘等存储介质的使用情况等。
将每次采集到的样本进行计算，得出一系列的参数变量对这些行为进行描述，从而产生行为轮廓，将每次采样后得到的行为轮廓与已有轮廓进行合并，最终得到系统和用户的正常行为轮廓。IDS通过将当前采集到的行为轮廓与正常行为轮廓相比较，来检测是否存在网络入侵行为。
2. 预测模式生成法
假设条件是事件序列不是随机的而是遵循可辨别的模式。这种检测方法的特点是考虑了事件的序列及其相互联系，利用时间规则识别用户行为正常模式的特征。通过归纳学习产生这些规则集，并能动态地修改系统中的这些规则，使之具有较高的预测性、准确性。如果规则在大部分时间是正确的，并能够成功地运用预测所观察到的数据，那么规则就具有高可信度。
3. 神经网络方法
基本思想是用一系列信息单元(命令)训练神经单元，这样在给定一组输入后、就可能预测出输出。与统计理论相比，神经网络更好地表达了变量间的非线性关系，并且能自动学习并更新。实验表明UNIX系统管理员的行为几乎全是可以预测的，对于一般用户，不可预测的行为也只占了很少的一部分。
㈥ 神经网络异常检测方法和机器学习异常检测方法对于入侵检测的应用
神经网络异常检测方法神经网络入侵检测方法是通过训练神经网络连续的信息单元来进行异常检测，信息单元指的是命令。网络的输入为用户当前输入的命令和已执行过的W个命令；用户执行过的命令被神经网络用来预测用户输入的下一个命令，如下图。若神经网络被训练成预测用户输入命令的序列集合，则神经网络就构成用户的轮郭框架。当用这个神经网络预测不出某用户正确的后继命令，即在某种程度上表明了用户行为与其轮廓框架的偏离，这时表明有异常事件发生，以此就能作异常入侵检测。
上面式子用来分类识别，检测异常序列。实验结果表明这种方法检测迅速，而且误警率底。然而，此方法对于用户动态行为变化以及单独异常检测还有待改善。复杂的相似度量和先验知识加入到检测中可能会提高系统的准确性，但需要做进一步工作。
㈦ 算法太多挑花眼
算法太多挑花眼？教你如何选择正确的机器学习算法
机器学习算法虽多，却没有什么普适的解决方案。决策树、随机森林、朴素贝叶斯、深度网络等等等等，是不是有时候觉得挑花了眼呢？福利来啦~本文将教你慧眼识精，快速挑选出满意的算法！
机器学习既是一门科学，也是一种艺术。纵观各类机器学习算法，并没有一种普适的解决方案或方法。事实上，有几个因素会影响你对机器学习算法的选择。
有些问题是非常特别的，需要用一种特定的解决方法。例如，如果你对推荐系统有所了解，你会发现它是一类很常用的机器学习算法，用来解决一类非常特殊的问题。而其它的一些问题则非常开放，可能需要一种试错方法（例如：强化学习）。监督学习、分类、回归等问题都是非常开放的，可以被用于异常检测或建立更加广泛的预测模型。
此外，我们在选择机器学习算法时所做出的一些决定与算法的优化或技术层面关系并不大，而更多地与业务决策相关。下面，让我们一起来看看有哪些因素能帮你缩小机器学习算法的选择范围。
数据科学过程
在你开始研究不同的机器学习算法前，你需要对自己拥有的数据、面对的问题及相关约束有清晰的了解。
理解你的数据
当我们决定使用哪种算法时，我们所拥有的数据的类型和形态起着关键性的作用。有些算法可以利用较小的样本集合工作，而另一些算法则需要海量的样本。特定的算法对特定类型的数据起作用。例如，朴素贝叶斯算法对处理待分类的输入特别有效，但是对于缺失值则一点都不敏感。
因此，你需要做到：
了解你的数据
1. 查看总结统计和数据可视化的结
百分比可以帮助你识别大多数数据的范围
平均数和中位数可以描述集中趋势
相关系数可以指出强的关联性
2. 数据可视化
箱形图可以识别出异常值
密度图和直方图可以显示出数据的散布情况
散点图可以描述二元关
数据清洗
1. 处理缺失值。缺失的数据对于某些模型的影响比对其它模型更大。即使是对于那些被用于处理缺失数据的模型来说，它们也可能对缺失数据很敏感（某些变量的缺失数据可能导致预测性能变差）
2. 选择处理异常值的方法
异常值在多维数据中十分常见。
有些模型对异常值的敏感性比其它模型要低。通常而言，树模型对于异常值的存在不太敏感。然而回归模型、或者任何试图使用方程的模型都会受到异常值的严重影响。
异常值可能是糟糕的数据收集造成的，也可能是合理的极值。
3. 数据需要被聚合吗？
数据增强
1. 特征工程是从原始数据中产生能够被用于建模的数据的过程，可以起到以下几种作用：
使模型更容易被解释（如数据分箱（binning））
捕获更复杂的关系（如神经网络）
减少数据冗余并降低数据维度（如主成分分析（PCA））
重新缩放变量（如标准化或归一化）
2. 不同的模型可能有不同的特征工程的要求。有的模型有内置的特征工程。
对问题进行分类
下一步是对问题进行分类。这是一个需要分两步实现的过程。
1. 根据输入分类：
如果你拥有的是带标签的数据，那么这就是一个监督学习问题。
如果你拥有的是未标注过的数据，并且希望从中找到有用的结构，那么这就是一个无监督学习问题。
如果你想要通过与环境的交互来优化一个目标函数，那么这就是一个强化学习问题。
2. 根据输出分类：
如果模型的输出是一个（连续的）数字，那么这就是一个回归问题。
如果模型的输出是一个类别，那么这就是一个分类问题。
如果模型的输出是一组用输入数据划分出的簇，那么这就是一个聚类问题。
你想发现一个异常点吗？此时你面对的就是一个异常检测问题。
理解你要满足的约束条
你需要考虑你能够存储数据的容量有多大？这取决于系统的存储容量，你可能无法存储若干 GB 大小的分类、回归模型或者若干 GB 的用于聚类分析的数据。例如，在嵌入式系统中，你就会面临这种情况。
对预测过程的速度是否有要求？在实时应用中，很显然，尽快得出预测结果是十分重要的。例如，在自动驾驶问题中，应用必须尽可能快地对道路标志进行分类，以免发生交通事故。
对学习过程的速度是否有要求？在某些情况下，快速训练模型是十分必要的：有时，你需要使用不同的数据集快速地实时更新你的模型。
寻找可用的算法
当对自己的任务环境有了一个清晰的认识后，你就可以使用你所掌握的工具确定适用于待解决的问题并切实可行的算法。一些影响你选择模型的因素如下：
模型是否满足业务目标
模型需要多少数据预处理工作
模型有多准确
模型的可解释性如何
模型运行的速度有多快：构造模型需要多久？模型做出预测需要多长时间？
模型的可伸缩性如何
模型的复杂度是一个影响算法选择的重要标准。一般来说，一个更复杂的模型具备下列特征：
它依赖于更多的特征进行学习和预测（例如，使用十个而不是两个特征来预测目标）
它依赖于更复杂的特征工程（例如，使用多项式特征、交互特征或主成分）
它有更大的计算开销（例如，需要一个由 100 棵决策树组成的随机森林，而不是一棵单独的决策树）
除此之外，同样的机器学习算法可以基于参数的个数和某些超参数的选择而变得更加复杂。例如：
回归模型可以拥有更多的特征，或者多项式项和交互项。
决策树可以拥有更大或更小的深度。
将相同的算法变得更加复杂增加了发生过拟合的几率。
常用的机器学习算法
线性回归
这可能是机器学习中最简单的算法。例如，当你想要计算一些连续值，而不是将输出分类时，可以使用回归算法。因此，当你需要预测一个正在运行的过程未来的值时，你可以使用回归算法。然而，当特征冗余，即如果存在多重共线性（multicollinearity）时，线性回归就不太稳定。
在下列情况下可以考虑使用线性回归：
从一个地方移动到另一个地方所需的时间
预测下个月某种产品的销售情况
血液中的酒精含量对协调能力的影响
预测每个月礼品卡的销售情况，并改善年收入的估算
Logistic 回归
Logistic 回归执行二进制分类，因此输出二值标签。它将特征的线性组合作为输入，并且对其应用非线性函数（sigmoid），因此它是一个非常小的神经网络的实例。
logistic回归提供了许多方法对你的模型进行正则化处理，因此正如在朴素贝叶斯算法中那样，你不必担心你的特征是否相关。该模型还有一个很好的概率化的解释。不像在决策树或者支持向量机中那样，你可以很容易地更新你的模型以获取新的数据。如果你想要使用一个概率化的框架，或者你希望在未来能够快速地将更多的训练数据融合到你的模型中，你可以使用 logistic 回归算法。logistic 回归还可以帮助你理解预测结果背后起作用的因素，它不完全是一个黑盒方法。
在下列情况下可以考虑使用 logistic 回归算法：
预测客户流失
信用评分和欺诈检测
评价市场营销活动的效果
决策树
决策树很少被单独使用，但是不同的决策树可以组合成非常高效的算法，例如随机森林或梯度提升树算法。
决策树很容易处理特征交互，并且决策树是一种非参数模型，所以你不必担心异常值或者数据是否是线性可分的。决策树算法的一个缺点是，它们不支持在线学习，因此当你要使用新的样本时，你不得不重新构建决策树。决策树的另一个缺点是，它很容易发生过拟合，而这就是像随机森林（或提升树）这样的集成学习方法能够派上用场的地方。决策树也需要大量的内存空间（拥有的特征越多，你的决策树可能会越深、越大）
决策树能够很好地帮助你在诸多行动路径中做出选择：
做出投资决策
预测客户流失
找出可能拖欠银行贷款的人
在“建造”和“购买”两种选择间进行抉择
销售主管的资质审核
K-均值
有时，你完全没有数据的标签信息，并且你的目的是根据对象的特征来为其打上标签。这种问题被称为聚类任务。聚类算法可以在这种情况下被使用：例如，当你有一大群用户，你希望根据他们共有的一些属性将其划分到一些特定的组中。
如果在你的问题声明中有这样的问题：例如，找出一群个体的组织形式，或将某些东西分组，或找出特定的组。这时，你就应该使用聚类算法。
该方法最大的缺点是，K-均值算法需要提前知道你的数据会有多少簇，因此这可能需要进行大量的试验去“猜测”我们最终定义的簇的最佳个数——K。
主成分分析（PCA）
主成分分析能够对数据进行降维。有时，你拥有各种各样的特征，这些特征之间的相关性可能很高，而模型如果使用如此大量的数据可能会产生过拟合现象。这时，你可以使用主成分分析（PCA）技术。
主成分分析（PCA）能够起作用的关键因素是：除了低维的样本表征，它还提供了各种变量的一种同步的低维表征。同步的样本和变量的表征提供了一种能够可视化地找到能够表示一组样本的特征的变量的方法。
支持向量机
支持向量机（SVM）是一种在模式识别和分类问题中被广泛应用的监督机器学习技术——当你的数据恰好有两类时。
支持向量机准确率高，对于防止过拟合很好的理论保障。当你使用一个合适的核函数时，即使你的数据在基（低维）特征空间中是线性不可分的，他们也可以很好地工作。支持向量机在文本分类问题中非常流行，在该问题中，输入是一个维度非常高的空间是很正常的。然而，SVM 是一种内存密集型算法，它很难被解释，并且对其进行调优十分困难。
在下列现实世界的应用中，你可以使用支持向量机：
发现患有糖尿病等常见疾病的人
手写字符识别
文本分类——将文章按照话题分类
股票市场价格预测
朴素贝叶斯
这是一种基于贝叶斯定理的分类技术，它很容易构建，非常适用于大规模数据集。除了结构简单，据说朴素贝叶斯的表现甚至比一些复杂得多的分类方法更好。当 CPU 和内存资源有限时，朴素贝叶斯算法也是一个很好的选项。
朴素贝叶斯非常简单，你仅仅是在做大量的计数工作。如果朴素贝叶斯的条件独立假设确实成立，朴素贝叶斯分类器的收敛速度会比 logistic 回归这样的判别模型更快，因此需要的训练数据更少。即使朴素贝叶斯的假设不成立，朴素贝叶斯分类器往往也能很好地完成任务。如果你想使用一种快速的、简单的、性能也不错的模型，朴素贝叶斯是一个很好的选择。这种算法最大的缺点就是它不能学习到特征之间的相互作用。
在下列真实世界的应用中，你可以使用朴素贝叶斯：
情感分析和文本分类
类似于 Netflix、Amazon 这样的推荐系统
识别垃圾邮件
人脸识别
随机森林
随机森林是一种决策树的集成方法。它能够同时解决具有大规模数据集的回归问题和分类问题，还有助于从数以千计的输入变量中找出最重要的变量。随机森林具有很强的可伸缩性，它适用于任何维数的数据，并且通常具有相当不错的性能。此外，还有一些遗传算法，它们可以在具有最少的关于数据本身的知识的情况下，很好地扩展到任何维度和任何数据上，其中最简单的实现就是微生物遗传算法。然而，随机森林学习的速度可能会很慢（取决于参数设置），并且这种方法不能迭代地改进生成模型。
在下列现实世界的应用中，你可以使用随机森林：
预测高危患者
预测零件在生产中的故障
预测拖欠贷款的人
神经网络
神经网络中包含着神经元之间连接的权重。这些权重是平衡的，逐次对数据点进行学习。当所有的权重都被训练好后，如果需要对新给定的数据点进行回归，神经网络可以被用于预测分类结果或一个具体数值。利用神经网络，可以对特别复杂的模型进行训练，并且将其作为一种黑盒方法加以利用，而在训练模型之前，我们无需进行不可预测的复杂特征工程。通过与“深度方法”相结合，甚至可以采用更加不可预测的模型去实现新任务。例如，最近人们已经通过深度神经网络大大提升了物体识别任务的结果。深度学习还被应用于特征提取这样的非监督学习任务，也可以在人为干预更少的情况下，从原始图像或语音中提取特征。
另一方面，神经网络很难被解释清楚，其参数设置也复杂地让人难以置信。此外，神经网络算法也都是资源密集型和内存密集型的。
SCIKIT 参考手册
Scikit learning 为大家提供了一个非常深入的、解释地很清楚的流程图，它能够帮助你选择正确的算法。我认为此图十分方便。
结论
一般来说，你可以根据上面介绍的要点来筛选出一些算法，但是要想在一开始就知道哪种方法最好是很难的。你最好多迭代几次选择算法的过程。将你的数据输入给那些你确定的潜在优秀机器学习算法，通过并行或串行的方式运行这些算法，最终评估算法性能，从而选择出最佳的算法。
在最后，我想告诉你：为现实生活中的问题找到正确的解决方案，通常不仅仅是一个应用数学方法的问题。这要求我们对业务需求、规则和制度、相关利益者的关注点有所了解，并且具备大量的专业知识。在解决一个机器学习问题的同时，能够结合并平衡这些问题是至关重要的，那些能做到这一点的人可以创造最大的价值。
㈧ BP神经网络的原理的BP什么意思
人工神经网络有很多模型，但是日前应用最广、基本思想最直观、最容易被理解的是多层前馈神经网络及误差逆传播学习算法（Error Back-Prooaeation），简称为BP网络。
在1986年以Rumelhart和McCelland为首的科学家出版的《Parallel Distributed Processing》一书中，完整地提出了误差逆传播学习算法，并被广泛接受。多层感知网络是一种具有三层或三层以上的阶层型神经网络。典型的多层感知网络是三层、前馈的阶层网络（图4.1），即：输入层、隐含层（也称中间层）、输出层，具体如下：
图4.1 三层BP网络结构
（1）输入层
输入层是网络与外部交互的接口。一般输入层只是输入矢量的存储层，它并不对输入矢量作任何加工和处理。输入层的神经元数目可以根据需要求解的问题和数据表示的方式来确定。一般而言，如果输入矢量为图像，则输入层的神经元数目可以为图像的像素数，也可以是经过处理后的图像特征数。
（2）隐含层
1989年，Robert Hecht Nielsno证明了对于任何在闭区间内的一个连续函数都可以用一个隐层的BP网络来逼近，因而一个三层的BP网络可以完成任意的n维到m维的映射。增加隐含层数虽然可以更进一步的降低误差、提高精度，但是也使网络复杂化，从而增加了网络权值的训练时间。误差精度的提高也可以通过增加隐含层中的神经元数目来实现，其训练效果也比增加隐含层数更容易观察和调整，所以一般情况应优先考虑增加隐含层的神经元个数，再根据具体情况选择合适的隐含层数。
（3）输出层
输出层输出网络训练的结果矢量，输出矢量的维数应根据具体的应用要求来设计，在设计时，应尽可能减少系统的规模，使系统的复杂性减少。如果网络用作识别器，则识别的类别神经元接近1，而其它神经元输出接近0。
以上三层网络的相邻层之间的各神经元实现全连接，即下一层的每一个神经元与上一层的每个神经元都实现全连接，而且每层各神经元之间无连接，连接强度构成网络的权值矩阵W。
BP网络是以一种有教师示教的方式进行学习的。首先由教师对每一种输入模式设定一个期望输出值。然后对网络输入实际的学习记忆模式，并由输入层经中间层向输出层传播（称为“模式顺传播”）。实际输出与期望输出的差即是误差。按照误差平方最小这一规则，由输出层往中间层逐层修正连接权值，此过程称为“误差逆传播”（陈正昌，2005）。所以误差逆传播神经网络也简称BP（Back Propagation）网。随着“模式顺传播”和“误差逆传播”过程的交替反复进行。网络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不断上升。通过此学习过程，确定下各层间的连接权值后。典型三层BP神经网络学习及程序运行过程如下（标志渊，2006）：
（1）首先，对各符号的形式及意义进行说明：
网络输入向量Pk=（a1，a2，...，an）；
网络目标向量Tk=（y1，y2，...，yn）；
中间层单元输入向量Sk=（s1，s2，...，sp），输出向量Bk=（b1，b2，...，bp）；
输出层单元输入向量Lk=（l1，l2，...，lq），输出向量Ck=（c1，c2，...，cq）；
输入层至中间层的连接权wij，i=1，2，...，n，j=1，2，...p；
中间层至输出层的连接权vjt，j=1，2，...，p，t=1，2，...，p；
中间层各单元的输出阈值θj，j=1，2，...，p；
输出层各单元的输出阈值γj，j=1，2，...，p；
参数k=1，2，...，m。
（2）初始化。给每个连接权值wij、vjt、阈值θj与γj赋予区间（-1，1）内的随机值。
（3）随机选取一组输入和目标样本
提供给网络。
（4）用输入样本
、连接权wij和阈值θj计算中间层各单元的输入sj，然后用sj通过传递函数计算中间层各单元的输出bj。
基坑降水工程的环境效应与评价方法
bj=f（sj） j=1，2，...，p （4.5）
（5）利用中间层的输出bj、连接权vjt和阈值γt计算输出层各单元的输出Lt，然后通过传递函数计算输出层各单元的响应Ct。
基坑降水工程的环境效应与评价方法
Ct=f（Lt） t=1，2，...，q （4.7）
（6）利用网络目标向量
，网络的实际输出Ct，计算输出层的各单元一般化误差
。
基坑降水工程的环境效应与评价方法
（7）利用连接权vjt、输出层的一般化误差dt和中间层的输出bj计算中间层各单元的一般化误差
。
基坑降水工程的环境效应与评价方法
（8）利用输出层各单元的一般化误差
与中间层各单元的输出bj来修正连接权vjt和阈值γt。
基坑降水工程的环境效应与评价方法
（9）利用中间层各单元的一般化误差
，输入层各单元的输入Pk=（a1，a2，...，an）来修正连接权wij和阈值θj。
基坑降水工程的环境效应与评价方法
（10）随机选取下一个学习样本向量提供给网络，返回到步骤（3），直到m个训练样本训练完毕。
（11）重新从m个学习样本中随机选取一组输入和目标样本，返回步骤（3），直到网路全局误差E小于预先设定的一个极小值，即网络收敛。如果学习次数大于预先设定的值，网络就无法收敛。
（12）学习结束。
可以看出，在以上学习步骤中，（8）、（9）步为网络误差的“逆传播过程”，（10）、（11）步则用于完成训练和收敛过程。
通常，经过训练的网络还应该进行性能测试。测试的方法就是选择测试样本向量，将其提供给网络，检验网络对其分类的正确性。测试样本向量中应该包含今后网络应用过程中可能遇到的主要典型模式（宋大奇，2006）。这些样本可以直接测取得到，也可以通过仿真得到，在样本数据较少或者较难得到时，也可以通过对学习样本加上适当的噪声或按照一定规则插值得到。为了更好地验证网络的泛化能力，一个良好的测试样本集中不应该包含和学习样本完全相同的模式（董军，2007）。