数据挖掘的行业应用范围非常广泛,这些行业所面临的具体问题或许不同,但真要研究起来却总绕不过四类问题:聚类、预测、关联与模式识别,其实很多切入点、分析思路都是类似的。
下面是一些常用于研究这四类问题的模型与算法。
- 基本统计方法
方差分析:研究分类变量与数值型变量的相关关系
相关分析:主要研究数值变量间的线性相关关系
列联分析:研究分类变量间的独立性
- 常用模型与算法
主成分分析:将多个变量规约为少数几个综合变量,新变量为原变量的线性组合
因子分子:从多个变量中提取少数几个内部因子,每个原始变量均为内部因子的线性组合
两者都是变量降维的重要方法,另,主成分可用于综合指标体系的建立,因子分析可用于研究变量的内部结构。
回归分析:数值型被解释变量与多个解释变量间的线性关系
logit回归:二元分类型解释变量多个解释变量间的非线性关系
聚类分析:通过未知类别的样本的变量特征判断其所属类别,是一种典型的非监督式模型
判别分析:通过未知类别的样本及其变量特征判断新样本的所属类别,是一种典型的监督式模型
关联分析:研究子项间的关联关系,如啤酒与尿布
神经网络:通过模拟神经细胞与细胞传导的机制而建立的模型
决策树:按照某一输入变量的具体规则,决定输出变量的取值
随机森林:基于决策树的集成算法
svm:在一个N维空间找到一个“超平面”,将样本点隔开分组
集成学习:表决算法,由多个模型的结果综合而来
- 文本分析
词频统计:统计词语在文本中的重要性程度(简单版:词频;进化版:TF-IDF)
情感分析:判断文本的情感倾向性
主题分析:提炼文本的主题(通常是关键词)
文本聚类:将未知类别的文本分类
文本分类:通过已知文本的类别信息划分新文本所属类别