数据整理

数据整理（Data Cleansing）

数据整理概述

　　数据整理是对调查、观察、实验等研究活动中所搜集到的资料进行检验、归类编码和数字编码的过程。它是数据统计分析的基础。

　　在二十世纪90年代中晚期，为了揭示一些隐含数据性质、趋势和模式，很多商家开始探讨把传统的统计和人工智能分析技术应用到大型数据库的可行性问题，这些探讨最终发展成为基于统计分析技术的正规数据整理工具。

　　从商业角度来看，从前未知的统计分析模式或趋势的发现为企业提供了非常有价值的洞察力。数据整理技术能够为企业对未来的发展具有一定的预见性。而OLTP仅仅能够实现对过去的数据进行分析。数据整理技术可以分成3类：群集、分类和预测。

　　群集技术就是在无序的方式下集中信息。群集的一个例子就是对未知特点的群体商业客户的分析，对这一例子输入相关信息就可以很好的定义客户的特点。

　　分类技术就是集中和指定object以预先确定事先定义好值的集合。集合通常用上面的技术来形成，可以举一个例子就是把客户按照他们的收入水平分成特定的销售群体。

　　预测技术就是对某些特定的对象和目录输入已知值，并且把这些值应用到另一个类似集合中以确定期望值或结果。比如，一组戴头盔和肩章的人是足球队的，那么我们也认为另一组带头盔和肩章的人也是足球队的。

　　下面的这几条是现在常用的数据整理技术，每种技术都存在集中变异，而且可以应用到上面几种技术中。

回退模型――这一技术把标准统计技术应用到数据中来证明或推翻事先的假设。一个例子就是线性回退，这种情况下变量是根据一定时间内标准或变化路径来衡量。另一个例子是逻辑回退，这种情况下是根据以前相似事件发生的已知值来确定事件发生的可能性。
可视化――这一技术是建立多维图形，让数据分析人员确定数据的变化趋势、模式以及相互关系。
相关性――这一技术用来确定数据集合内两个或多个变量间的相互关系。
变化分析――这一统计技术是用来确定目标或已知变量与非独立变量或可变数据集合间平均值的差异。
差异分析――这一分类技术用于确定或“区别”集合中的关系要素。
预测――预测技术是根据过去事件的已知值来确定未知结果
群集技术――群集技术是把数据分成很多组，并分析这些组的特性。
决策树――决策树是采用能用“if-then-else”语言表示的规则来分配数据。
神经网络――神经网络是用来模拟已知函数的数据模型，这一技术通过对数据进行迭代，同时在确定变化模式和趋势上有更大的灵活性。

　　(1)原始数据之审核。

　　(2)分类项目之确定。

　　(3)施行归类整理。

　　(4)列表。

　　(5)绘图。

　　(1)现场收集数据, 应逐日、逐周和品管部门所收集的数据作核对, 以求整理真实且具有代表性的数据。

　　(2)数据整理, 改善前、后所具备的条件要一致, 如此所作的数据整理和比较才有意义。

　　(3)异常发生要采取措施, 一定要以整理后之数据为研究依据。

　　(4)使用经别人发表的次级数据应注意:

- a.原搜集数据之目的与数据之来源如何?
- b.原使用之单位是否与所欲研究者一致, 如不一致应如何调整始为合用?
- c.原来搜集所得之数字, 可靠程度如何? 如何靠当然可以取用, 不可靠时, 应寻求原因, 力谋解决。
- d.原来搜集方法如何? 有无重复或遗漏之处?
- e.如根据两种以上不同原始来源之数据, 使用之前应查明其内容互异之处, 寻求错误原因再定取舍。