统计数据处理
统计数据处理(Statistical Data Processing)
目录 |
统计数据处理是指使用计算机对常规的统计报表、专项统计调查表和其他统计资料等载体上的数据进行录入(读入)、审核编辑、汇总、制表、打印和计算等操作的过程。
(1) 对统计数据进行采集、整理，并按一定的数据格式放入计算机。
(2)在数据输入过程中，对原始统计数据进行预审、编码、逻辑检查、修改、更新和简单的算术运算等。
(3) 对统计数据进行分类、合并、逻辑校正等操作。
(4) 对数据进行分类汇总，以及制作各式综合汇总表和过录表。输出各式打印表和种类数据文件。
统计资料是指反映大量社会经济现象的数量特征和规律性的数字资料。统计工作是搜集、整理和分析统计资料并进行推论的工作。可见，统计工作基本任务就是对统计资料的处理。
- 1.一般过程
根据统计学理论，我们知道统计数据处理过程一般分为：统计资料搜集、统计资料整理和统计资料分析及预测等三个阶段。其中，统计资料搜集的目的是获取与研究目的相关的大量原始、基层数据；整理阶段的处理对象是大量统计个体，是对个体的逐项处理；而分析研究阶段的数据处理对象是统计总体，是在汇总基础上对总体特征及规律的研究。
- 2.计算机统计数据处理过程
计算机数据处理过程是以计算机为中心的数据处理过程。它和手工、机械数据处理方式一样，也包括三个阶段，即：数据搜集→数据加工→数据输出。
(1)数据处理的第一阶段就是数据的搜集。搜集是指按一定的目的要求获取原始统计资料的过程。数据处理质量在很大程度上取决于搜集到的原始数据的完整性和真实性。统计数据搜集的手段很多，它既可以手工方式进行，也可借助互联网和计算机以自动方式进行。统计数据搜集方式有：统计报表制度、各种普查、抽样调查、典型调查、重点调查等。
数据搜集核心是：数据的识别、采集和组织，即有目标的选择那些能反映事物运动过程属性的数据，将其及时、完整搜集起来并按一定层次加以组织。只有这样才能清晰地反映事物活动全过程。
(2)数据加工是数据处理的核心，一般包括数据编码、录入、审核、分组、汇总、计算、存贮、传输等内容。
在计算机中，广义的数据是指能被计算机处理的各种对象。为了使计算机能识别不同的数据并加以迅速处理，应对数据进行编码，也就是通过一定的数字、符号来表达所得到的客观事实。
据资料经编码分类后，由录入人员将其输入计算机。在数据组织中，很重要的工作是将数据输入到计算机，并按照规范的要求组成各种形式的数据库，再由数据库管理系统对其进行管理。
数据审核是数据搜集的重要环节。所谓数据审核，就是对全部输入数据，设想其可能出现的差错，并设法对其进行检验。对查出的有错误的数据，考虑改正和补救的方法等。
统计汇总就是按照数据的特征(数字或字母)或按照数据的某种属性，将原始数据分成若干类型，并得出合计结果的处理过程。统计资料的汇总是统计资料整理的中心内容。
数据处理过程必然要涉及到大量数据的存储问题。计算机为存贮数据提供了各种存贮设备，如硬盘、软盘、光盘、磁带、闪存等。
计算机进行数据传输可以分为机内传输和机外传输。机内传输主要是通过计算机的硬件和软件进行传输，如从光盘传到内存，从磁带传到内存再传到磁盘等；此外，还有一种传输是脱离主机直接在外部设备之间交换数据，这称为脱机传输。机外传输主要是通过通讯线路(共用或专用线路)进行的，一般称为联机系统。在联机系统中数据发生一般是随机的，需要及时进行处理和输出，这种方式也称为链接传输。
(3)数据输出是将加工后所得到的信息，通过各种方式输出，以满足统计业务工作或计算机管理工作的需要。输出方式很多，如打印、显示、图样、声音等。
现代化管理要求对统计数据进行快速、适时、有效地处理，并且可以在部门、地区之间，甚至在国家之间进行快速数据通讯，从而能及时为国民经济和领导部门的决策服务。这些要求，必须使用快捷、安全、准确的输出系统才能得以实现。目前，统计数据处理一般都是指计算机统计数据处理。如下图是一个统计报表汇总系统的数据处理过程：
其中：“录入”是对大量采集的数据进行整理并按一定的格式输入(或光电扫描、语音录入、磁介质数据格式转换等)到磁介质(硬盘、软盘、磁带、光盘等)中去；“审核”是对录入(或传输入)的数据进行正确性判断，保证得到正确的数据；“分组”是对录入的数据按照统计的要求，对数据进行分类、合并等操作；“制表”是对分组汇总后的数据按照统计表的格式加上标题、题注、表侧、表顶、表体、脚注等内容。由图可见，以上各环节都是在相应的计算机程序下完成的。
- 3.计算机统计数据处理的特点
一般而言，统计数据整理属于“海量数据处理”范畴，其特点是：“量大、高效、质高、数据利用率高”。
“量大”，统计需处理的数据一般都是海量数据，同时，其数据处理需动用的人力、物力也很大，数据处理的程序也较复杂；
“高效”，统计数据处理一般都有严格的时间限制，必须在规定的时间内完成任务。同时，由于处理的数据量大，还必须考虑到高效的数据录入，高速的数据计算，计算机内、外部存储设备等的有效利用情况等；
“质高”，统计数据处理必须做到科学、准确、及时，特别是反映社会经济现象的重要统计数据；
“数据利用率高”，统计数据的处理还必须考虑数据的共享和进一步深加工的需要，使处理后的数据能够适应不同层次、不同用户的需要，以利于信息资源的有效利用。
计算机统计数据处理，为“获取信息资源的最大化”提供了可能。如下图是手工、计算机数据处理对信息增减的对比示意图。
利用计算机，可以高效、广泛搜集到各种统计数据，并对大量采集到的数据进行整理，按一定的格式存储起来以利于数据共享；可以在数据加工阶段发挥计算机数据处理的优势，对原始统计资料进行各种分组、集成和计算，尽可能多的挖掘出各种有用信息；可以在数据提供阶段根据用户的不同需要而输出各种结果，满足个性化的需求。与传统手工统计数据处理方式相比较，计算机统计数据处理方式在获取统计信息资源最大化方面有着明显的优势。
- 4.计算机统计数据处理的方式
计算机统计数据处理方式通常有集中批处理和联机实时处理系统。
(1)集中批处理是统计部门广泛使用的一种处理方式。集中批处理是把一批统计数据处理任务，包括统计数据及任务要求一起交给计算中心，统计数据处理专业人员按系统具备的数据处理能力，对这批数据处理任务的性质和特点做出合理的安排，使计算机系统用最短的时间保质、保量地完成这批任务。在集中批处理进行的过程中，不需要其他用户干预。由于批处理是把作业汇集在一起进行处理，因此，处理效率比较高。
采用集中批处理方式，数据源就在机房或可将数据源汇集后在机房处理，且处理结果不必要实时返回，这种集中批处理方式也是通常所指的机房处理方式。
(2)实时处理是在数据产生的同时，立即进行处理，并在规定的时间内返回处理的结果。实时处理已广泛应用在网上直报、网络调查等统计工作中，也广泛应用于飞机票、车船票预约系统和银行业务、交通控制、过程控制、生产管理，仓库管理等领域。
采用实时处理，数据源一般是分散的，而且处理结果实时响应。这时系统必然是多终端的联机系统，终端分布在各数据源，通过通信线路连接终端和主机，这就是通常所指的联机处理方式。一般的实时事物处理系统和经营管理系统都采用这一方式。应该指出，在联机终端上也可以提交批处理作业，而且联机系统的基础是计算机及通信网络。