一文读懂:数据有哪些基础知识
数据:是指任何以电子或者其他方式对信息的记录。在计算机系统中,数据以二进制信息单元0、1的形式表示。数据有很多种载体形式,最简单的就是数字,也可以是文字、图像、声音、图示、影像等。数据是数字经济时代的重要生产资料,是关于自然、社会现象和科学试验的定量或定性的记录,是科学研究的基础。

元数据(Metadata):是指能够描述其他数据的数据。它总结了数据的基本信息,这使得查找和使用特定的数据实例变得更加容易。如作者、数据的创建日期、修改日期以及大小,这几项是基本的文档元数据。除了文档文件之外,元数据还被用于图像、视频、电子表格和网页等等。
公共数据:是指本市国家机关、事业单位,经依法授权具有管理公共事务职能的组织,以及供水、供电、供气、公共交通等提供公共服务的组织,在履行公共管理和服务职责过程中收集和产生的数据。
全量数据:指是在一定的周期中,当前系统在周期时间内的所有数据。
增量数据:在全量的基础上,抓取某个更新时间点或者检查点以后的新数据。
数据单位:数据单位通常指带宽,在数据传输方面,常用带宽来衡量传输数据的能力。用它来表示单位时间内(一般以“秒”为单位)传输数据容量的大小,表示吞吐数据的能力。数据单位一般有两种表现形式;第一种是B/s、KB/s、MB/s、GB/s、TB/s、PB/s、EB/s、ZB/s、YB/s,表示单位时间(秒)内传输的数据量(字节、千字节、兆字节);第二种是bps(或称b/s)、Kbps(或称Kb/s)或Mbps(或称Mb/s),表示单位时间(秒)内传输的数据量(比特、千比特、兆比特)。
数据结构:数据结构是计算机存储、组织数据的方式,是指相互之间存在一种或多种特定关系的数据元素的集合。通常分为结构化数据、半结构化数据、非结构化数据。
结构化数据也称作行数据,通常用来描述可以利用二维表存储技术(基于行列存储结构的关系型数据库)进行存储和检索的数据。一般该类数据可以使用关系型数据库进行表示和存储,便于用户的查询和修改等操作。结合到典型业务场景中,即企业ERP、财务系统、医疗HIS数据库等。
非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表进行表现的数据,包括所有格式的办公文档、文本、图片、XML,HTML、各类报表、图像和音频/视频信息等等。对于这类数据,我们一般直接整体进行存储,而且一般存储为二进制的数据格式。
半结构化数据是介于完全结构化数据和完全无结构的数据之间的数据。例如:HTML文档、JSON、XML和一些NoSQL数据库等就属于半结构化数据。其中,最典型的就是XML格式的数据。它具有语义模型定义,也就是我们说的Schema,即每个区域和段落分别代表什么业务含义。它可以采用类结构化JSON存储,也可以采用类SQL访问的方式进行处理。
需要特别注意的是,很多人容易混淆数据与信息的区别。数据与信息既有联系,又有区别。数据是信息的表现形式和载体,可以是符号、文字、数字、语音、图像、视频等。信息是数据的内涵,信息是加载于数据之上,对数据作具有含义的解释。
