跳到主要内容

1.1 我们身边的数据

知识点​

1.本单元要学什么​

单元主题:初识数据与计算——先认识"数据是什么",再体会"数据能算什么"。

小节核心问题
1.1 我们身边的数据数据是什么?数据、信息、知识有什么区别?数据怎么采集、怎么呈现?
1.2 数据的计算数据怎么算?人工算、工具算、程序算有何不同?

贯穿全单元的一条主线:数据 → 信息 → 知识 → 决策。这条链条从 1.1 建立,在后面所有单元(编程计算、数据编码、数据分析、人工智能)中不断复用。

2.数据是什么​

定义:数据是对客观事物的符号记录,是信息的载体,是可被计算机识别、存储与处理的符号集合。

关键理解(三句话):

  1. 数据不只是数字——文字、图形、图像、声音、视频、位置、甚至行为轨迹都是数据;
  2. 数据是原始的、未加工的记录(如"38.5"本身没有意义);
  3. 数据只有放到具体情境中才有意义("38.5 ℃ 体温"才是信息)。

举例:超市小票上一串数字是数据;把它汇总成"本月销售额"是信息;据此判断"周末客流量更大,应增加人手"是知识;再据此刻意调整排班策略并持续优化,就是智慧的体现。

3.数据、信息、知识与智慧(DIKW 模型)​

这是本小节最重要的一个考点,四级层次必须能区分、能举例。

层次英文含义特征举例(气温)
数据(Data)Data对客观事物的符号记录,未经解释原始、离散、无意义38.5
信息(Information)Information数据经加工处理后,对人有意义的解释有意义、有情境今天最高气温 38.5 ℃
知识(Knowledge)Knowledge信息之间建立联系与规律,可指导行动规律性、可迁移气温高于 35 ℃ 时中暑人数明显上升
智慧(Wisdom)Wisdom运用知识做出判断与决策,解决新问题创造性、价值导向高温天提前开放纳凉点并调整户外作业时间

四者关系(一句话背下来):数据是基础,信息是加工后的数据,知识是信息的规律化,智慧是知识的创造性运用;层层递进,后者依赖前者。

数据与信息的关系(两种常见表述都要会):

  1. 数据是信息的载体,信息是数据的内涵;
  2. 数据 ≠ 信息:同一组数据在不同情境下可以产生不同的信息;同一条信息也可以用不同形式的数据来表达。

易错判断题:

  • "数据就是数字" —— 错,数据还包括文字、图像、声音等。
  • "信息就是数据" —— 错,信息是加工后的、有意义的数据。
  • "数据越多,信息越多" —— 不一定,杂乱数据("数据噪声")反而会干扰判断,需要清洗。

4.数据的表现形式​

形式说明常见例子计算机中的处理
数值可以参与算术运算的数据成绩、身高、温度、金额整数与实数
文本字符序列姓名、地址、文章、代码字符编码(见 3.1)
图形图像图形(矢量)与图像(位图)图标、照片、地图像素与色深(见 3.1)
音频声音的数字化记录语音、音乐、提示音采样、量化(见 3.1)
视频连续图像按时间排列短视频、监控录像帧率与压缩(见 3.1)
其他位置、轨迹、传感器信号、行为日志GPS 轨迹、点击流结构化存储

提示:这一节只需建立"数据形式多样"的观念,具体的编码原理放在 3.1 数据编码,不要提前展开。

5.数据的特征(六个"性")​

  1. 客观性——数据是对客观事物的记录,不以人的意志为转移;
  2. 可存储性——数据可以保存在纸张、磁盘、云端等载体上;
  3. 可传递性——数据可以在人与人、设备与设备之间传播(这也是网络安全问题的根源);
  4. 可加工性——数据可以被整理、计算、分析,产生新的价值;
  5. 共享性——数据可以被多方同时使用而不减少(与实物不同);
  6. 时效性——数据的价值会随时间衰减(如天气预报、股票行情)。

另需注意:数据还具有可度量性(可以用 bit/Byte 计量)与可复制性(复制几乎零成本)。

6.数据处理的四个环节(必背流程)​

数据采集 → 数据加工与整理 → 数据分析 → 数据呈现
(获取) (清洗、转换) (统计、挖掘) (可视化、报告)
环节做什么常用手段
采集获取原始数据传感器、网络爬虫、问卷调查、系统日志、公开数据下载、人工录入
加工与整理清洗(去重、纠错、补缺)、转换(统一格式、单位)、分类编码Excel 分列与筛选、Python 数据清洗
分析统计、对比、找规律、建模型求和/平均/频率、分类汇总、数据透视表、相关分析
呈现用图表或报告表达结论柱形图、折线图、饼图、散点图、词云、地图

为什么"加工整理"不能省:原始数据往往含有缺失值、重复值、错误值与格式不统一的问题。"垃圾进,垃圾出"(GIGO)——数据质量决定分析结论的可靠性。

7.数据采集的常用方式​

方式特点典型场景
传感器采集自动、连续、精度高温湿度监测、智能手环计步、农业大棚
网络爬虫按规则自动抓取网页数据,效率高商品价格、舆情、招聘信息
问卷调查面向人的主观数据,需设计问卷学习习惯、满意度调查
系统日志/埋点系统自动记录行为数据网站访问日志、App 点击流
数据库导出/接口调用获取已有结构化数据教务系统成绩、天气 API
人工录入/实验测量灵活但效率低、易出错纸质档案数字化

合规提醒(素质目标):采集数据必须合法、正当、必要,采集个人信息应告知并取得同意,不得窃取他人隐私数据。

8.数据可视化与图表选用(高频考点)​

可视化的作用:把抽象数据变成直观图形,帮助快速发现趋势、对比、分布与异常。

"什么目的用什么图"——这张表必须记熟:

分析目的首选图表说明
比较不同类别的大小柱形图(条形图)类别少、差异明显时最清晰
展示随时间变化的趋势折线图连续时间序列(月度销售额、气温变化)
展示各部分占整体的比例饼图(环形图)类别不宜超过 5~6 项,且需互不重叠、合计为 100%
分析两个变量的相关性散点图看是否呈线性、是否聚集
展示数据分布直方图分区间统计频数
展示层级/占比叠加矩形树图、堆积柱形图多层级结构
文本数据词云词频高低用字号体现
地理位置数据地图(热力图)区域分布与密度

选图三问:比什么(对比→柱形)?看什么(趋势→折线)?占多少(占比→饼图)?

可视化中的"欺骗"(批判性思维):纵轴不从 0 开始、刻意截断坐标轴、使用夸张的 3D 效果、只截取有利时间段,都会放大或掩盖差异。看图表要先看坐标轴与单位。

9.延伸:大数据(4V)​

特征英文含义
数据量大Volume从 TB 到 PB、EB 级
处理速度快Velocity数据产生与要求响应的时间间隔短(实时流数据)
类型多样Variety结构化、半结构化、非结构化数据并存
价值密度低Value海量数据中有价值的信息占比小,需挖掘

记忆:"多、快、杂、值"——量大、速快、样多、值稀。

大数据与本校小节的关系:正因为数据量大、类型杂、价值密度低,才更需要本节讲的采集—加工—分析—呈现这套流程,也更需要后续单元的编程计算与数据分析能力。

10.数据与生活:机遇与风险​

机遇:精准推荐、智慧交通、疫情追踪、个性化学习、科学决策。

风险:

  1. 隐私泄露——个人行踪、消费习惯、健康数据被过度采集;
  2. 数据滥用——"大数据杀熟"、算法歧视;
  3. 数据安全——被窃取、被篡改、被勒索;
  4. 信息茧房——算法只推"你喜欢的",视野变窄。

应有的态度(素质目标):

  • 数据意识:遇到问题先想"有没有数据能帮我判断";
  • 数据伦理:不伪造、不篡改、不非法获取数据;
  • 隐私保护:最小化授权、定期清理、不随意公开个人信息。

11.速查表​

序号考点结论
1数据的定义对客观事物的符号记录,是信息的载体
2DIKW 顺序数据 → 信息 → 知识 → 智慧
3数据与信息的关系数据是载体,信息是加工后的、有意义的数据
4"数据就是数字"错,还有文字、图像、声音、视频等
5数据表现形式数值、文本、图形图像、音频、视频
6数据特征客观、可存储、可传递、可加工、共享、时效
7数据处理四环节采集 → 加工整理 → 分析 → 呈现
8数据质量原则垃圾进,垃圾出(GIGO)
9采集方式传感器、爬虫、问卷、日志、接口、人工
10比较大小用柱形图
11看趋势用折线图
12看占比用饼图
13看相关性用散点图
14看分布用直方图
15大数据 4VVolume、Velocity、Variety、Value
16大数据价值特征价值密度低(不是价值高)
17图表"欺骗"纵轴不从 0 起、截断坐标轴、夸张 3D

12.课堂提示(讲课参考)​

  • 开场用一个班的身高/成绩单:先给一串原始数字问"这说明了什么",学生答不出,再加工成平均分、最高分、分布图——"数据→信息"的差别一下就体验到了。
  • DIKW 用"体温"一条线讲透(38.5 → 高烧 → 高温天易中暑 → 调整户外作业),比四个抽象定义好记得多。
  • 图表选用让学生"投票":给四个真实场景(校运会各班得分、月考排名变化、班级手机品牌占比、每天学习时长与成绩),让他们选图并说理由,比背表格有效。
  • 务必强调"加工整理"这一环:学生做数据题时最容易跳过清洗,导致结论错。