5.1 走近数据分析
知识点
1.什么是数据分析
定义：数据分析是用适当的统计方法与工具，对收集来的数据进行分析，从中提取有用信息、形成结论、支持决策的过程。
为什么需要数据分析：
| 仅看数据 | 经过分析 |
|---|---|
| "这次考试班级平均 68 分" | "第 3 题得分率最低，说明该知识点没掌握，需重讲" |
| 看不出问题 | 能指导行动 |
一句话：数据分析的目的是"从数据中得出结论并支持决策"，不是为了"做图表好看"。
数据分析的三个层次：
| 层次 | 回答什么 | 例子 |
|---|---|---|
| 描述性分析 | 发生了什么 | 本月销量比上月下降 8% |
| 诊断性分析 | 为什么发生 | 下降主要来自 A 类商品，因竞品降价 |
| 预测性分析 | 将会发生什么 | 按趋势下月销量约回升 5% |
2.数据分析的完整流程（六步，必背）
① 明确问题 → ② 收集数据 → ③ 清洗与整理 → ④ 分析 → ⑤ 可视化呈现 → ⑥ 得出结论
| 步骤 | 做什么 | 关键动作 | 常见问题 |
|---|---|---|---|
| ① 明确问题 | 把模糊需求变成具体的、可回答的问题 | "本班数学成绩的薄弱环节在哪？" | 问题太大太泛，无法分析 |
| ② 收集数据 | 获取可靠、相关、足量的数据 | 问卷、系统导出、传感器、公开数据 | 数据来源不可靠、样本有偏 |
| ③ 清洗与整理 | 去重、纠错、补缺、统一格式 | 删除重复行、修正异常值、拆分列 | 跳过这步 → 结论必错（GIGO） |
| ④ 分析 | 用统计方法找规律、找差异、找关系 | 分组统计、对比、相关 | 方法选错、只看平均值 |
| ⑤ 可视化 | 用图表直观表达结论 | 柱形／折线／饼图（见 1.1 第 8 点） | 图表类型不当、误导性坐标轴 |
| ⑥ 得出结论 | 用明确的语言回答第①步的问题，并给出建议 | "第 3、7 题得分率低于 50%，建议重讲" | 结论与数据脱节、过度推论 |
流程的两个特点：
- ①决定后面所有步骤——问题不清，全盘白做；
- 可能反复——分析中发现数据不够，要回到②补充收集。
3.数据的三种类型
| 类型 | 特征 | 举例 | 处理难度 |
|---|---|---|---|
| 结构化数据 | 有固定字段与格式，可存成二维表 | 成绩表、销售记录、数据库表 | 最易（直接统计） |
| 半结构化数据 | 有一定结构但不严格 | JSON、XML、HTML、日志文件 | 中等（需解析） |
| 非结构化数据 | 没有固定结构 | 文本、图片、音频、视频 | 最难（需专门技术） |
关键数据：现实中 80% 以上是非结构化数据——这也是"大数据分析"难点所在。
按测量尺度分类（了解）：
- 定类数据（类别，如性别，只能计数）；
- 定序数据（有顺序，如成绩等级 A/B/C）；
- 定距／定比数据（可加减、可乘除，如分数、身高）。
4.常用分析方法（六种，要会选会用）
（1）对比分析
思路：把两个或多个对象／时期放在一起比较，找差异。
本月 vs 上月、本班 vs 他班、实验组 vs 对照组
要点：对比必须在同一口径下（同样的统计范围、同样的计算方式），否则结论无效。
常用指标：差值、增长率（(本期 − 上期) / 上期 × 100%）、占比。
（2）分组分析（分类汇总）
思路：按某个维度把数据分组，再在组内统计。
按班级统计平均分、按性别统计及格率、按月份统计销量
工具对应：Excel 的排序 + 分类汇总、数据透视表。
要点：分组维度选得好，规律才显现——"按班级"看不出问题，"按知识点"可能立刻暴露薄弱环节。
（3）平均分析
思路：用平均数概括整体水平。
三种"平均"的区别（易考）：
| 名称 | 计算 | 特点 | 适用 |
|---|---|---|---|
| 算术平均数 | 总和 ÷ 个数 | 受极端值影响大 | 数据较均匀 |
| 中位数 | 排序后正中间的数 | 不受极端值影响 | 有极端值（如收入） |
| 众数 | 出现次数最多的数 | 可能有多个或没有 | 类别数据（如最喜欢的科目） |
经典例子：某公司 9 人月薪 3000 元，老板月薪 50000 元。
- 平均数 = (9×3000 + 50000) ÷ 10 = 7700 元 —— 严重失真；
- 中位数 = 3000 元 —— 更真实反映普通员工水平。
结论：看平均数前，先看有没有极端值；有极端值时必须同时看中位数。
（4）频率分布分析
思路：把数据分成若干区间，统计各区间的频数／频率，看分布形态。
成绩分段：0~59、60~69、70~79、80~89、90~100，各段人数
工具对应：直方图。
能看出什么：集中在哪一段、是否偏态（多数偏低 or 偏高）、有没有两极分化。
（5）相关分析
思路：看两个变量之间是否有关系、关系强弱与方向。
| 相关类型 | 含义 | 例子 |
|---|---|---|
| 正相关 | 一个增大，另一个也增大 | 学习时间 ↔ 成绩 |
| 负相关 | 一个增大，另一个减小 | 玩手机时间 ↔ 成绩 |
| 不相关 | 无明显关系 | 鞋码 ↔ 成绩 |
工具对应：散点图（看点是否沿一条斜线分布）。
最重要的警告：相关 ≠ 因果！
经典例子：夏天"冰淇淋销量"与"溺水人数"同时上升——不是冰淇淋导致溺水，而是气温这个共同因素。
（6）趋势分析
思路：看指标随时间的变化方向与幅度。
工具对应：折线图；进一步可用移动平均平滑波动。
要点：时间跨度要足够，短期波动不代表趋势；注意季节性（如羽绒服销量冬季必高，不能说明营销成功）。
5.数据分析工具
（1）Excel（入门与日常最实用）
| 功能 | 用途 |
|---|---|
| 排序 | 按某列升／降序排列 |
| 筛选 | 只显示符合条件的记录 |
| 分类汇总 | 先排序再按类求和／计数／平均 |
| 数据透视表 | 多维交叉统计（行×列×值），最强大的分析工具 |
| 函数 | SUM、AVERAGE、COUNTIF、SUMIF、RANK、IF 等（见 1.2 第 3 点） |
| 图表 | 柱形、折线、饼图、散点、直方图 |
| 条件格式 | 用颜色直观标出高低（数据条、色阶） |
数据透视表的价值（举一例）：一张 1000 行的销售流水，拖几下就能得到"每个销售员 × 每个季度"的汇总表——手工分类汇总要几十分钟，透视表 30 秒。
（2）Python（处理大数据与自动化）
| 库 | 作用 | 典型用法 |
|---|---|---|
| pandas | 数据处理与分析（表格型数据） | read_csv() 读数据、groupby() 分组、mean() 求平均 |
| matplotlib | 绘图与可视化 | plot() 折线、bar() 柱形、pie() 饼图 |
| numpy | 数值计算（数组与矩阵运算） | 快速求和、均值、标准差 |
| wordcloud | 词云 | 文本高频词可视化 |
示例思路（不必背代码，理解结构即可）：
import pandas as pd
import matplotlib.pyplot as plt
df = pd.read_csv("scores.csv") # ① 读入数据
print(df.describe()) # ② 快速看统计概况
avg = df.groupby("班级")["成绩"].mean() # ③ 按班级分组求平均
avg.plot(kind="bar") # ④ 画柱形图
plt.show()
四步模式：读入 → 查看 → 分组统计 → 画图。
为什么还要学 Python：数据量大（几十万行）时 Excel 会卡；步骤需要重复执行时（每周都要做同样的分析），程序一次写好，以后一键运行——这就是 1.2 讲的"程序计算的复用优势"。
6.数据可视化：让结论"一眼可见"
图表选用（与 1.1 第 8 点一致，此处强化）：
| 目的 | 图表 |
|---|---|
| 比较大小 | 柱形图 |
| 看趋势 | 折线图 |
| 看占比 | 饼图 |
| 看相关性 | 散点图 |
| 看分布 | 直方图 |
| 看结构层级 | 矩形树图 |
可视化的三条原则：
- 一图一主题——不要在一张图里塞五个结论；
- 标注清晰——标题、坐标轴名称、单位、图例齐全；
- 不误导——纵轴从 0 开始（柱形图尤其）、比例尺一致、不用夸张 3D。
常见的"图表欺骗"（批判性阅读必学）：
| 手法 | 效果 | 识别方法 |
|---|---|---|
| 纵轴不从 0 开始 | 微小差异被放大成"暴涨暴跌" | 看纵轴起点 |
| 截断／省略数据点 | 掩盖异常或趋势反转 | 看横轴是否连续 |
| 使用面积／体积代替长度 | 视觉误差被平方放大 | 看图形是否按比例 |
| 只选有利的时间段 | "精心挑选"的结论 | 要完整时间序列 |
| 3D 饼图 | 前后扇形看起来更大 | 用二维图并标数值 |
7.数据伦理：分析者的责任
| 风险 | 说明 | 应有的做法 |
|---|---|---|
| 隐私泄露 | 分析结果可反推个人（如"某班唯一少数民族学生"） | 脱敏处理（去标识化）、最小化使用 |
| 样本偏差 | 只调查了上网人群，结论却推广到全体 | 说明样本范围与局限 |
| 算法歧视 | 训练数据有偏见，结论对某群体不公 | 检查数据代表性 |
| 误导性表达 | 用图表或措辞夸大结论 | 如实呈现，标注不确定性 |
| 数据造假 | 编造、篡改数据 | 绝对禁止，属学术／职业不端 |
一句话：数据分析不仅要有"技术能力"，更要有"责任意识"。
8.速查表
| 序号 | 考点 | 结论 |
|---|---|---|
| 1 | 数据分析的目的 | 提取信息、形成结论、支持决策 |
| 2 | 分析六步 | 明确问题→收集→清洗整理→分析→可视化→结论 |
| 3 | 最关键的一步 | 明确问题（决定后续全部） |
| 4 | 最易被跳过的一步 | 清洗与整理 |
| 5 | GIGO | 垃圾进，垃圾出 |
| 6 | 结构化数据 | 固定字段的二维表 |
| 7 | 半结构化数据 | JSON、XML、HTML、日志 |
| 8 | 非结构化数据 | 文本、图片、音频、视频 |
| 9 | 非结构化数据占比 | 80% 以上 |
| 10 | 对比分析要点 | 同一口径比较 |
| 11 | 增长率公式 | (本期−上期)/上期×100% |
| 12 | 分组分析工具 | 数据透视表／分类汇总 |
| 13 | 平均数受什么影响 | 极端值 |
| 14 | 不受极端值影响的 | 中位数 |
| 15 | 出现最多的数 | 众数 |
| 16 | 频率分布用什么图 | 直方图 |
| 17 | 相关分析用什么图 | 散点图 |
| 18 | 相关与因果 | 相关 ≠ 因果 |
| 19 | 趋势分析用什么图 | 折线图 |
| 20 | 分类汇总前必须 | 排序 |
| 21 | 最强大的 Excel 分析工具 | 数据透视表 |
| 22 | Python 数据分析库 | pandas |
| 23 | Python 绘图库 | matplotlib |
| 24 | 柱形图纵轴要求 | 从 0 开始 |
| 25 | 隐私保护手段 | 脱敏／去标识化 |
9.课堂提示（讲课参考）
- 用本班真实成绩做一次完整分析：从"哪道题最薄弱"这个问题出发，走完六步，最后给出"重讲第 3 题"的建议——学生第一次体会"数据能指导行动"。
- 平均数失真的例子必讲："9 人 3000 元 + 老板 50000 元"的平均工资 7700 元，学生会笑，也记住了中位数。
- "冰淇淋与溺水"讲相关≠因果，再补一个身边的（"吃早餐的人成绩更好"可能只是因为家庭条件好）。
- 图表欺骗用两张图对比：同一组数据，纵轴从 0 开始 vs 从 90 开始，效果天差地别——批判性读图能力比会做图更重要。
- 数据透视表现场演示一次：1000 行流水拖出汇总表，学生的惊叹就是学习动机。