用数据概况认识陌生文件
CSV 数据概况与质量诊断展示记录数、字段数、空值、频次和格式特征,帮助决定下一步需要清洗、规范化还是验证。它描述统计现象,不把缺失、低多样性或异常大数一概定义成业务错误,也不输出没有明确评分依据的“质量 98 分”。原始单元格始终保留。
适用场景包括第一次接收供应商文件、检查分类突然增多、核对某列是否几乎为空,以及确认数值字段是否混入文字。某个国家字段为常量可能完全合理,可选地址为空也未必错误。统计只提出可核对的问题,业务含义仍需来源信息支持。
明确输入与统计范围
选择 UTF-8 CSV、TSV 或粘贴表格,确认表头与解析。字段边界和逻辑记录数先由 CSV 解析确定,不能把多行单元格当成多条记录。若首行是数据而非表头,应在导入时正确设置;否则统计范围会从一开始就不同。
“全量记录”统计全部确认输入;“仅前 20 条样本”用于快速检查口径。样本标题和下载名明确标注,不能据此声称整个文件唯一或没有错误。后续记录可能有新分类或无效值。切回全量后重新计算所有指标,不按样本比例外推。
空值、不同值与单次值
默认缺失单元格和空字符串为空,纯空白字符需要明确选择。0、false、NULL、N/A 默认都是原文,不自动计入缺失。指定缺失标记只按严格文本匹配,并同步影响空值、非空、不同值和数值参与口径。
A、A、B、空共四条记录:空值一条,占 25%;非空三条;非空不同值两个;只出现一次的非空值一个。不同值衡量值域大小,单次值衡量仅出现一次的值数量。不能把两者都笼统称为“唯一值”后混用。空值比例的分母是本次实际分析的记录数。
频次与类型建议怎么读
“常见值频次”按次数降序显示,每列可设置 1–100 项。预览只显示部分常见值,但全量不同值计数不受该展示数量影响。大小写、两端空格、标点和重音原样参与比较,需要合并时应先经过明确的标准化步骤。
空列表示当前空值口径下没有非空观察;常量列表示非空不同值只有一个,即使其中仍有缺失。混合格式仅指粗略文本形态不同。长得像日期不代表日历有效,长得像数值的 00123 也可能是编号。类型建议不会自动改写或转换字段。
数值统计必须先确认解释
点击“添加数值统计”,选择字段并设置来源小数符、千位符、负数、货币标记和百分比模式,然后确认解释。规范化后的列可以复用已确认规则,界面语言不代替数值地区设置。
成功解释的数值参与最小、最大、均值和分位数;空值排除;无效和超范围内容另行计数并定位,不按零处理。因此非空数量和有效数值数量可能不同。报告均值时应同时查看有效数量与无法解释数量,避免隐瞒被排除的观察。
固定的线性插值分位数
分位数使用固定的 type-7 线性插值:有效数值排序后,用零起点位置 h=(n−1)×p,在左右相邻值之间插值。25%、50%、75% 分别对应下四分位数、中位数和上四分位数。算法写入设置报告,不依赖页面或库的隐式默认。
只有 0 和 10 两个值时,25% 分位数为 2.5,中位数为 5,75% 为 7.5。只有一个有效值时三个分位数都等于该值;没有有效数值时保持空白,不伪造零。精确十进制用于计算,循环小数均值最多四十位小数,口径随报告保留。
定位来源与后续工具
运行后在“查看字段”选择列,可同时检查该列统计、常见值和空值/解释异常位置。点击来源打开原记录,不把用户数据放入 URL。某项频次背后的全部来源可以检查,视图分页不会限制实际统计范围。
需要统一分类时进入分类值标准化;需要改变数值表达时进入数字格式转换;已有明确要求时进入规则验证。概况本身不修复数据。应用到工作流保留当前原表供下一工具使用,真正变换后应重新生成概况,不能沿用之前的统计结论。
导出与规模限制
可导出列级概况、常见值频次、问题定位和设置。设置记录范围、输入版本、处理时间、空值与数值口径、分位数方法。保存报告时应保留这些解释,只有数字而没有分母和规则的概况容易被误读。
导出 CSV/TSV 后重新读取验证,不只是提供截图。公式前缀防护与原文保留需要明确选择。大量字段缺失时问题定位报告可能比原表大,超过审计预算会阻止;应缩小范围并明确标签。取消保留输入,刷新或关闭清空会话。本工具不提供自动修复、数据认证或无限规模承诺。
常见问题
怎么快速看出哪列空值多、哪些内容重复得多?
选择需要查看的列,检查空值数量、不同值和频次分布。先确认统计范围是全量还是样本,再作判断。非空内容不一定是有效数字,数值统计需要先确认解释规则。
不同值和只出现一次的值有什么区别?
A、A、B 有两个不同值,但只有 B 出现一次,因此单次值数为一。
样本能证明整个文件唯一吗?
不能。重复可能出现在样本以外,应执行全量唯一性验证后再下结论。
显示“可能是数字”,会把原来的文本改掉吗?
不会。数值统计还需要明确确认解释,概况不会自动修改字段类型。
为什么有效数值少于非空数量?
部分非空内容无法按当前数值规则解释,单独报告并排除,不当成零。