去重与排序
按行去重、排序与统计,重复项计数一目了然。
输入
输出
按行整理文本是日志分析、接口调试里最常做的小事:去掉重复项、排除空行、按字典序或长度排列。看起来简单,坑在于大小写是否敏感、排序后原顺序是否保留、空行算不算一行。
默认行为是:去掉行首尾空白后比较、保留首次出现顺序、忽略空行、大小写敏感。每个开关都独立可关,输出区上方给出输入行数、结果行数与重复条数。一条边界先说在前面:字典序按 Unicode 码位比较,中文不是拼音序。
去重与排序怎么用
- 去重:保留每个值第一次出现的位置,其余删除。
- 排序:升序按字典序(区分大小写时大写在前),降序是升序的完全反转,按长度则从短到长。
- 重复计数:打开「标注重复次数」,每行后面追加 ×N,方便统计高频项。
常见问题
中文字典序按什么排?
按 Unicode 码位比较,不是拼音。需要拼音排序请在结果生成后交给语言环境处理。
空行会被统计进行数吗?
统计区分别给出「总行数」和「非空行数」,默认输出丢弃空行,打开「保留空行」即原样保留。
忽略大小写时保留哪个写法?
保留首次出现的那一条原文,后续大小写不同的重复项被丢弃。