DevKit源码

文本去重与整理

逐行去重、去除空行与整理排序,可选是否处理空格。

排序
实时预览:修改输入或选项立即生效
未执行输入 0 行输出 0 行
原始文本
字符 0字节 0行 0
整理结果
字符 0字节 0行 0
去重与整理规则
  • 逐行去重,保留每行首次出现时的原文与位置;大小写不敏感时同样保留首次出现的写法(不统一大小写)。
  • 默认不改任何空格:行首尾空格、空行都原样保留;trim 与「去除空行」是两个显式选项。
  • 空行指只含空格 / 制表符等空白字符的行;末尾换行符按真实行数计入统计。
  • 字典序按 Unicode 码点升序(英文在前、中文在后),如需保持原顺序请选择「保持原序」。
  • 预览实时计算:状态栏显示输入 / 输出行数与删除的重复行、空行数量。

什么时候用「文本去重与整理」

日志、ID 列表或域名清单里有大量重复行,需要去重并整理成干净的一列。

使用要点

  • 逐行去重,可选择是否忽略行首尾空格、是否删除空行。
  • 默认保留首次出现的顺序,方便与原始数据对照。
  • 排序与去重分开控制,不会悄悄改变你的行序。

相关工具

文本去重与整理与其他 44 个工具一样,全部计算都在你的浏览器里完成:输入、密钥与文件不会发送到服务器,页面首次加载后可离线使用。