列表去重之前，先确定“同一行”的规则
大小写、空格和空行会影响去重结果。选择正确的整理顺序，保留有意义的数据。
TOOL 内容维护 · 更新于 2026-11-06
精确去重保留什么
本站按整行内容精确比较，保留每一行第一次出现的位置。例如 apple、Apple 和带有行尾空格的 apple 默认是不同的行。这样不会擅自改变大小写敏感的路径、标识符或密码样本。
如果列表中的首尾空格只是复制带来的噪声，可以先执行“修剪每行首尾空白”，再去重。对于本来依赖缩进或空格的配置和代码，不应使用这一操作。
空行与换行符的区别
文本来自 Windows、macOS 或网页时，可能使用不同换行符。工具在按行处理时把 CRLF 和 CR 统一为 LF，以便稳定比较。空行是没有可见内容的一行；只包含空白的行也可以由“移除空行”操作删除。
末尾换行有时是文件格式要求。为了明确统计，本工具将非空文本按换行分隔为逻辑行；因此末尾一个换行会增加一行。导出给特定程序使用时，仍应核对该程序对换行的要求。
字符、字节和字数不同
“字符”在本工具中按 Unicode 码点计数，UTF-8 字节数则是文本导出为 UTF-8 时的大小。一个常见汉字通常占 3 字节，普通 ASCII 字母通常占 1 字节，emoji 可能占更多字节。
组合 emoji、肤色修饰和组合音标可能由多个码点组成，因此本工具的字符数不等于视觉上看到的字形数量，也没有把中文分词结果当作字数。提交表单有长度限制时，以接收系统的实际规则为准。
发现内容有误？告诉我们，请附上问题所在段落和可复现的示例。