文本去重工具能够将一段文本按照指定的分隔符切分成若干独立项，随后进行重复项的去除、频次统计，或者对两段文本执行并集、交集、差集等集合运算。所有操作均在浏览器本地完成，粘贴的文本内容不会上传至任何服务器。
三种工作模式
去重模式
输出去重处理后的所有项目。您可以根据需要选择输出全集、仅重复项或仅唯一项。此模式适用于名单合并、SQL查询结果清洗等场景。
频次统计模式
输出每个项目出现的次数和对应的内容，格式为"次数\t内容"，并可按照次数或内容进行排序。此模式适用于日志Top N分析、错误码分布统计等场景。
集合运算模式
支持A∪B（并集）、A∩B（交集）、A−B（差集）、B−A（差集）、A△B（对称差集）五种运算。此模式适用于两份清单对账、差异盘点等场景。
比较键与原始形态分离机制
每个项目在处理前会先按照您指定的选项（去除首尾空白、转换为小写、删除所有空白字符）归一化为"比较键"，用于判断是否重复。但在最终输出时，会回退到该项目首次出现时的原始字符串形式。
例如，开启"忽略大小写"去重功能后，对于 Apple 和 apple 这两个项目，去重结果将是 Apple 而非 apple，从而保留了您最初的书写形态。
分隔符支持
工具支持多种分隔符，包括换行符、逗号、分号、空格（连续多个空格视为一个分隔符）、制表符，您也可以自定义任意字符串作为分隔符。输入和输出使用相同的分隔符，粘贴时使用什么分隔符，导出时就会使用相同的分隔符拼接。
与 sort -u / uniq 的差异
本工具默认保留项目首次出现的顺序，不会强制进行排序。排序功能作为可选项提供，并支持按字母顺序或按出现频次等多种排序方式，为您提供更灵活的数据处理体验。