Skip to content

移除重复项节点#

使用移除重复项节点可以识别并删除以下情况的项目：

  • 单次执行中所有字段或字段子集完全相同的项目
  • 与之前执行中已处理项目相同或不如的项目

这在可能出现重复数据的情况下非常有用，例如用户创建多个账户，或客户多次提交相同订单。处理大型数据集时，发现并移除这些项目会变得更加困难。

通过与之前执行的数据进行比较，移除重复项节点可以删除之前执行中已见过的项目。它还能确保新项目的日期更晚或数值更高。

1.64.0 版本重大变更

n8n 团队在 1.64.0 版本中彻底改进了此节点。本文档反映的是该节点的最新版本。如果您使用的是旧版 n8n，可以在此处找到本文档的先前版本。

操作模式#

移除重复项节点的工作方式取决于 operation 参数的值：

移除当前输入中的重复项#

当将"操作"字段设置为移除当前输入中的重复项时，Remove Duplicate节点会识别并移除当前输入中的重复项。此操作可以应用于所有字段，也可以仅针对部分字段子集执行。

移除当前输入中重复项的参数设置#

使用移除当前输入中的重复项操作时，可使用以下参数：

  • 比较方式：选择n8n应比较哪些输入数据字段以检查是否相同。可用选项包括：
    • 所有字段：比较输入数据的所有字段。
    • 排除指定字段：输入n8n应从比较中排除的字段。可提供多个以逗号分隔的值。
    • 选择特定字段：输入n8n应包含在比较中的字段。可提供多个以逗号分隔的值。

移除当前输入中重复项的选项设置#

如果选择排除指定字段或选择特定字段作为比较类型，可添加以下选项：

  • 禁用点标记法：设置是否使用parent.child格式的点标记法引用子字段（关闭）或不使用（开启）。
  • 移除其他字段：设置是否移除未参与比较的任何其他字段（开启）或不移除（关闭）。

移除之前执行中已处理的项#

当将"操作"字段设置为移除之前执行中已处理的项时，Remove Duplicate节点会将当前输入中的项与之前执行中的项进行比较。

移除先前执行中已处理项的参数#

使用移除先前执行中已处理项操作时，可使用以下参数：

  • 保留项条件：选择 n8n 决定保留哪些项的条件。可选选项如下：

    • 值为新：如果项的值与先前执行中的项匹配，n8n 会移除这些项。
    • 值高于任何先前值：如果当前值不高于先前值，n8n 会移除这些项。
    • 值为晚于任何先前日期的日期：如果当前日期不晚于先前日期，n8n 会移除这些日期项。

  • 用于去重的值：要比较的输入字段或字段组合。您为保留项条件参数选择的选项决定了所需的精确格式：

    • 使用值为新时，必须是一个具有唯一 ID 的输入字段或字段组合。
    • 使用值高于任何先前值时，必须是一个具有递增值的输入字段或字段组合。
    • 使用值为晚于任何先前日期的日期时，必须是一个包含 ISO 格式日期值的输入字段。

移除先前执行中已处理项的选项#

使用移除先前执行中已处理项操作时，提供以下选项：

  • 作用范围：设置 n8n 如何存储和使用去重数据进行比对。可选选项包括：
    • 节点级：（默认）独立存储该节点的数据，与工作流中其他"移除重复项"实例无关。使用此范围时，可以清除去重历史记录而不会影响其他节点。
    • 工作流级：在工作流级别存储去重数据。这将与工作流中其他设置为"工作流"作用范围的"移除重复项"节点共享去重数据。n8n 仍会独立管理设置为"节点级"作用范围的其他"移除重复项"节点的去重数据。

当选择保留新值作为保留项目条件时，还可使用以下选项：

  • 历史记录大小：n8n 为追踪跨执行重复项而存储的项目数量。作用范围选项的值决定该历史记录大小是专属于当前"移除重复项"节点实例，还是与工作流中其他实例共享。默认情况下，n8n 存储 10,000 个项目。

清除去重历史记录#

当将"操作"字段设置为清除去重历史记录时，"移除重复项"节点将管理并清除先前执行中存储的项目。此操作不会影响当前输入中的任何项目，而是管理"移除先前执行中已处理项"操作所使用的项目数据库。

清除去重历史记录参数#

使用清除去重历史记录操作时，可使用以下参数：

  • 模式：管理数据库中存储的键/值项的方式。提供以下选项：
    • 清理数据库：删除数据库中存储的所有去重数据。这将把去重数据库重置为初始状态。

清除去重历史记录选项#

使用清除去重历史记录操作时，可使用以下选项：

  • 范围：设置 n8n 管理去重数据库时使用的范围。
    • 节点：(默认) 管理特定于此 Remove Duplicates 节点实例的去重数据库。
    • 工作流：管理由所有使用工作流范围的 Remove Duplicate 节点实例共享的去重数据库。

模板与示例#

如需使用 Remove Duplicates 节点的模板及使用示例，请参阅模板与示例。

相关资源#

了解更多关于 n8n 工作流中的数据结构与数据流。