Version 26.1.9526

• 先决条件
• 核心功能
• 建立连接
  • 端口配置
• 选择操作
  • 生产
    • 高级消息键和分区配置
      • 消息键配置
      • 分区配置
  • 消费
• 其它端口设置
  • 自动化
    • 自动化设置
    • 性能
  • 通知
    • 端口邮件设置
    • 服务等级协议 (SLA) 配置
  • 高级设置
    • 高级设置
    • 消息
    • 日志
    • 特殊设置
• 宏
  • 示例

Apache Kafka 端口允许您通过向 Apache Kafka 推送或从中拉取数据，将其集成到您的数据流中。

先决条件

要与 Apache Kafka 建立连接，用户至少必须具备：

• 一个 Apache Kafka 环境，该环境由有效的 Apache Kafka 主机服务器和服务器管理器（代理，通常是 Zookeeper 或 KRaft）组成。

• 从 Apache Kafka 主机到包含目标主题的集群中的所有 Apache Kafka 服务器和服务器管理器的网络连接。

• 在 Apache Kafka 中创建的主题，用于从服务器发送和接收消息。

• 从知行之桥到 Apache Kafka 服务器的清晰网络路径。

注意： 不提供创建或配置 Apache Kafka 服务器或服务器管理器的设置帮助或支持。有关 Apache Kafka 环境设置的信息，请参阅 Apache Kafka 文档。

核心功能

• 具有生产和消费能力的实时消息流
• 多种身份验证方案，包括 SASL 和 Kerberos
• 基于主题的消息组织与消费者组管理
• 可配置的读取时长，用于控制等待消息到达的时间

建立连接

允许 Apache Kafka 端口从 Apache Kafka 数据库中使用数据，首先需要建一个到 Apache Kafka 的连接。这里有个两种方式：

• 添加一个 Apache Kafka 端口到工作流中，然后点击连接下拉框旁边的 创建 按钮。
• 打开 系统设置 中的 连接 选项卡。点击 创建，选择 Apache Kafka 并 下一步 创建。

注意:

• 只有第一次创建连接时才需要登录过程。
• 到 Apache Kafka 的连接可以跨多个 Apache Kafka 端口重复使用。

端口配置

出现添加连接模态框后，进行：

1. 提供要求的信息：

   • Name — 连接的静态名称。
   • Type — 这始终设置为 Apache Kafka.
   • Auth Scheme — The authorization scheme to use for the connection. Options are Auto, None, Plain, Scram, and Kerberos.
   • User — (All schemes except None) The Apache Kafka username to use for logging in.
   • Password — (All schemes except None) The password for the user entered above.
   • Bootstrap Servers — The host/port pair to use for establishing the initial connection to Apache Kafka. If you are connecting to Confluent Cloud, you can find this on the Cluster settings.

2. 如果需要，请单击高级设置以打开高级连接设置的下拉菜单。大多数情况下不需要这些。

3. 点击 测试连接 以确保知行之桥可以使用提供的信息连接到 Apache Kafka。如果发生错误，请检查所有字段并重试。

4. 点击添加连接完成连接。

5. 在端口配置面板的连接下拉列表中，选择新创建的连接。

6. 在 主题 字段中，输入要定位的 Apache Kafka 主题。

7. 单击保存更改。

选择操作

与 Apache Kafka 建立连接后，你必须选择 Apache Kafka 端口将执行的操作。 知行之桥可以与 Apache Kafka 中的 2 交互方式。 下表概述了每个操作及其在知行之桥工作流中的位置：

操作	描述	工作流中的位置
生产	接受来自文件或其他端口的输入数据并将其发送到 Apache Kafka。	End
消费	检查队列中的消息并发送它通过输出路径沿工作流向下的任何数据。	Middle

生产

生产 操作将输入数据发送到 Apache Kafka。 此数据可以来自其他端口或来自你手动上传到 Apache Kafka 端口的 输入 选项卡的文件。 Apache Kafka 端口将输入数据发送到你在 配置 部分的 Topic 字段中输入的主题。

高级消息键和分区配置

Apache Kafka 端口在向 Kafka 主题生产消息时支持指定消息键（Message Key）和分区（Partition），从而在多分区环境中提供对消息分发和排序的细粒度控制。

消息键配置

可以使用 ArcScript 消息头 MessageKey 来指定 Kafka 消息键，或者通过 高级 页面 高级设置 部分中的 键标头 (Key Header) 字段来告知 ArcScript 使用输入消息上的哪个标头来确定消息键。此键决定了消息被发送到哪个分区，并确保分区内的消息排序。

分区配置

可以使用以下可选设置来控制哪个分区接收消息：

• 分区标头 (Partition Header)：定义端口用于设置分区的消息头。默认标头名称为 MessagePartition，但可以使用包含所需分区的任何消息头来覆盖它。
• 分区 (Partition)：在 高级 页面的 高级设置 部分提供分区编号。

注意： * 如果同时存在分区标头和特定分区编号，则消息头优先。

• 如果既没有指定消息键也没有指定分区，Kafka 将在目标主题的所有分区中分发消息。

消费

消费 操作会针对你在 配置 部分的 Topic 字段中输入的主题检查 Apache Kafka 队列中的消息。 你必须为此操作设置以下字段：

• 消费组 ID：指定端口创建的消费者应该属于哪个组。
• 读取持续时间：端口等待消息到达的时间长度（以秒为单位）。 无论收到的消息数量如何，端口都将等待整个持续时间。

通过 消费 端口处理的数据进入 输出 选项卡并向下传输到知行之桥工作流的下一个步骤。

其它端口设置

自动化

自动化设置

与端口自动化处理文件相关的设置。

• 发送 到达端口的文件是否将自动作为 AS2 消息发送。
• 重试间隔 重试发送失败消息之前的等待时间。当服务器未响应，或者回复否定响应，表明未收到文件时，将触发重试。
• 最大重试次数 端口处理输入文件的最大次数。是否成功基于服务器相应和回执的验证（如需要回执）。如果设置为 0，那么端口将无限次尝试处理失败文件。
• 重发间隔 重新发送未收到异步 MDN 回执之前的等待时间。服务器收到文件，但是在预期的时间范围内未回复异步 MDN 接收情况，就会触发重新发送。
• 最大重发尝试次数（异步） 如果需要异步回执时，端口处理输入文件的最大次数。是否成功基于服务器在正确相应后异步回执是否在重发间隔内返回（如果服务器没有正确响应，那么最大重试次数会被使用）。如果设置为 0，那么端口将无限次尝试处理失败文件。
• 分 每次执行等待的分钟数。仅当执行间隔被设置为 Minute 时适用。
• 第几分钟/小时 每小时计划的分钟偏移量。仅当执行间隔被设置为 Hourly 时适用。例如，如果将此值设置为 5，将在 1:05、2:05、3:05 自动执行脚本。
• 时 在指定的某一天内进行消息处理的时间。仅当执行间隔被设置为 Daily 或 Weekly 或 Monthly 时适用。
• 天 进行消息处理的某一天。仅当执行间隔被设置为 Weekly 或 Monthly 时适用。
• Cron 表达式 表示 cron 表达式的任意字符串，用于确定何时执行。仅当执行间隔被设置为 Advanced 时适用。

性能

与端口资源分配相关的设置。

• 最大工作线程数 此端口上处理文件时从线程池中消耗的最大工作线程数。如果设置，则会覆盖 高级设置 页面的 性能设置 部分的默认设置。
• 最大文件数 分配给端口的每个线程发送的最大文件数。如果设置，则会覆盖 高级设置 页面的 性能设置 部分的默认设置。

通知

与配置通知和服务等级协议 (SLA) 相关的设置。

端口邮件设置

在执行 SLA 之前，需要设置电子邮件通知以获取通知。 单击 配置通知 将打开一个新的浏览器窗口，转到 系统设置，可以在其中设置系统范围的通知。 有关详细信息，请参阅通知。

服务等级协议 (SLA) 配置

SLA 能够配置期望工作流中的端口发送或接收的数量，并设置期望满足该数量的时间范围。 知行之桥在不满足 SLA 时发送电子邮件警告用户，并将 SLA 标记为 有风险，这意味着如果很快不满足 SLA，则会将其标记为 已违反。 这使用户有机会介入并确定未满足 SLA 的原因，并采取适当的措施。 如果在风险时间段结束时仍未满足 SLA，则将 SLA 标记为违反，并再次通知用户。

要定义 SLA，请单击 添加预期数量条件。

• 如果端口具有单独的发送和接收操作，请使用单选按钮指定 SLA 所属的方向。
• 将 期待至少 设置为期望处理的最小交易数量（交易量），然后使用 每 字段指定时间范围。
• 默认情况下，SLA 每天都有效。 要更改此设置，请取消选中每日，然后选中想要的一周中的几天的框。
• 使用 将状态设置为“有风险” 来指示何时应将 SLA 标记为存在风险。
• 默认情况下，在违反 SLA 之前不会发送通知。 要更改此设置，请选中 发送“有风险”通知。

以下示例显示为预计周一至周五每天接收 1000 个文件的端口配置的 SLA。 如果尚未收到 1000 个文件，则会在该时间段结束前 1 小时发送风险通知。

注意：如果有必要，可以关闭 SLA 通知。这在维护窗口期间非常有用。点击导航栏上的设置，然后跳转到通知 > 通用通知。点击平板和铅笔图标进行编辑，并取消勾选 SLA 通知设置。

高级设置

高级设置

• 分区 (Partition) 要向其发送消息的分区编号。如果同时提供了此项和 分区标头，则以后者为准。有关此项及后续设置的详细信息，请参阅分区配置。
• 分区标头 (Partition Header) 用于指定目标分区的 ArcScript 消息头名称。默认值为 MessagePartition。
• 键标头 (Key Header) 用于指定消息键的 ArcScript 消息头名称。默认值为 MessageKey。详情请参阅消息键配置。
• 本地文件名格式 用于为端口输出的消息分配文件名的方案。 可以在文件名中动态使用宏来包含标识符和时间戳等信息。 有关详细信息，请参阅宏。
• 其他驱动程序设置 仅在特定用例中使用的隐藏属性。

消息

• 保存至 Sent 文件夹 选中此选项可将端口处理的文件复制到端口的已发送文件夹中。
• 已发送文件夹方案 指示端口根据选定的时间间隔对已发送文件夹中的消息进行分组。 例如，Weekly 选项指示端口每周创建一个新的子文件夹，并将该周的所有消息存储在该文件夹中。 空白设置告诉端口将所有消息直接保存在“已发送”文件夹中。 对于处理许多消息的端口，使用子文件夹有助于保持消息的组织性并提高性能。

日志

• 日志级别 端口生成的日志的详细程度。 当端口请求支持时，请将其设置为 调试。
• 日志子文件夹方案：指示端口根据所选的时间间隔对日志（Logs）文件夹中的文件进行分组。每周（Weekly）选项（默认设置）指示端口每周创建一个新子文件夹，并将该周的所有日志存储在其中。如果此设置留空，则端口将所有日志直接保存在日志文件夹中。对于处理大量事务的端口，使用子文件夹有助于保持日志井然有序并提高性能。
• 保留消息副本 选中此项可使已处理文件的日志条目包含文件本身的副本。 如果禁用此功能，端口可能无法从 输入 或 输出 选项卡下载文件的副本。

特殊设置

特殊设置 适用于特定用例。

• 其他设置 允许在以分号分隔的列表中配置隐藏的端口设置，例如setting1=value1;setting2=value2。 正常的端口用例和功能不需要使用这些设置。

宏

在文件命名策略中使用宏可以提高组织效率和对数据的上下文理解。 通过将宏合并到文件名中，可以动态地包含相关信息，例如标识符、时间戳和消息头信息，从而为每个文件提供有价值的上下文。 这有助于确保文件名反映对组织重要的详细信息。

知行之桥 支持这些宏，它们都使用以下语法：%Macro%。

宏	描述
ConnectorID	替换为端口的 ConnectorID。
Ext	替换为端口当前正在处理的文件的文件扩展名。
Filename	替换为端口当前正在处理的文件的文件名（包括扩展名）。
FilenameNoExt	替换为端口当前正在处理的文件的文件名（不带扩展名）。
MessageId	计算端口输出的消息的 MessageId。
RegexFilename:pattern	将正则表达式模式应用于端口当前正在处理的文件的文件名。
Header:headername	替换为端口正在处理的当前消息的目标消息头 (headername) 的值。
LongDate	以常规格式计算系统的当前日期时间（例如，2024 年 1 月 24 日星期三）。
ShortDate	以 yyyy-MM-dd 格式计算系统的当前日期时间（例如 2024-01-24）。
DateFormat:format	以指定格式（format）计算系统的当前日期时间。 有关可用的日期时间格式，请参阅示例日期格式
Vault:vaultitem	计算指定保管库项目的值。

示例

某些宏（例如 %Ext% 和 %ShortDate%）不需要参数，但其他宏则需要。 所有带有参数的宏都使用以下语法：%Macro:argument%

以下是带有参数的宏的一些示例：

• %Header:headername%：其中 headername 是消息上消息头的名称。
• %Header:mycustomheader% 解析为输入消息上设置的 mycustomheader 消息头的值。
• %Header:ponum% 解析为输入消息上设置的 ponum 消息头的值。
• %RegexFilename:pattern%：其中“pattern”是正则表达式模式。 例如，%RegexFilename:^([\w][A-Za-z]+)% 匹配并解析为文件名中的第一个单词，并且不区分大小写（test_file.xml解析为test） 。
• %Vault:vaultitem%：其中 vaultitem 是 vault 中项目的名称。 例如，%Vault:companyname%解析为存储在保管库中的companyname项的值。
• %DateFormat:format%：其中 format 是可接受的日期格式（有关详细信息，请参阅示例日期格式）。 例如，%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%解析为文件上的日期和时间戳。

还可以创建更复杂的宏，如以下示例所示：

• 将多个宏组合在一个文件名中：%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%%EXT%
• 包括宏之外的文本：MyFile_%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%
• 在宏中包含文本： %DateFormat:'DateProcessed-'yyyy-MM-dd_'TimeProcessed-'HH-mm-ss%