TSV 端口

Version 23.4.8843


TSV 端口


TSV 端口可以将制表符分隔值(TSV)文件转换为 XML,也可以从 XML 生成 TSV 文件。

概述

XML 是知行之桥用于处理工作流中数据的主要格式。因此,将 TSV 文件转换为 XML 是作为工作流中进一步处理的过渡步骤,或者在操作 XML 之后将 XML 转换为 TSV 文件也很有用。这两个操作都可以通过 TSV 端口来完成。

更多关于 TSV 转换为 XML 的信息,请参考 TSV 转 XML 部分;将 XML 转换为 TSV 的详细信息,请参考 XML 转 TSV 部分。

端口设置

本节包含所有可配置的端口属性。

设置

配置

与端口 ID 和描述相关的设置。

  • 端口 Id 端口的静态、唯一标识符。
  • 端口类型 显示端口类型及其用途的描述。
  • 端口描述 一个可选字段,用于提供端口及其在流中的角色的自由格式描述。

Connector Settings

与端口核心操作相关的设置。

  • 存在列标题 TSV 文件是否包含一行标题,为文件中的值提供名称或上下文。
  • 记录名称 转换为 XML 时表示 TSV 文件中的一行的元素名称。 可以使用以下宏:
    %ConnectorID%、%FilenameNoExt%、%RegexFilename:% 和 %Header:%。
    有关更多详细信息,请参阅将 TSV 转换为 XML

其它设置

先前类别中未包含的设置。

  • 本地文件名格式 用于为端口输出的消息分配文件名的方案。 可以在文件名中动态使用宏来包含标识符和时间戳等信息。 有关详细信息,请参阅
  • 延迟处理 放置在输入文件夹中的文件的处理延迟的时间量(以秒为单位)。 这是一个遗留设置。 最佳实践是使用 File 端口 来管理本地文件系统,而不是此设置。

消息

  • 保存至 Sent 文件夹 选中此选项可将端口处理的文件复制到端口的已发送文件夹中。
  • 已发送文件夹方案 指示端口根据选定的时间间隔对已发送文件夹中的邮件进行分组。 例如,Weekly 选项指示端口每周创建一个新的子文件夹,并将该周的所有邮件存储在该文件夹中。 空白设置告诉端口将所有消息直接保存在“已发送”文件夹中。 对于处理许多消息的端口,使用子文件夹有助于保持消息的组织性并提高性能。

日志

  • 日志级别 端口生成的日志的详细程度。 当端口请求支持时,请将其设置为 调试
  • 日志子文件夹方案 指端口根据选定的时间间隔对日志文件夹中的文件进行分组。 例如,Weekly 选项表示端口每周创建一个新子文件夹并将该周的所有日志存储在该文件夹中。 空白设置告诉端口将所有日志直接保存在 Logs 文件夹中。 对于处理大量事务的端口,使用子文件夹有助于保持日志井井有条并提高性能。
  • 保留消息副本 选中此项可使已处理文件的日志条目包含文件本身的副本。 如果禁用此功能,端口可能无法从 输入输出 选项卡下载文件的副本。

特殊设置

特殊设置 适用于特定用例。

  • 其他设置 允许在以分号分隔的列表中配置隐藏的端口设置,例如setting1=value1;setting2=value2。 正常的端口用例和功能不需要使用这些设置。

自动化设置

与端口自动处理有关的设置。

  • 发送 是否自动处理到达端口的消息。

性能

与端口资源分配相关的设置。

  • 最大线程数 从线程池中消耗用于处理此端口上的文件的最大工作线程数。 如果设置,这将覆盖 设置 > 自动化 页面上的默认设置。
  • 最大文件数 分配给端口的每个线程发送的最大文件数。 如果设置,这将覆盖 设置 > 自动化 页面上的默认设置。

通知

与配置警报和服务等级协议 (SLA) 相关的设置。

端口邮件设置

在执行 SLA 之前,需要设置电子邮件警报以获取通知。 单击 配置通知 将打开一个新的浏览器窗口,转到 系统设置,可以在其中设置系统范围的警报。 有关详细信息,请参阅通知

服务等级协议 (SLA) 配置

SLA 能够配置期望工作流中的端口发送或接收的数量,并设置期望满足该数量的时间范围。 知行之桥在不满足 SLA 时发送电子邮件警告用户,并将 SLA 标记为 有风险,这意味着如果很快不满足 SLA,则会将其标记为 已违反。 这使用户有机会介入并确定未满足 SLA 的原因,并采取适当的措施。 如果在风险时间段结束时仍未满足 SLA,则将 SLA 标记为违反,并再次通知用户。

要定义 SLA,请单击 添加预期数量条件

  • 如果端口具有单独的发送和接收操作,请使用单选按钮指定 SLA 所属的方向。
  • 期待至少 设置为期望处理的最小交易数量(交易量),然后使用 字段指定时间范围。
  • 默认情况下,SLA 每天都有效。 要更改此设置,请取消选中每日,然后选中想要的一周中的几天的框。
  • 使用 将状态设置为“有风险” 来指示何时应将 SLA 标记为存在风险。
  • 默认情况下,在违反 SLA 之前不会发送通知。 要更改此设置,请选中 发送“有风险”通知

以下示例显示为预计周一至周五每天接收 1000 个文件的端口配置的 SLA。 如果尚未收到 1000 个文件,则会在该时间段结束前 1 小时发送风险通知。

TSV 转 XML

当 TSV 文件转换为 XML,得到的 XML 将包含以下结构:

<Items>
  <Record>
    <field_0></field_0>
    <field_1></field_1>
    <field_2></field_2>
  </Record>
</Items> 

原始文件中的每一行(记录)都成为根元素 Items 的子元素。 所有记录元素的名称由端口设置中设置的记录名称选项确定。 每个记录元素都有与输入文件每行中的值相对应的子元素。

某些 TSV 文件包含一行标头信息,为文件中的值提供上下文。 当启用 存在列标题 设置时,将解析此标题行,并将解析后的标题用作值元素(记录元素的子元素)的元素名称。 否则,值元素将被赋予通用名称,例如 field_0field_1 等。

XML 转 TSV

要将 XML 转换为 TSV 文件,输入 XML 必须具有“平面”结构。 这意味着,忽略 Items 根元素,XML 结构的深度为 2。 例如:

<Items>
  <film>
    <title>Citizen Kane</title>
    <year>1941</year>
    <runtime>119</runtime>
  </film>
  <film>
    <title>Sharknado</title>
    <year>2013</year>
    <runtime>86</runtime>
  </film>
</Items>

XML 解释如下:

  • 根元素的子元素在结果文件中被视为记录(行)
  • 每个记录元素的子元素被视为每行中的值

如果启用 存在列标题 选项,则会将标题行插入到生成的 TSV 文件中,其中包含每个值元素的名称,以提供值的上下文。 在上面的示例中,此标题行将由 titleyearruntime 组成。

TSV 转换:使用 XML Map 端口

许多数据转换工作流将 TSV 端口与 XML Map 端口结合使用。

通常,数据以 TSV 格式进入工作流,并以其它某种格式(例如,数据库插入、EDI 文件或插入 CRM 或 ERP 数据源),反之亦然。知行之桥使用一种简化的方法来满足这些数据转换的要求:

  • 将输入格式建模为 XML
  • 将输出格式建模为 XML
  • 使用 XML Map 端口在输入 XML 和输出 XML 之间进行映射

因此,TSV 端口常与工作流中的 XML Map 端口相邻:

  • 当 TSV 文件是流程的_输入_ 时,TSV 端口将 TSV 文件转换为 XML,然后将该 XML 传递到 XML Map 端口 被改造
  • 当 TSV 文件是流的输出时,TSV 端口从 XML Map 端口接收 XML 并将其转换为 TSV 文件

TSV 端口包含上传测试文件 功能,可简化映射表示 TSV 文件的 XML 的过程。

上传测试文件

XML 映射端口需要用于映射输入/源和映射输出/目标的示例 XML 结构。 通过上传测试文件功能,可以轻松使用 TSV 端口生成源或目标 XML 模板。

导航到 TSV 端口的 输入 选项卡,单击 更多 按钮,然后选择 上传测试文件。 浏览到本地 TSV 文件以指示端口生成此示例文件的内部 XML 模型。

然后,当 XML 映射端口连接到流程中的此 TSV 端口(并且保存流程更改)时,XML 映射端口会检测此内部 XML 模型并将其用作源文件(如果 TSV 端口位于流程中的 XML 映射端口之前)或目标文件(如果 TSV 端口位于流程中的 XML 映射端口之后)。

注意:此测试文件的结构应代表未来的文件。 换句话说,由 TSV 端口(然后是 XML Map 端口)处理的所有 TSV 文件应具有与测试文件相同的列。 可能需要设置多个 TSV 端口和多个 XML Map 端口来处理不同的 TSV 结构。

在文件命名策略中使用宏可以提高组织效率和对数据的上下文理解。 通过将宏合并到文件名中,您可以动态地包含相关信息,例如标识符、时间戳和标头信息,从而为每个文件提供有价值的上下文。 这有助于确保文件名反映对您的组织重要的详细信息。

ArcCN 支持这些宏,它们都使用以下语法:%Macro%

描述
ConnectorID 替换为端口的 ConnectorID。
Ext 替换为端口当前正在处理的文件的文件扩展名。
Filename 替换为端口当前正在处理的文件的文件名(包括扩展名)。
FilenameNoExt 替换为端口当前正在处理的文件的文件名(不带扩展名)。
RegexFilename:pattern 将正则表达式模式应用于端口当前正在处理的文件的文件名。
Header:headername 替换为端口正在处理的当前消息的目标标头 (headername) 的值。
LongDate 以常规格式计算系统的当前日期时间(例如,2024 年 1 月 24 日星期三)。
ShortDate 以 yyyy-MM-dd 格式计算系统的当前日期时间(例如 2024-01-24)。
DateFormat:format 以指定格式(format)计算系统的当前日期时间。 有关可用的日期时间格式,请参阅示例日期格式
Vault:vaultitem 计算指定保管库项目的值。

示例

某些宏(例如 %Ext% 和 %ShortDate%)不需要参数,但其他宏则需要。 所有带有参数的宏都使用以下语法:%Macro:argument%

以下是带有参数的宏的一些示例:

  • %Header:headername%:其中 headername 是消息上标头的名称。
  • %Header:mycustomheader% 解析为输入消息上设置的 mycustomheader 标头的值。
  • %Header:ponum% 解析为输入消息上设置的 ponum 标头的值。
  • %RegexFilename:pattern%:其中“pattern”是正则表达式模式。 例如,%RegexFilename:^([\w][A-Za-z]+)% 匹配并解析为文件名中的第一个单词,并且不区分大小写(test_file.xml解析为test) 。
  • %Vault:vaultitem%:其中 vaultitemvault 中项目的名称。 例如,%Vault:companyname%解析为存储在保管库中的companyname项的值。
  • %DateFormat:format%:其中 format 是可接受的日期格式(有关详细信息,请参阅示例日期格式)。 例如,%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%解析为文件上的日期和时间戳。

还可以创建更复杂的宏,如以下示例所示:

  • 将多个宏组合在一个文件名中:%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%%EXT%
  • 包括宏之外的文本:MyFile_%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%
  • 在宏中包含文本: %DateFormat:'DateProcessed-'yyyy-MM-dd_'TimeProcessed-'HH-mm-ss%