S3 端口

Version 26.1.9526

S3 端口

S3 端口集成了 Amazon 的 S3（简单存储服务）和其它类似 S3 的服务（Google存储、Wasabi等）。

核心功能

集成 Amazon S3 及兼容 S3 的服务（如 Google Storage、Wasabi），支持 IAM 角色和访问密钥（Access Key）认证
支持基于存储桶（Bucket）的文件组织、双向传输以及基于前缀的虚拟文件夹
提供客户端和服务器端加密选项，并具备可配置的访问策略
可选缓存功能，确保仅下载新增或更新的文件

总览

每个 S3 端口都可以自动上传到单个 S3 存储桶并从单个 S3 存储桶下载。

在开始之前，需要一个具有适当凭据的 Amazon 帐户（或正在使用的类似 S3 服务的帐户凭据）。指定存储桶中的上传和下载路径。端口支持按文件名进行下载过滤。

端口配置

本节包含所有可配置的端口属性。

设置

主机配置

与远程连接目标相关的设置。

端口 Id 端口的静态、唯一标识符。
端口类型 显示端口类型及其用途的描述。
端口描述 一个可选字段，用于提供端口及其在流中的角色的自由格式描述。
Service 使用下拉列表选择要连接到的服务。选择其他以指定连接到服务时要使用的基本 URL。
存储桶名称 应该轮询或上传到的S3存储桶。
区域指定的存储桶名称所在的区域。

账户配置

与有权访问配置的存储桶名称的帐户相关的设置。

IAM 角色 是否使用附加的 IAM 角色访问 S3。仅当知行之桥托管在附加了 IAM 角色的 EC2 实例上时才使用此设置。 IAM 凭证取代了下面的两个 Key 选项。
访问密钥 从 Amazon（或类似 S3 的服务）获取的访问密钥帐户凭据。
密钥从 Amazon（或类似 S3 的服务）获取的 Secret Key 帐户凭证。
使用角色 ARN 使用上面的两个 Key 选项调用 Amazon STS 服务来获取临时凭证，以使用提供的角色 ARN 访问 S3。

TLS 设置

与 S3 服务器的 TLS 相关的设置。

启用 TLS 是否启用 TLS。
服务器公钥证书 用于验证 TLS/SSL 服务器身份的公钥证书。如果目标服务器使用TLS/SSL，则将此字段设置为标识服务器的证书。如果服务器的证书不可用，可以将此设置留空以允许底层 OS/JVM 执行证书验证，或将其设置为 “Any Certificate” 以隐式信任服务器的身份。

上传

与指定存储桶中要上传文件的路径相关的设置。

前缀存储桶中的路径，文件将上传至该文件夹。
覆盖操作 是否应在上传期间覆盖指定存储桶中已存在的文件。

下载

与指定存储桶中要下载文件的路径相关的设置。

前缀存储桶中用于下载文件的路径。可以在逗号分隔的列表中指定多个路径。
文件过滤规则 全局匹配模式，用于确定应下载前缀中的哪些文件。可以以逗号分隔多个模式。
删除选中此项可从远程存储中删除成功下载的文件。

缓存

与缓存和比较多次下载之间的文件相关的设置。

文件大小比较 选中此选项可记录下载的文件名和大小。除非文件大小与上次下载的不同，否则将跳过以前下载的文件。
时间戳比较 选中此选项可保留下载文件名和上次修改时间戳的记录。除非时间戳与上次下载的时间戳不同，否则将跳过以前下载的文件。

注意：启用缓存后，文件名不区分大小写。例如，端口无法区分 TEST.TXT和test.txt。

自动化

自动化设置

与端口自动化处理文件相关的设置。

上传是否自动上传文件到该端口。
重试间隔 失败的上传重试之前的时间间隔。
最大重试次数 端口处理输入文件的最大次数。是否成功基于服务器相应和回执的验证（如需要回执）。如果设置为 0，那么端口将无限次尝试处理失败文件。
下载端口是否应自动轮询要下载文件的远程下载路径。
下载间隔 自动下载之间的间隔。
分每次执行等待的分钟数。仅当执行间隔被设置为 Minute 时适用。
第几分钟/小时 每小时计划的分钟偏移量。仅当执行间隔被设置为 Hourly 时适用。例如，如果将此值设置为 5，将在 1:05、2:05、3:05 自动执行脚本。
时在指定的某一天内进行消息处理的时间。仅当执行间隔被设置为 Daily 或 Weekly 或 Monthly 时适用。
天进行消息处理的某一天。仅当执行间隔被设置为 Weekly 或 Monthly 时适用。
Cron 表达式 表示 cron 表达式的任意字符串，用于确定何时执行。仅当执行间隔被设置为 Advanced 时适用。

性能

与端口资源分配相关的设置。

最大工作线程数 此端口上处理文件时从线程池中消耗的最大工作线程数。如果设置，则会覆盖高级设置页面的性能设置部分的默认设置。
最大文件数 分配给端口的每个线程发送的最大文件数。如果设置，则会覆盖高级设置页面的性能设置部分的默认设置。

通知选项卡

与配置通知相关的设置。

在执行服务级别协议 (SLA) 之前，需要设置电子邮件通知以接收通知。默认情况下，知行之桥使用通知选项卡上的全局设置。要为此端口使用其他设置，请启用覆盖全局设置。

默认情况下，错误通知处于启用状态，这意味着每当出现错误时都会发送电子邮件。要关闭错误通知，请取消选中启用复选框。

输入主题（必填），然后（可选）输入以逗号分隔的收件人电子邮件列表。

SLA 选项卡

与配置服务级别协议 (SLA) 相关的设置。

SLA 允许配置预期流程中端口发送或接收的数据量，并设置预期达到该数据量的时间范围。当 SLA 未达到时，知行之桥会发送电子邮件警告用户，并将 SLA 标记为_存在风险_，这意味着如果 SLA 未能尽快达到，则会被标记为_已违反_。这让用户有机会介入并确定 SLA 未达到的原因，并采取适当的措施。如果在风险时间段结束时仍未达到 SLA，则会将 SLA 标记为_已违反_，并再次通知用户。

要定义 SLA，请启用预期数据量，然后点击设置选项卡。

如果端口具有单独的发送和接收操作，请使用单选按钮指定 SLA 适用的方向。
在窗口的预计至少部分中：
- 设置预计处理的最小事务数量（交易量）
- 使用每个字段指定时间范围
- 指示 SLA 生效的时间。如果选择开始于，请填写日期和时间字段。
- 勾选希望 SLA 生效的星期几对应的复选框。如有必要，请使用下拉菜单选择每天。
在窗口的将状态设置为“有风险”部分中，指定应将 SLA 标记为有风险的时间。
- 默认情况下，只有在违反 SLA 的情况下才会发送通知。要更改此设置，请勾选发送“有风险”通知。

以下示例显示了为端口配置的 SLA，该端口预计在周一至周五每天接收 1000 个文件。如果尚未收到 1000 个文件，则会在时间段结束前 1 小时发送风险通知。

注意：如果有必要，可以关闭 SLA 通知。这在维护窗口期间非常有用。点击导航栏上的设置，然后跳转到通知 > 通用通知。点击平板和铅笔图标进行编辑，并取消勾选 SLA 通知设置。

高级设置

代理设置

这些是一组设置的集合，用于识别 S3 连接应通过其路由的代理并对其进行身份验证。默认情况下，此部分在安全设置页面的代理设置。清除该复选框可提供特定于端口的设置。

代理类型 基于代理的防火墙使用的协议。
代理主机 基于代理的防火墙的名称或 IP 地址。
代理端口 基于代理的防火墙的 TCP 端口。
代理用户 用于通过基于代理的防火墙进行身份验证的用户名。
代理密码 用于对基于代理的防火墙进行身份验证的密码。
身份验证方案 保留默认值 None 或选择以下身份验证方案之一：Basic、Digest、Proprietary或NTLM。

高级设置

先前类别中未包含的设置。

访问策略 将对象上传到 S3 服务器后设置的访问策略。
加密密码 如果设置了，则在上传之前，将在客户端加密对象数据，并自动解密下载的对象。
延迟处理 放置在输入文件夹中的文件的处理延迟的时间量（以秒为单位）。这是一个遗留设置。最佳实践是使用 File 端口来管理本地文件系统，而不是此设置。
递归是否下载目标远程目录子文件夹中的文件。
本地文件名格式 用于为端口输出的消息分配文件名的方案。可以在文件名中动态使用宏来包含标识符和时间戳等信息。有关详细信息，请参阅宏。
服务器端加密 是否请求 S3 服务器加密服务器端的对象。
虚拟主机 在引用存储桶接口时是使用托管样式还是目录样式。

消息

保存至 Sent 文件夹 选中此选项可将端口处理的文件复制到端口的已发送文件夹中。
已发送文件夹方案 指示端口根据选定的时间间隔对已发送文件夹中的消息进行分组。例如，Weekly 选项指示端口每周创建一个新的子文件夹，并将该周的所有消息存储在该文件夹中。空白设置告诉端口将所有消息直接保存在“已发送”文件夹中。对于处理许多消息的端口，使用子文件夹有助于保持消息的组织性并提高性能。

日志

日志级别 端口生成的日志的详细程度。当端口请求支持时，请将其设置为 Debug。
日志子文件夹方案：指示端口根据所选的时间间隔对日志（Logs）文件夹中的文件进行分组。每周（Weekly）选项（默认设置）指示端口每周创建一个新子文件夹，并将该周的所有日志存储在其中。如果此设置留空，则端口将所有日志直接保存在日志文件夹中。对于处理大量事务的端口，使用子文件夹有助于保持日志井然有序并提高性能。
保留消息副本 选中此项可使已处理文件的日志条目包含文件本身的副本。如果禁用此功能，端口可能无法从输入或输出选项卡下载文件的副本。

特殊设置

特殊设置 适用于特定用例。

其他设置 允许在以分号分隔的列表中配置隐藏的端口设置，例如setting1=value1;setting2=value2。正常的端口用例和功能不需要使用这些设置。

建立连接

建立 S3 连接的要求很简单：

亚马逊账户凭证（或阿里云，华为云，腾讯云，Google, Wasabi,等）
- 访问密钥
- 密钥
可以通过上述帐户访问的 S3 存储桶

对于 Amazon S3 来说，此链接可以从 Amazon 获取访问密钥和密钥信息。或者，通过启用 TLS 选项，可以通过 TLS 保护与 S3 服务器的连接。

上传

上传到远程文件夹

上传部分中的前缀设置指定要上传文件的存储桶路径。这允许在同一个存储桶中将文件逻辑分离到虚拟文件夹中。

注意，S3 服务器不维护真正的文件夹结构，知行之桥使用应用程序逻辑来表示虚拟文件夹结构。前缀（/，\\）中的斜杠表示文件夹层次结构。这允许根据路径中的斜线将文件上传到存储桶中的“子文件夹”或从中下载文件。

自动上传

S3 端口支持通过端口配置中的自动化选项自动上传。启用上传自动化后，到达端口 Send 文件夹的文件将自动上传到指定前缀的指定存储桶名称。

如果文件上传失败，应用程序将在重试间隔结束后再次尝试发送。此过程将继续，直到达到最大重试次数，之后端口将抛出错误。

下载

从远程文件夹下载

下载部分中的前缀设置指定要下载文件的存储桶路径。这允许在同一个存储桶中将文件逻辑分离到虚拟文件夹中。

文件过滤规则提供了一种仅下载指定路径内特定文件名称的方法。

自动下载

S3 端口支持通过端口配置的自动化选项自动上传。启用下载后，将根据指定的下载间隔自动轮询远程存储桶。

宏

在文件命名策略中使用宏可以提高组织效率和对数据的上下文理解。通过将宏合并到文件名中，可以动态地包含相关信息，例如标识符、时间戳和消息头信息，从而为每个文件提供有价值的上下文。这有助于确保文件名反映对组织重要的详细信息。

知行之桥支持这些宏，它们都使用以下语法：%Macro%。

宏	描述
ConnectorID	替换为端口的 ConnectorID。
Ext	替换为端口当前正在处理的文件的文件扩展名。
Filename	替换为端口当前正在处理的文件的文件名（包括扩展名）。
FilenameNoExt	替换为端口当前正在处理的文件的文件名（不带扩展名）。
MessageId	计算端口输出的消息的 MessageId。
RegexFilename:pattern	将正则表达式模式应用于端口当前正在处理的文件的文件名。
Header:headername	替换为端口正在处理的当前消息的目标消息头 (`headername`) 的值。
LongDate	以常规格式计算系统的当前日期时间（例如，2024 年 1 月 24 日星期三）。
ShortDate	以 yyyy-MM-dd 格式计算系统的当前日期时间（例如 2024-01-24）。
DateFormat:format	以指定格式（`format`）计算系统的当前日期时间。有关可用的日期时间格式，请参阅示例日期格式
Vault:vaultitem	计算指定保管库项目的值。

示例

某些宏（例如 %Ext% 和 %ShortDate%）不需要参数，但其他宏则需要。所有带有参数的宏都使用以下语法：%Macro:argument%

以下是带有参数的宏的一些示例：

%Header:headername%：其中 headername 是消息上消息头的名称。
%Header:mycustomheader% 解析为输入消息上设置的 mycustomheader 消息头的值。
%Header:ponum% 解析为输入消息上设置的 ponum 消息头的值。
%RegexFilename:pattern%：其中“pattern”是正则表达式模式。例如，%RegexFilename:^([\w][A-Za-z]+)% 匹配并解析为文件名中的第一个单词，并且不区分大小写（test_file.xml解析为test）。
%Vault:vaultitem%：其中 vaultitem 是 vault 中项目的名称。例如，%Vault:companyname%解析为存储在保管库中的companyname项的值。
%DateFormat:format%：其中 format 是可接受的日期格式（有关详细信息，请参阅示例日期格式）。例如，%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%解析为文件上的日期和时间戳。

还可以创建更复杂的宏，如以下示例所示：

将多个宏组合在一个文件名中：%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%%EXT%
包括宏之外的文本：MyFile_%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%
在宏中包含文本： %DateFormat:'DateProcessed-'yyyy-MM-dd_'TimeProcessed-'HH-mm-ss%