Search

S3 端口

Version 22.0.8336

S3 端口

S3 端口集成了 Amazon 的 S3（简单存储服务）和其它类似 S3 的服务（Google存储、Wasabi等）。

总览

每个 S3 端口都可以自动上传到配置的 S3 存储桶并从中下载。需要具有相应凭据的 Amazon 帐户（或Google 存储帐户、Wasabi 帐户等）。可以在存储桶中指定上传和下载路径，下载前可以按文件名过滤文件。

端口配置

本节包含所有可配置的端口属性。

设置

主机配置

与远程连接目标相关的设置。

  • 端口 Id 端口的静态名称。 所有特定于端口的文件都保存在数据目录中同名的文件夹中。
  • 端口描述 一个可选字段，用于提供端口及其在流中的角色的自由格式描述。
  • 存储桶名称 应该轮询或上传到的S3存储桶。

Amazon 账户配置

与有权限访问配置的存储桶名称的 Amazon 帐户相关的设置。

  • 访问密钥 从 Amazon（或Google、Wasabi等）获得的访问密钥帐户凭据。
  • 密钥 从 Amazon（或Google、Wasabi等）获得的密钥帐户凭证。
  • 区域 指定的存储桶名称的区域。

TLS 设置

与 S3 服务器的 TLS 相关的设置。

  • 启用 TLS 是否启用 TLS。
  • 服务器公钥证书 连接到 S3 服务器时要信任的公钥证书。可以设置为 “Any Certificate” 以隐式信任服务器。

上传

与指定存储桶中要上传文件的路径相关的设置。

  • 前缀 存储桶中的路径，文件将上传至该文件夹。
  • 覆盖操作 是否应在上传期间覆盖指定存储桶中已存在的文件。

下载

与指定存储桶中要下载文件的路径相关的设置。

  • 前缀 存储桶中用于下载文件的路径。可以在逗号分隔的列表中指定多个路径。
  • 文件过滤规则 全局匹配模式，用于确定应下载前缀中的哪些文件。可以以逗号分隔多个模式。

自动化

自动化设置

与端口自动化处理文件相关的设置。

  • 上传 是否自动上传文件到该端口。
  • 重试间隔 失败的上传重试之前的时间间隔。
  • 最大重试次数 端口处理输入文件的最大次数。是否成功基于服务器相应和回执的验证（如需要回执）。如果设置为 0，那么端口将无限次尝试处理失败文件。
  • 下载 端口是否应自动轮询要下载文件的远程下载路径。
  • 下载间隔 自动下载之间的间隔。
  • 分 下载之前要等待的分钟数。仅在获取间隔设置为 Minute 时适用。
  • 第几分钟／小时 每小时的分钟数。仅在接收间隔 设置为 Hourly 时适用。例如，如果将此值设置为 5，则自动化服务将在 1:05、2:05、3:05 等检索数据库。
  • 时 在指定日期之内应该进行下载的时间。仅在接收间隔设置为 Daily 、 Weekly 或者 Monthly 时适用。
  • 天 获取数据的日期。仅在接收间隔设置为 Weekly 或者 Monthly 时适用。
  • Cron 表达式 表达 Corn 表达式的任意字符串，用于确定何时发出获取请求。仅在接收间隔设置为 Advanced 时适用。

性能

与端口资源分配相关的设置。

  • 最大线程数 线程池中用于处理此端口上的文件的最大工作线程数。 如果设置，则覆盖“系统设置”选项卡中的默认设置。
  • 最大文件数 每次将工作线程分配给端口时，端口将处理的最大文件数。 如果设置，则覆盖“系统设置”选项卡中的默认设置。

高级设置

其它设置

先前类别中未包含的设置。

  • 访问策略 将对象上传到 S3 服务器后设置的访问策略。
  • 启用文件大小比较 是否缓存下载的文件名和大小；如果启用，则仅当之前的文件未下载或大小已更改时才会下载。
  • 启用时间戳比较 是否缓存已下载的文件名和上次修改的时间戳；如果为 True，则仅当文件以前未下载或自下载后已修改时才会下载。
  • 加密密码 如果设置了，则在上传之前，将在客户端加密对象数据，并自动解密下载的对象。
  • 服务器端加密 是否请求 S3 服务器加密服务器端的对象。
  • 发送过滤规则 全局模式过滤规则，用于确定端口将上传 Send 文件夹中的哪些文件（例如 *.txt）。负模式可用于指示不上传的文件（例如 -*.tmp）。可以使用多种模式，以逗号分隔，除非文件名完全匹配，否则优先使用后面的过滤规则。
  • 本地文件格式 用于在端口处理本地文件名时确定本地文件名的文件掩码。以下宏可用于引用上下文信息：
    %ConnectorId%, %Filename%, %FilenameNoExt%, %Ext%, %ShortDate%, %LongDate%, %RegexFilename:%, %DateFormat:%.
    例如： %FilenameNoExt%_%ShortDate%%Ext%
  • 日志调试信息 是否为端口启用增强日志记录。在请求支持时，建议生成调试日志并将其与支持请求一起提供。
  • 父端口 应继承其设置的端口，除非在现有端口配置中显式重写。必须设置为与当前端口类型相同的端口。
  • 递归 是否下载目标远程目录子文件夹中的文件。
  • 启用虚拟机 在引用存储桶端点时是使用托管样式还是目录样式。
  • 日志子文件夹方案 指端口根据选定的时间间隔对日志文件夹中的文件进行分组。 例如，Weekly 选项表示端口每周创建一个新子文件夹并将该周的所有日志存储在该文件夹中。 空白设置告诉端口将所有日志直接保存在 Logs 文件夹中。 对于处理大量事务的端口，使用子文件夹有助于保持日志井井有条并提高性能。
  • 日志消息 已处理文件的日志条目是否包含文件本身的副本。
  • 保存到已发送文件夹 端口处理的文件是否应复制到端口的已发送文件夹。

特殊设置

特殊设置

  • 其他设置 允许在以分号分隔的列表中配置隐藏的端口设置，例如setting1=value1;setting2=value2。 正常的端口用例和功能不需要使用这些设置。

建立连接

建立 S3 连接的要求很简单：

  • 亚马逊账户凭证（或 Google, Wasabi,等）
    • 访问密钥
    • 密钥
  • 可以通过上述帐户访问的 S3 存储桶

对于 Amazon S3 来说，此链接可以从 Amazon 获取访问密钥和密钥信息。 或者，通过启用 TLS 选项，可以通过 TLS 保护与 S3 服务器的连接。

上传

上传到远程文件夹

上传部分中的前缀设置指定要上传文件的存储桶路径。这允许在同一个存储桶中将文件逻辑分离到虚拟文件夹中。

注意，S3 服务器不维护真正的文件夹结构，知行之桥使用应用程序逻辑来表示虚拟文件夹结构。前缀（/，\\）中的斜杠表示文件夹层次结构。这允许根据路径中的斜线将文件上传到存储桶中的“子文件夹”或从中下载文件。

自动上传

S3 端口支持通过端口配置中的自动化选项自动上传。启用上传自动化后，到达端口 Send 文件夹的文件将自动上传到指定前缀的指定存储桶名称。

如果文件上传失败，应用程序将在重试间隔结束后再次尝试发送。此过程将继续，直到达到最大重试次数，之后端口将抛出错误。

下载

从远程文件夹下载

下载部分中的前缀设置指定要下载文件的存储桶路径。这允许在同一个存储桶中将文件逻辑分离到虚拟文件夹中。

文件过滤规则提供了一种仅下载指定路径内特定文件名称的方法。

注意，S3 服务器不维护真正的文件夹结构，知行之桥使用应用程序逻辑来表示虚拟文件夹结构。前缀（/，\\）中的斜杠表示文件夹层次结构。这允许根据路径中的斜线将文件上传到存储桶中的“子文件夹”或从中下载文件。

自动下载

S3 端口支持通过端口配置的自动化选项自动上传。启用下载后，将根据指定的下载间隔自动轮询远程存储桶。