Search

Google Storage 端口

Version 26.1.9526

Google Storage 端口

Google Storage 端口从 Google Storage 中上传和下载文件。

核心功能

  • Google Cloud Storage 集成，支持 OAuth 身份验证及令牌（Token）自动刷新
  • 基于存储桶（Bucket）的文件组织，支持双向文件传输
  • 支持 Glob 模式匹配过滤，并提供下载后可选删除文件及覆盖保护功能
  • 提供可选的缓存功能，确保仅下载新增或更新的文件

概述

每个 Google Storage 端口与一个特定的 Google 存储服务 账号连接。在远程存储中，桶被设置为上传和/或下载目标。可以在存储桶中指定上传和下载路径，并且过滤规则只能用于发送和接收指定的文件名和/或文件扩展名。

知行之桥工作流中到达 Google Storage 端口的文件将被上传至上传目标文件夹，在下载目标文件夹下的文件会被下载并进入知行之桥工作流。该端口支持上传和下载过滤规则，即只发送和接收特定文件名和／或文件扩展名的文件。

账号认证基于 OAuth，因此账号认证必须在端口首次连接在外部站点门户中输入。外部门户生成端口用来连接的 OAuth 令牌，且端口会自动处理令牌刷新。

端口配置

本部分包含所有可配置的端口属性。

设置

授权

与授权访问远程存储有关的设置。

  • 端口 Id 端口的静态、唯一标识符。
  • 端口类型 显示端口类型及其用途的描述。
  • 端口描述 一个可选字段，用于提供端口及其在流中的角色的自由格式描述。
  • 客户端 ID 目标存储账号的客户端 ID 认证，由 Google 提供。该值应直接通过 Google Console 获得。
  • 客户端密码 目标存储账号的客户端密码认证，由 Google 提供。该值应直接通过 Google Console 获得。

注意：Google 在生成 OAuth 认证时可能需要 OAuth 回调／重定向 URL。知行之桥的回调／重定向 URL 与应用程序托管处的地址／端口相同，加下面的源路径：src/oauthCallback.rst。例如，如果知行之桥托管在 “mydomain.com” 的 8001 端口，那么就应指定下面的 URL 为回调／重定向 URL： http://mydomain.com:8001/src/oauthCallback.rst。

服务器配置

与目标存储服务器相关的设置.

  • 桶名称 Google Storage 中用于上传和/或下载文件的存储桶。

发送

与上传文件到远程存储服务有关的设置。

  • 远程文件夹 端口处理过的文件将被上传到特定的远程文件夹。
  • 覆盖 是否应该上传（覆盖）或跳过已存在于远程文件夹中的文件。

接收

与从远程存储中下载文件有关的设置。

  • 远程文件夹 端口从该远程文件夹下载文件。多个文件夹可以使用逗号分隔。
  • 删除 是否要从远程存储上删除已成功下载的文件。

缓存

与缓存和比较多次下载之间的文件相关的设置。

  • 文件大小比较 选中此选项可记录下载的文件名和大小。 除非文件大小与上次下载的不同，否则将跳过以前下载的文件。
  • 时间戳比较 选中此选项可保留下载文件名和上次修改时间戳的记录。 除非时间戳与上次下载的时间戳不同，否则将跳过以前下载的文件。

注意：启用缓存后，文件名不区分大小写。 例如，端口无法区分 TEST.TXT和test.txt。

自动化

自动化设置

与端口自动处理文件有关的设置。

  • 发送 到达端口的文件是否会被自动处理。
  • 重试间隔 上传失败后进行重试之前的时间间隔。
  • 最大重试次数 端口处理输入文件的最大次数。是否成功基于服务器相应和回执的验证（如需要回执）。如果设置为 0，那么端口将无限次尝试处理失败文件。
  • 下载 端口是否应自动轮询要下载文件的远程下载路径。
  • 下载间隔 自动下载之间的间隔。
  • 分 每次执行等待的分钟数。仅当执行间隔被设置为 Minute 时适用。
  • 第几分钟/小时 每小时计划的分钟偏移量。仅当执行间隔被设置为 Hourly 时适用。例如，如果将此值设置为 5，将在 1:05、2:05、3:05 自动执行脚本。
  • 时 在指定的某一天内进行消息处理的时间。仅当执行间隔被设置为 Daily 或 Weekly 或 Monthly 时适用。
  • 天 进行消息处理的某一天。仅当执行间隔被设置为 Weekly 或 Monthly 时适用。
  • Cron 表达式 表示 cron 表达式的任意字符串，用于确定何时执行。仅当执行间隔被设置为 Advanced 时适用。

性能

与端口资源分配相关的设置。

  • 最大工作线程数 此端口上处理文件时从线程池中消耗的最大工作线程数。如果设置，则会覆盖 高级设置 页面的 性能设置 部分的默认设置。
  • 最大文件数 分配给端口的每个线程发送的最大文件数。如果设置，则会覆盖 高级设置 页面的 性能设置 部分的默认设置。

通知选项卡

与配置通知相关的设置。

在执行服务级别协议 (SLA) 之前，需要设置电子邮件通知以接收通知。默认情况下，知行之桥使用 通知 选项卡上的全局设置。要为此端口使用其他设置，请启用覆盖全局设置。

默认情况下，错误通知处于启用状态，这意味着每当出现错误时都会发送电子邮件。要关闭错误通知，请取消选中启用复选框。

输入主题（必填），然后（可选）输入以逗号分隔的收件人电子邮件列表。

SLA 选项卡

与配置服务级别协议 (SLA) 相关的设置。

SLA 允许配置预期流程中端口发送或接收的数据量，并设置预期达到该数据量的时间范围。当 SLA 未达到时，知行之桥会发送电子邮件警告用户，并将 SLA 标记为_存在风险_，这意味着如果 SLA 未能尽快达到，则会被标记为_已违反_。这让用户有机会介入并确定 SLA 未达到的原因，并采取适当的措施。如果在风险时间段结束时仍未达到 SLA，则会将 SLA 标记为_已违反_，并再次通知用户。

要定义 SLA，请启用预期数据量，然后点击设置选项卡。

  • 如果端口具有单独的发送和接收操作，请使用单选按钮指定 SLA 适用的方向。
  • 在窗口的预计至少部分中：
    • 设置预计处理的最小事务数量（交易量）
    • 使用每个字段指定时间范围
    • 指示 SLA 生效的时间。如果选择开始于，请填写日期和时间字段。
    • 勾选希望 SLA 生效的星期几对应的复选框。如有必要，请使用下拉菜单选择每天。
  • 在窗口的将状态设置为“有风险”部分中，指定应将 SLA 标记为有风险的时间。
    • 默认情况下，只有在违反 SLA 的情况下才会发送通知。要更改此设置，请勾选发送“有风险”通知。

以下示例显示了为端口配置的 SLA，该端口预计在周一至周五每天接收 1000 个文件。如果尚未收到 1000 个文件，则会在时间段结束前 1 小时发送风险通知。

注意：如果有必要，可以关闭 SLA 通知。这在维护窗口期间非常有用。点击导航栏上的设置，然后跳转到通知 > 通用通知。点击平板和铅笔图标进行编辑，并取消勾选 SLA 通知设置。

高级设置

高级设置

先前目录中没有包含的设置。

  • 递归 是否下载远程目标路径子文件夹下的文件。
  • 延迟处理 放置在输入文件夹中的文件的处理延迟的时间量（以秒为单位）。 这是一个遗留设置。 最佳实践是使用 File 端口 来管理本地文件系统，而不是此设置。
  • 超时时间 端口在抛出超时错误之前应等待远程服务器响应的持续时间。
  • 接收过滤规则 全局模式过滤规则，用来确定从远程存储下载哪些文件（例如 *.txt）。负模式用来确定 不 下载哪些文件（例如 -*.tmp）。当需要多个文件掩码模式，应使用该设置。多模式可以使用逗号分隔，除非文件名完全匹配，否则优先使用后面的过滤规则。
  • 本地文件名格式 用于为端口输出的消息分配文件名的方案。 可以在文件名中动态使用宏来包含标识符和时间戳等信息。 有关详细信息，请参阅宏。

代理配置

这些是一组设置的集合，用于识别代理并对其进行身份验证，Google Storage 连接应通过该代理进行路由。 默认情况下，此部分在 安全设置 页面的 代理设置。 清除该复选框可提供特定于的端口的设置。

  • 代理类型 基于代理的防火墙使用的协议。
  • 代理主机 基于代理的防火墙的名称或 IP 地址。
  • 代理端口 基于代理的防火墙的 TCP 端口。
  • 代理用户 用于通过基于代理的防火墙进行身份验证的用户名。
  • 代理密码 用于对基于代理的防火墙进行身份验证的密码。
  • 身份验证方案 保留默认值 None 或选择以下身份验证方案之一：Basic、Digest、Proprietary或NTLM。

消息

  • 保存至 Sent 文件夹 选中此选项可将端口处理的文件复制到端口的已发送文件夹中。
  • 已发送文件夹方案 指示端口根据选定的时间间隔对已发送文件夹中的消息进行分组。 例如，Weekly 选项指示端口每周创建一个新的子文件夹，并将该周的所有消息存储在该文件夹中。 空白设置告诉端口将所有消息直接保存在“已发送”文件夹中。 对于处理许多消息的端口，使用子文件夹有助于保持消息的组织性并提高性能。

日志

  • 日志级别 端口生成的日志的详细程度。 当端口请求支持时，请将其设置为 Debug。
  • 日志子文件夹方案：指示端口根据所选的时间间隔对日志（Logs）文件夹中的文件进行分组。每周（Weekly）选项（默认设置）指示端口每周创建一个新子文件夹，并将该周的所有日志存储在其中。如果此设置留空，则端口将所有日志直接保存在日志文件夹中。对于处理大量事务的端口，使用子文件夹有助于保持日志井然有序并提高性能。
  • 保留消息副本 选中此项可使已处理文件的日志条目包含文件本身的副本。 如果禁用此功能，端口可能无法从 输入 或 输出 选项卡下载文件的副本。

特殊设置

特殊设置 适用于特定用例。

  • 其他设置 允许在以分号分隔的列表中配置隐藏的端口设置，例如setting1=value1;setting2=value2。 正常的端口用例和功能不需要使用这些设置。

建立连接

Google Storage 需要 OAuth 认证以建立连接。OAuth 认证应该通过 Google Console 从 Google 直接获取，然后在以下端口配置处指定：

  • 客户端 ID
  • 客户端密码

Google 在生成 OAuth 认证时可能需要 OAuth 回调／重定向 URL。知行之桥的回调／重定向 URL 与应用程序托管处的地址／端口相同，加下面的源路径：src/oauthCallback.rst。例如，如果知行之桥托管在 “mydomain.com” 的 8001 端口，应指定下面的 URL 为回调／重定向 URL： http://mydomain.com:8001/src/oauthCallback.rst。

一旦与 Google 的认证完成，Google Storage 端口会处理刷新 OAuth 令牌的过程，以确保身份验证会一直持续。

上传和下载

上传

要上传文件，将 桶名称 字段设置为目标存储桶，然后将发送 -> 远程文件夹设置为文件应被上传的文件夹。每个 Google Storage 端口上传到一个特定的文件夹位置。

覆盖远程文件选项，可以确定是覆盖还是跳过远程文件夹中已存在的文件。高级设置中的发送过滤规则可以用来根据文件名或扩展名来确定端口应上传哪些文件。

配置之后，任何放到端口 Send文件夹下的文件将会被上传至远程存储。如果发送自动化启用，上传将会自动进行；否则，可以通过端口输入选项卡的设置发送单个文件。

下载

要下载文件，将 桶名称 字段设置为目标存储桶，然后将接收 -> 远程文件夹为下载文件的文件夹。多个下载文件夹可以使用逗号分隔。

文件掩码选项可以设置为全局模式过滤规则（例如 *.txt），只下载与过滤规则匹配的文件。要指定过滤规则，可以在高级页面配置接收过滤规则。

接收过滤规则全局过滤格式，用于确定远程存储下载的文件(如，*.txt)，并且只会下载匹配此过滤规则的文件。当需要多个文件过滤表达式的时候，可以用逗号分隔。

删除文件（接收后）选项用于切换是否从远程存储中删除成功下载的文件。

配置之后，将会根据接收自动化的设置下载文件，或者在输出选项卡中通过点击接收按钮手动下载。

宏

在文件命名策略中使用宏可以提高组织效率和对数据的上下文理解。 通过将宏合并到文件名中，可以动态地包含相关信息，例如标识符、时间戳和消息头信息，从而为每个文件提供有价值的上下文。 这有助于确保文件名反映对组织重要的详细信息。

知行之桥 支持这些宏，它们都使用以下语法：%Macro%。

宏 描述
ConnectorID 替换为端口的 ConnectorID。
Ext 替换为端口当前正在处理的文件的文件扩展名。
Filename 替换为端口当前正在处理的文件的文件名（包括扩展名）。
FilenameNoExt 替换为端口当前正在处理的文件的文件名（不带扩展名）。
MessageId 计算端口输出的消息的 MessageId。
RegexFilename:pattern 将正则表达式模式应用于端口当前正在处理的文件的文件名。
Header:headername 替换为端口正在处理的当前消息的目标消息头 (headername) 的值。
LongDate 以常规格式计算系统的当前日期时间（例如，2024 年 1 月 24 日星期三）。
ShortDate 以 yyyy-MM-dd 格式计算系统的当前日期时间（例如 2024-01-24）。
DateFormat:format 以指定格式（format）计算系统的当前日期时间。 有关可用的日期时间格式，请参阅示例日期格式
Vault:vaultitem 计算指定保管库项目的值。

示例

某些宏（例如 %Ext% 和 %ShortDate%）不需要参数，但其他宏则需要。 所有带有参数的宏都使用以下语法：%Macro:argument%

以下是带有参数的宏的一些示例：

  • %Header:headername%：其中 headername 是消息上消息头的名称。
  • %Header:mycustomheader% 解析为输入消息上设置的 mycustomheader 消息头的值。
  • %Header:ponum% 解析为输入消息上设置的 ponum 消息头的值。
  • %RegexFilename:pattern%：其中“pattern”是正则表达式模式。 例如，%RegexFilename:^([\w][A-Za-z]+)% 匹配并解析为文件名中的第一个单词，并且不区分大小写（test_file.xml解析为test） 。
  • %Vault:vaultitem%：其中 vaultitem 是 vault 中项目的名称。 例如，%Vault:companyname%解析为存储在保管库中的companyname项的值。
  • %DateFormat:format%：其中 format 是可接受的日期格式（有关详细信息，请参阅示例日期格式）。 例如，%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%解析为文件上的日期和时间戳。

还可以创建更复杂的宏，如以下示例所示：

  • 将多个宏组合在一个文件名中：%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%%EXT%
  • 包括宏之外的文本：MyFile_%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%
  • 在宏中包含文本： %DateFormat:'DateProcessed-'yyyy-MM-dd_'TimeProcessed-'HH-mm-ss%