Azure Blob 端口

Version 26.1.9526


Azure Blob 端口


Azure Blob 端口支持向 Azure Blob 云存储服务上传和下载文件。

核心功能

  • 具有访问密钥 (Access Key) 和 SAS 令牌 (SAS Token) 身份验证的云存储集成
  • 具有上传/下载能力的基于容器的文件组织
  • 用于选择性操作的文件过滤和掩码
  • 针对上传文件的覆盖保护和删除管理
  • 可选的缓存功能,确保仅下载新增或更新的文件

概览

Azure Blob 端口可连接到指定的 Microsoft Azure 存储账户。在远程存储中,支持将单个文件夹设置为上传目标,和将单个文件夹设置为下载目标。

在知行之桥的工作流中到达 Azure Blob 端口的文件会被上传到上传目标文件夹中,并在下载目标文件夹中的文件下载到知行之桥的工作流中。端口可以设置上传和下载过滤规则,支持上传和下载指定的文件名和文件扩展名。

端口设置

本节包含所有可配置的端口属性。

设置

授权

用于访问 Azure Blob 服务的 Azure 账户相关的设置。

  • 端口 Id 端口的静态、唯一标识符。
  • 端口类型 显示端口类型及其用途的描述。
  • 端口描述 一个可选字段,用于提供端口及其在流中的角色的自由格式描述。
  • 账号 要访问的 Azure Blob 账户。
  • 授权方式 选择使用Access Key还是SAS Token进行身份验证。选择后,请提供访问秘钥SAS Tokens
  • 访问秘钥 指定账户的访问凭据(由 Microsoft 提供)。
  • SAS Tokens Azure 存储帐户的共享访问令牌 (SAS)。

发送

上传到远程存储时的有关设置。

  • 容器名称 端口处理的文件将被上传到指定的远程文件夹。
  • 覆盖 覆盖上传或者跳过远程文件夹中已存在的文件。

接收

从远程存储下载时的相关设置。

  • 容器名称 下载文件的远程路径,支持用逗号分隔多个文件夹组成的列表。
  • 文件掩码远程文件夹下载的文件需满足的全局表达式 (如 *.txt)。如果需要多个过滤条件,请使用高级设置界面的下载过滤条件
  • 删除 下载后是否从远程存储中删除已下载成功的文件。

缓存

与缓存和比较多次下载之间的文件相关的设置。

  • 文件大小比较 选中此选项可记录下载的文件名和大小。 除非文件大小与上次下载的不同,否则将跳过以前下载的文件。
  • 时间戳比较 选中此选项可保留下载文件名和上次修改时间戳的记录。 除非时间戳与上次下载的时间戳不同,否则将跳过以前下载的文件。

注意:启用缓存后,文件名不区分大小写。 例如,端口无法区分 TEST.TXTtest.txt

高级页面 (Advanced Tab)

高级设置

未包含在先前类别中的设置。

  • 递归搜索远程子目录 是否下载目标远程路径子文件夹中的文件。
  • 延迟处理 放置在输入文件夹中的文件的处理延迟的时间量(以秒为单位)。 这是一个遗留设置。 最佳实践是使用 File 端口 来管理本地文件系统,而不是此设置。
  • 超时时间 端口在抛出超时错误之前等待连接响应的时长。
  • 接收过滤器 (Receive Filter) 用于确定应从远程存储下载哪些文件的 glob 模式过滤器(例如,*.txt)。可以使用负向模式来指示不应下载的文件(例如,-*.tmp)。需要多个文件掩码模式时,请使用此设置。可以用逗号分隔多个模式,后置过滤器的优先级更高,除非找到完全匹配项。
  • 本地文件名格式 用于为端口输出的消息分配文件名的方案。 可以在文件名中动态使用宏来包含标识符和时间戳等信息。 有关详细信息,请参阅

代理设置

这是一组用于识别代理并进行身份验证的设置,Azure Blob 连接应通过该代理进行路由。默认情况下,此部分使用 安全设置 页面中 代理设置 部分的全局设置。取消选中该复选框以提供特定于此端口的设置。

  • 代理类型 基于代理的防火墙使用的协议。
  • 代理主机 基于代理的防火墙的名称或 IP 地址。
  • 代理端口 基于代理的防火墙的 TCP 端口。
  • 代理用户 用于通过基于代理的防火墙进行身份验证的用户名。
  • 代理密码 用于对基于代理的防火墙进行身份验证的密码。
  • 身份验证方案 保留默认值 None 或选择以下身份验证方案之一:BasicDigestProprietaryNTLM

消息

  • 保存至 Sent 文件夹 选中此选项可将端口处理的文件复制到端口的已发送文件夹中。
  • 已发送文件夹方案 指示端口根据选定的时间间隔对已发送文件夹中的消息进行分组。 例如,Weekly 选项指示端口每周创建一个新的子文件夹,并将该周的所有消息存储在该文件夹中。 空白设置告诉端口将所有消息直接保存在“已发送”文件夹中。 对于处理许多消息的端口,使用子文件夹有助于保持消息的组织性并提高性能。

日志

  • 日志级别 端口生成的日志详细程度。请求支持时,请将其设置为 Debug
  • 日志子文件夹方案:指示端口根据所选的时间间隔对日志(Logs)文件夹中的文件进行分组。每周(Weekly)选项(默认设置)指示端口每周创建一个新子文件夹,并将该周的所有日志存储在其中。如果此设置留空,则端口将所有日志直接保存在日志文件夹中。对于处理大量事务的端口,使用子文件夹有助于保持日志井然有序并提高性能。
  • 日志消息 勾选此项,使处理文件的日志条目包含文件本身的副本。如果禁用此项,可能无法从输入输出页面下载文件副本。

高级设置

  • 延迟处理 放置在输入文件夹中的文件的处理延迟的时间量(以秒为单位)。 这是一个遗留设置。 最佳实践是使用 File 端口 来管理本地文件系统,而不是此设置。

特殊设置

特殊设置 适用于特定用例。

  • 其他设置 允许在以分号分隔的列表中配置隐藏的端口设置,例如setting1=value1;setting2=value2。 正常的端口用例和功能不需要使用这些设置。

自动化

自动化设置

与端口文件自动化处理有关的设置。

  • 发送 自动上传到达端口的文件。
  • 重试间隔 失败后重发的间隔时间。
  • 最大重试次数 端口处理输入文件的最大次数。是否成功基于服务器相应和回执的验证(如需要回执)。如果设置为 0,那么端口将无限次尝试处理失败文件。
  • 接收 端口自动轮询远程下载路径并下载文件。
  • 接收间隔 自动下载的间隔时间。
  • 每次执行等待的分钟数。仅当执行间隔被设置为 Minute 时适用。
  • 第几分钟/小时 每小时计划的分钟偏移量。仅当执行间隔被设置为 Hourly 时适用。例如,如果将此值设置为 5,将在 1:05、2:05、3:05 自动执行脚本。
  • 在指定的某一天内进行消息处理的时间。仅当执行间隔被设置为 DailyWeeklyMonthly 时适用。
  • 进行消息处理的某一天。仅当执行间隔被设置为 WeeklyMonthly 时适用。
  • Cron 表达式 表示 cron 表达式的任意字符串,用于确定何时执行。仅当执行间隔被设置为 Advanced 时适用。

性能

与端口资源分配相关的设置。

  • 最大工作线程数 此端口上处理文件时从线程池中消耗的最大工作线程数。如果设置,则会覆盖 高级设置 页面的 性能设置 部分的默认设置。
  • 最大文件数 分配给端口的每个线程发送的最大文件数。如果设置,则会覆盖 高级设置 页面的 性能设置 部分的默认设置。

通知选项卡

与配置通知相关的设置。

在执行服务级别协议 (SLA) 之前,需要设置电子邮件通知以接收通知。默认情况下,知行之桥使用 通知 选项卡上的全局设置。要为此端口使用其他设置,请启用覆盖全局设置

默认情况下,错误通知处于启用状态,这意味着每当出现错误时都会发送电子邮件。要关闭错误通知,请取消选中启用复选框。

输入主题(必填),然后(可选)输入以逗号分隔的收件人电子邮件列表。

SLA 选项卡

与配置服务级别协议 (SLA) 相关的设置。

SLA 允许配置预期流程中端口发送或接收的数据量,并设置预期达到该数据量的时间范围。当 SLA 未达到时,知行之桥会发送电子邮件警告用户,并将 SLA 标记为_存在风险_,这意味着如果 SLA 未能尽快达到,则会被标记为_已违反_。这让用户有机会介入并确定 SLA 未达到的原因,并采取适当的措施。如果在风险时间段结束时仍未达到 SLA,则会将 SLA 标记为_已违反_,并再次通知用户。

要定义 SLA,请启用预期数据量,然后点击设置选项卡。

  • 如果端口具有单独的发送和接收操作,请使用单选按钮指定 SLA 适用的方向。
  • 在窗口的预计至少部分中:
    • 设置预计处理的最小事务数量(交易量)
    • 使用每个字段指定时间范围
    • 指示 SLA 生效的时间。如果选择开始于,请填写日期和时间字段。
    • 勾选希望 SLA 生效的星期几对应的复选框。如有必要,请使用下拉菜单选择每天
  • 在窗口的将状态设置为“有风险”部分中,指定应将 SLA 标记为有风险的时间。
    • 默认情况下,只有在违反 SLA 的情况下才会发送通知。要更改此设置,请勾选发送“有风险”通知

以下示例显示了为端口配置的 SLA,该端口预计在周一至周五每天接收 1000 个文件。如果尚未收到 1000 个文件,则会在时间段结束前 1 小时发送风险通知。

注意:如果有必要,可以关闭 SLA 通知。这在维护窗口期间非常有用。点击导航栏上的设置,然后跳转到通知 > 通用通知。点击平板和铅笔图标进行编辑,并取消勾选 SLA 通知设置。

建立连接

建立与 Azure Blob 服务的连接需要 Azure 账户凭证:

  • 账号
  • 访问秘钥

可以点击测试连接 按钮验证提供的账户是否有效。

发送和接收

发送

要发送文件,请将发送 -> 容器名称 设置为文件上传的目标文件夹。每个 Azure Blob 端口只支持上传到单个指定的文件夹。

覆盖可以设置上传文件时覆盖远程文件或者跳过已存在的文件。高级设置中的发送过滤规则设置可以根据文件名或者文件扩展名确定端口上传的文件。

配置完成后,放置在端口 Send 文件夹中的所有文件都上传到远程存储服务。如果启动了自动化界面的发送 ,将自动上传文件;反之,可通过端口的输入页手动发送单个文件。

接收

要下载文件,请将接收 -> 容器名称设置为下载文件存放的文件夹。该设置支持以逗号分隔的多个文件下载文件夹组成的列表。

接收过滤规则可以设置全局过滤(如,*.txt),并且只下载匹配该过滤的文件。要指定多个过滤器,可以在高级设置接收过滤规则中进行配置。

删除 设置用于设置是否从远程存储中删除已下载成功的文件。

配置后,将根据自动化界面的接收 设置,或者通过手动单击输出页的接收 按钮手动下载文件。

在文件命名策略中使用宏可以提高组织效率和对数据的上下文理解。 通过将宏合并到文件名中,可以动态地包含相关信息,例如标识符、时间戳和消息头信息,从而为每个文件提供有价值的上下文。 这有助于确保文件名反映对组织重要的详细信息。

知行之桥 支持这些宏,它们都使用以下语法:%Macro%

描述
ConnectorID 替换为端口的 ConnectorID。
Ext 替换为端口当前正在处理的文件的文件扩展名。
Filename 替换为端口当前正在处理的文件的文件名(包括扩展名)。
FilenameNoExt 替换为端口当前正在处理的文件的文件名(不带扩展名)。
MessageId 计算端口输出的消息的 MessageId。
RegexFilename:pattern 将正则表达式模式应用于端口当前正在处理的文件的文件名。
Header:headername 替换为端口正在处理的当前消息的目标消息头 (headername) 的值。
LongDate 以常规格式计算系统的当前日期时间(例如,2024 年 1 月 24 日星期三)。
ShortDate 以 yyyy-MM-dd 格式计算系统的当前日期时间(例如 2024-01-24)。
DateFormat:format 以指定格式(format)计算系统的当前日期时间。 有关可用的日期时间格式,请参阅示例日期格式
Vault:vaultitem 计算指定保管库项目的值。

示例

某些宏(例如 %Ext% 和 %ShortDate%)不需要参数,但其他宏则需要。 所有带有参数的宏都使用以下语法:%Macro:argument%

以下是带有参数的宏的一些示例:

  • %Header:headername%:其中 headername 是消息上消息头的名称。
  • %Header:mycustomheader% 解析为输入消息上设置的 mycustomheader 消息头的值。
  • %Header:ponum% 解析为输入消息上设置的 ponum 消息头的值。
  • %RegexFilename:pattern%:其中“pattern”是正则表达式模式。 例如,%RegexFilename:^([\w][A-Za-z]+)% 匹配并解析为文件名中的第一个单词,并且不区分大小写(test_file.xml解析为test) 。
  • %Vault:vaultitem%:其中 vaultitemvault 中项目的名称。 例如,%Vault:companyname%解析为存储在保管库中的companyname项的值。
  • %DateFormat:format%:其中 format 是可接受的日期格式(有关详细信息,请参阅示例日期格式)。 例如,%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%解析为文件上的日期和时间戳。

还可以创建更复杂的宏,如以下示例所示:

  • 将多个宏组合在一个文件名中:%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%%EXT%
  • 包括宏之外的文本:MyFile_%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%
  • 在宏中包含文本: %DateFormat:'DateProcessed-'yyyy-MM-dd_'TimeProcessed-'HH-mm-ss%