PostgreSQL 端口设置
Version 24.2.9039
PostgreSQL 端口设置
PostgreSQL 端口可以被用来集成 PostgreSQL 到你的数据工作流中拉取和推送数据。跟着如下的步骤连接 PostgreSQL 数据库到 PostgreSQL 端口。
建立连接
允许 PostgreSQL 端口从 PostgreSQL 数据库中使用数据,首先需要建一个到 PostgreSQL 的连接。这里有个两种方式:
- 添加一个 PostgreSQL 端口到工作流中,然后点击连接下拉框旁边的 创建 按钮。
- 打开 系统设置 中的 连接 选项卡。点击 创建,选择 PostgreSQL 并 下一步 创建。
注意:
- 只有第一次创建连接时才需要登录过程。
- 到 PostgreSQL 的连接可以跨多个 PostgreSQL 端口重复使用。
端口配置
出现添加连接模态框后,进行:
-
提供要求的信息:
- Name — 连接的静态名称。
- Type — 这始终设置为 PostgreSQL.
- Server — 你要连接的 PostgreSQL 服务器的地址。
- Database — 要定位的数据库的名称。
- User — 用于登录的用户名。
- Password — 上面输入的用户密码。
- Port — 连接到服务器时使用的端口。
- AWS Role ARN — 身份验证时使用的角色的 Amazon 资源名称。 仅当使用 AWS 或 Azure 特定的身份验证方法时才需要。
- AWS External Id — 上面输入的角色的 AWS 外部 ID。 仅当使用 AWS 或 Azure 特定的身份验证方法时才需要。
- Azure Tenant — 托管数据库的 Azure 租户。 仅当使用 AWS 或 Azure 特定的身份验证方法时才需要。
-
如果需要,请单击高级设置以打开高级连接设置的下拉菜单。大多数情况下不需要这些。
-
点击 测试连接 以确保知行之桥可以使用提供的信息连接到 PostgreSQL。如果发生错误,请检查所有字段并重试。
-
点击添加连接完成连接。
-
在端口配置面板的连接下拉列表中,选择新创建的连接。
-
单击保存更改。
注意:高级选项卡上还有特定于数据源的身份验证和配置选项。 本文档并未对它们进行全部描述,请查看各自选项的提示消息。
选择一个操作
与 PostgreSQL 建立连接后,你必须选择 PostgreSQL 端口将执行的操作。 知行之桥可以支持PostgreSQL 的下面的操作方式。 下表概述了每个操作及其在知行之桥工作流中的位置:
操作 | 描述 | 工作流中位置 |
---|---|---|
Upsert | 插入或更新 PostgreSQL 数据。 默认情况下,如果 PostgreSQL 中已存在记录,则使用输入提供的键值对 PostgreSQL 中的现有数据执行更新。 | End |
Lookup | 从 PostgreSQL 检索值并将该值插入到流中已存在的知行之桥消息中。 Lookup 查询确定端口将从 PostgreSQL 检索什么值。 它应该被格式化为针对 PostgreSQL 表的 SQL 查询。 |
Middle |
Lookup 存储过程 | 将进入端口的数据视为存储过程的输入,然后将结果插入到流中的现有知行之桥消息中。 可以单击“测试查找”模式中的“显示示例数据”按钮,为所选存储过程提供示例输入并预览结果。 |
Middle |
Select | 从 PostgreSQL 检索数据并将其带入知行之桥。 可以使用过滤器面板向选择添加过滤器。 这些过滤器的功能类似于 SQL 中的 WHERE 子句。 |
Beginning |
执行存储过程 | 将进入端口的数据视为存储过程的输入,然后将结果向下传递。 可以单击“测试执行存储过程”模式中的“显示示例数据”按钮,为所选存储过程提供示例输入并预览结果。 |
Middle |
自动化选项卡
自动化设置
与端口自动处理文件相关的设置。
- 发送 是否自动发送到达端口的文件。
- 重试间隔 重试失败发送之前的分钟数。
- 最大次数 端口处理文件的最大次数。 成功是根据成功的服务器确认来衡量的。 如果将此设置为 0,端口将无限期地重试该文件。
- 接收 端口是否应自动查询数据源。
- 接收间隔 自动查询尝试之间的时间间隔。
- 分 每次执行等待的分钟数。仅当执行间隔被设置为 Minute 时适用。
- 第几分钟/小时 每小时计划的分钟偏移量。仅当执行间隔被设置为 Hourly 时适用。例如,如果将此值设置为 5,将在 1:05、2:05、3:05 自动执行脚本。
- 时 在指定的某一天内进行消息处理的时间。仅当执行间隔被设置为 Daily 或 Weekly 或 Monthly 时适用。
- 天 进行消息处理的某一天。仅当执行间隔被设置为 Weekly 或 Monthly 时适用。
- Cron 表达式 表示 cron 表达式的任意字符串,用于确定何时执行。仅当执行间隔被设置为 Advanced 时适用。
性能
与端口资源分配相关的设置。
- 最大线程数 从线程池中消耗用于处理此端口上的文件的最大工作线程数。 如果设置,这将覆盖 设置 > 自动化 页面上的默认设置。
- 最大文件数 分配给端口的每个线程发送的最大文件数。 如果设置,这将覆盖 设置 > 自动化 页面上的默认设置。
通知
与配置警报和服务等级协议 (SLA) 相关的设置。
端口邮件设置
在执行 SLA 之前,需要设置电子邮件警报以获取通知。 单击 配置通知 将打开一个新的浏览器窗口,转到 系统设置,可以在其中设置系统范围的警报。 有关详细信息,请参阅通知。
服务等级协议 (SLA) 配置
SLA 能够配置期望工作流中的端口发送或接收的数量,并设置期望满足该数量的时间范围。 知行之桥在不满足 SLA 时发送电子邮件警告用户,并将 SLA 标记为 有风险,这意味着如果很快不满足 SLA,则会将其标记为 已违反。 这使用户有机会介入并确定未满足 SLA 的原因,并采取适当的措施。 如果在风险时间段结束时仍未满足 SLA,则将 SLA 标记为违反,并再次通知用户。
要定义 SLA,请单击 添加预期数量条件。
- 如果端口具有单独的发送和接收操作,请使用单选按钮指定 SLA 所属的方向。
- 将 期待至少 设置为期望处理的最小交易数量(交易量),然后使用 每 字段指定时间范围。
- 默认情况下,SLA 每天都有效。 要更改此设置,请取消选中每日,然后选中想要的一周中的几天的框。
- 使用 将状态设置为“有风险” 来指示何时应将 SLA 标记为存在风险。
- 默认情况下,在违反 SLA 之前不会发送通知。 要更改此设置,请选中 发送“有风险”通知。
以下示例显示为预计周一至周五每天接收 1000 个文件的端口配置的 SLA。 如果尚未收到 1000 个文件,则会在该时间段结束前 1 小时发送风险通知。
高级设置
高级选项卡上的许多设置都是从正在使用的数据源动态加载的,因此本文档中未介绍这些设置。请查看他的提示消息。
下面描述的选项适用于所有数据源。
消息
- 保存至 Sent 文件夹 选中此选项可将端口处理的文件复制到端口的已发送文件夹中。
- 已发送文件夹方案 指示端口根据选定的时间间隔对已发送文件夹中的消息进行分组。 例如,Weekly 选项指示端口每周创建一个新的子文件夹,并将该周的所有消息存储在该文件夹中。 空白设置告诉端口将所有消息直接保存在“已发送”文件夹中。 对于处理许多消息的端口,使用子文件夹有助于保持消息的组织性并提高性能。
高级设置
高级设置 是依赖任意数据库驱动程序(例如数据库、CData 和 API 端口)的端口的常用设置,以便连接到各种数据源。
- 自动截断 启用后,端口会自动截断任何长度超过允许限制的字符串或二进制列值。
- 命令超时时间 命令执行超时持续时间(以秒为单位)。
- 上次插入的 ID 查询 提供一个要执行的查询,以检索上次插入的记录的自动增加的 ID。
- 日志级别 端口生成的日志的详细程度。 当请求支持时,请将其设置为 调试。
- 本地文件名格式 用于为端口输出的消息分配文件名的方案。 可以在文件名中动态使用宏来包含标识符和时间戳等信息。 有关详细信息,请参阅宏。
- 保留消息副本 选中后,端口会在日志目录中的消息日志旁边保留消息的副本。 如果禁用此功能,可能无法从 输入 或 输出 选项卡下载文件的副本。
- 最大失败记录数 插入期间允许失败以允许处理继续的最大记录数。 默认值 0 表示任何错误都会导致输入消息被标记为错误,并且回滚任何未提交的事务。 值 -1 表示忽略所有错误,并且端口继续尝试插入后续记录。 正值意味着端口继续尝试插入记录,直到达到阈值。
- 输出文件格式 表示输出数据的格式。 默认值 (XML) 使端口为处理的每个记录输出一个 XML 文件,同时可以选择将多个记录组合成单个数据结构(取决于 最大记录 的值)。 CSV 和 TSV 选项以其各自的文件格式输出数据。 此选项不适用于包含子表的复杂表结构。
- 处理更改间隔单位 仅适用于选择操作。 当在设置选项卡的选择配置部分的高级部分选中使用列列名处理新的或更改的记录时,这控制如何解释 流程更改间隔 设置(例如,小时、天或周)。 有关此设置和以下两个设置的详细信息,请参阅仅处理新的或更改的记录。
- 处理变更开始日期 当在设置选项卡的选择配置部分选中使用列columnname处理新的或更改的记录时,这将控制要检索的数据的开始日期。
- 数据复制分块间隔单位 当在 设置 选项卡的 选择配置 部分上选中 使用列 列名 处理新的或更改的记录时,这将控制历史数据量知行之桥尝试在第一次尝试时进行处理。 例如,保留默认值 180(天)意味着知行之桥仅尝试处理过去 180 天内创建或修改的数据。
- 数据复制分块间隔 选中使用列 列名 处理新的或更改的记录 时重置存储的缓存。
- 批处理容量 如果数据源支持批量,则批量中的最大查询数。
- 批处理大小 批量组中批量消息的最大数量。
- 最大记录数: 单个输出消息中包含的最大记录数。 使用 -1 表示所有输出记录应放入单个文件中,使用 0 表示端口可以根据配置的 输出文件格式 进行决定。 默认情况下,XML 每个文件输出一条记录,而平面文件格式则包含一个文件中的所有记录。
- 事务容量 事务中的最大查询数。
- 延迟处理 放置在输入文件夹中的文件的处理延迟的时间量(以秒为单位)。 这是一个遗留设置。 最佳实践是使用 File 端口 来管理本地文件系统,而不是此设置。
- 日志文件夹结构 指示端口根据选定的时间间隔对
Logs
文件夹中的文件进行分组。 例如,Weekly 选项指示端口每周创建一个新的子文件夹,并将该周的所有日志存储在该文件夹中。 空白设置告诉端口将所有日志直接保存在Logs
文件夹中。 对于处理许多事务的端口,使用子文件夹可以帮助保持日志井井有条并提高性能。
其它
其他设置 适用于特定用例。
- 其他设置 使能够在分号分隔的列表中配置隐藏的端口设置(例如,
setting1=value1;setting2=value2
)。 正常的端口用例和功能不应要求使用这些设置。
宏
在文件命名策略中使用宏可以提高组织效率和对数据的上下文理解。 通过将宏合并到文件名中,可以动态地包含相关信息,例如标识符、时间戳和消息头信息,从而为每个文件提供有价值的上下文。 这有助于确保文件名反映对组织重要的详细信息。
知行之桥 支持这些宏,它们都使用以下语法:%Macro%
。
宏 | 描述 |
---|---|
ConnectorID | 替换为端口的 ConnectorID。 |
Ext | 替换为端口当前正在处理的文件的文件扩展名。 |
Filename | 替换为端口当前正在处理的文件的文件名(包括扩展名)。 |
FilenameNoExt | 替换为端口当前正在处理的文件的文件名(不带扩展名)。 |
MessageId | 计算端口输出的消息的 MessageId。 |
RegexFilename:pattern | 将正则表达式模式应用于端口当前正在处理的文件的文件名。 |
Header:headername | 替换为端口正在处理的当前消息的目标消息头 (headername ) 的值。 |
LongDate | 以常规格式计算系统的当前日期时间(例如,2024 年 1 月 24 日星期三)。 |
ShortDate | 以 yyyy-MM-dd 格式计算系统的当前日期时间(例如 2024-01-24)。 |
DateFormat:format | 以指定格式(format )计算系统的当前日期时间。 有关可用的日期时间格式,请参阅示例日期格式 |
Vault:vaultitem | 计算指定保管库项目的值。 |
Table | 计算端口从中选择数据的表的名称。 |
PK | 评估从表中接收的记录的主键值。 |
Sequence | 根据端口接收的总记录数计算为四位数字(例如,对于返回的第五条记录,%Sequence% 计算为 0005)。 |
FileFormat | 评估端口的“高级”选项卡上指定的输出文件格式(XML、CSV 或 TSV)。 |
示例
某些宏(例如 %Ext% 和 %ShortDate%)不需要参数,但其他宏则需要。 所有带有参数的宏都使用以下语法:%Macro:argument%
以下是带有参数的宏的一些示例:
- %Header:headername%:其中
headername
是消息上消息头的名称。 - %Header:mycustomheader% 解析为输入消息上设置的
mycustomheader
消息头的值。 - %Header:ponum% 解析为输入消息上设置的
ponum
消息头的值。 - %RegexFilename:pattern%:其中“pattern”是正则表达式模式。 例如,
%RegexFilename:^([\w][A-Za-z]+)%
匹配并解析为文件名中的第一个单词,并且不区分大小写(test_file.xml
解析为test
) 。 - %Vault:vaultitem%:其中
vaultitem
是 vault 中项目的名称。 例如,%Vault:companyname%
解析为存储在保管库中的companyname
项的值。 - %DateFormat:format%:其中
format
是可接受的日期格式(有关详细信息,请参阅示例日期格式)。 例如,%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%
解析为文件上的日期和时间戳。
还可以创建更复杂的宏,如以下示例所示:
- 将多个宏组合在一个文件名中:
%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%%EXT%
- 包括宏之外的文本:
MyFile_%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%
- 在宏中包含文本:
%DateFormat:'DateProcessed-'yyyy-MM-dd_'TimeProcessed-'HH-mm-ss%