配置数据仓库设置
当前,仅支持PostgreSQL 9.4或更高版本的数据库作为仓库目标。
您可以配置安全控制台以将数据导出到外部数据仓库中。您可以使用此功能来获取更丰富的数据集,以与您自己的内部报告系统(例如商业智能工具)集成。导出使用维度模型将数据提取,转换和加载(ETL)到目标仓库中。
您可以在此处查看此模型的架构。
排程
在配置ETL到外部仓库的过程时,应考虑到您的报告需求。导出频率与可使用历史事实表进行趋势分析的数据点的粒度相匹配。由于可以导出的数据量很大,因此仓储过程可能需要一些时间才能完成。建议的时间表设置是每1周一次。在非关键扫描窗口期间应谨慎安排此导出,以最大程度地减少影响。
组态
数据仓库可由全局管理员配置。在配置安全控制台设置之前,请确保已配置目标仓库数据库服务器(有关更多信息,请参阅部署和配置仓库)。要配置数据仓库导出设置:
- 点击管理旁的数据仓库中的管理页面。
- 在“ 数据库”页面上输入数据库服务器设置。
- 启用导出 -指示当前是否启用导出。
- 数据模型 -指示要使用的仓库模式的类型。建议使用尺寸标注,不建议使用旧版模型。
- 服务器地址 -目标仓库的IP或主机名。
- 服务器端口 -目标仓库接受其外部连接的端口。
- 数据库名称 -要导出到模型的数据库的名称。
- 用户/密码 -执行导出为的用户凭据。该用户必须具有对数据库的写访问权。
- 加密传输中的数据 -如果启用,将在ETL过程中使用与目标数据库的SSL连接。这样可以确保传输到仓库的所有数据在传输过程中都经过加密(注意:默认情况下,仓库在静止状态下不进行加密)。建议设置已启用。
- 验证服务器身份 -如果启用,则在同时启用“加密传输中的数据”时验证服务器身份。如果服务器证书未签名并且启用了此选项,则导出过程将无法正常运行。禁用此设置将允许信任自签名证书,但不再阻止中间人(MitM)攻击。建议设置已启用。
- 使用“ 测试连接”按钮测试连接。这将尝试与目标仓库数据库建立连接。将会出现任何错误,您可以适当地重新配置设置或目标仓库数据库,直到连接成功。
- 转到“ 计划”页面以配置导出频率。
- 选择日期和时间以开始导出过程
- 选择一个重复此过程的时间间隔。推荐的设置是每1周一次。如果您确实希望更频繁地运行它,我们建议不要每24小时运行一次。
- 点击保存。
从旧版模型升级
如果已有数据仓库配置,则建议执行以下操作:
- 将数据模型从传统更改为维度:这会将输出模式的结构更改为更易于使用和更全面支持的数据模型。您将需要更新仓库的所有使用者以使用新模型。使用新模型时,现有架构元素将保持不变,但在以后的ETL过程中将不再更新。
- 启用加密和身份验证:以前不支持这些设置,这意味着在导出过程中未加密任何传输中的数据。建议继续加密传输中的数据,因此建议您启用“ 加密传输中的数据和验证服务器身份”设置。这些更改将需要在目标仓库数据库中重新配置SSL。有关更多信息,请参见“部署和配置仓库”部分。
模式变更
进行更改时,维仓库架构可以保证向后兼容。由安全控制台执行的ETL流程可能会定期向架构中添加其他数据元素,但是将来不会导致对该架构的任何报告或查询中断。以下内容将不会在架构中更改:
- 可用的表,列和函数,包括它们的名称
- 列和函数数据类型
在ETL流程的将来迭代中将进行以下更改:
- 其他列将添加到现有表中
- 添加了新表或函数
对模型进行更改后,应用产品升级并执行新的ETL流程将升级目标仓库中的模型。
仓库报告
导出过程完成后,可以使用以下任何一种方式立即使用数据仓库进行报告:1)直接连接;2)商业智能工具;和/或3)任何其他自定义工具/脚本或现成的软件。在导出(ETL)过程中,将执行许多操作仓库状态的DDL和DML查询。因此,在此时间段内不应访问仓库。
部署和配置仓库
数据仓库是运行PostgreSQL 9.4或更高版本数据库服务器的主机。数据仓库服务器的管理和配置必须手动执行。必须将仓库配置为支持PostgreSQL数据库端口上的外部连接,并允许来自安全控制台的入口网络流量。为了获得最佳性能,仓库的配置会根据所需的同时连接数,磁盘速度和可用内存而变化。
硬件要求:
- 2 GHz +处理器(推荐四核处理器)
- 32 GB RAM(最低),72 GB + RAM(推荐)
- 1 TB HDD(最小),2 TB + HDD(推荐)
- 100 Mbps网络接口(最低),1 Gbps(推荐)
请按照以下步骤安装和配置新的数据仓库:
- 安装PostgreSQL 9.4或更高版本,确保已应用所有可用补丁
- 使用以下建议的最低设置配置postgresql.conf(您可以相应地重新配置硬件和连接要求):
所有PostgreSQL版本:
设置 | 32 GB内存 | 72 GB内存 |
---|---|---|
max_connections | 10 | 20 |
shared_buffers | 8 GB | 18 GB |
work_mem | 419兆字节 | 471兆字节 |
maintenance_work_mem | 2 GB | 2 GB |
checkpoint_segments | 128 | 256 |
Effective_cache_size | 24 GB | 54 GB |
checkpoint_completion_target | 0.9 | 0.9 |
wal_buffers | 16兆字节 | 32兆字节 |
auto_vacuum | 关 | 关 |
PostgreSQL 9.6+:
设置 | 32 GB或72 GB RAM |
---|---|
min_parallel_relation_size | 8兆字节 |
force_parallel_mode | 上 |
max_worker_processes | CPU核心数* 2 |
max_parallel_workers_per_gather | CPU核心数/ 2 |
- 要启用SSL(以及传输中的数据加密),请获取证书并在postgresql.conf文件中启用以下功能:
ssl = on
ssl_ciphers = 'HIGH
+3DES:!aNULL'
ssl_cert_file = 'server.crt'
ssl_key_file = 'server.key'
password_encryption = on
- 启动postgreSQL进程。
推荐文章: