配置数据仓库设置

当前,仅支持PostgreSQL 9.4或更高版本的数据库作为仓库目标。

您可以配置安全控制台以将数据导出到外部数据仓库中。您可以使用此功能来获取更丰富的数据集,以与您自己的内部报告系统(例如商业智能工具)集成。导出使用维度模型将数据提取,转换和加载(ETL)到目标仓库中。

您可以在此处查看此模型的架构。

排程

在配置ETL到外部仓库的过程时,应考虑到您的报告需求。导出频率与可使用历史事实表进行趋势分析的数据点的粒度相匹配。由于可以导出的数据量很大,因此仓储过程可能需要一些时间才能完成。建议的时间表设置是每1周一次。在非关键扫描窗口期间应谨慎安排此导出,以最大程度地减少影响。

组态

数据仓库可由全局管理员配置。在配置安全控制台设置之前,请确保已配置目标仓库数据库服务器(有关更多信息,请参阅部署和配置仓库)。要配置数据仓库导出设置:

  1. 点击管理旁的数据仓库中的管理页面。
  2. 在“ 数据库”页面上输入数据库服务器设置。
    • 启用导出 -指示当前是否启用导出
    • 数据模型 -指示要使用的仓库模式的类型。建议使用尺寸标注,不建议使用旧版模型。
    • 服务器地址 -目标仓库的IP或主机名。
    • 服务器端口 -目标仓库接受其外部连接的端口。
    • 数据库名称 -要导出到模型的数据库的名称。
    • 用户/密码 -执行导出为的用户凭据。该用户必须具有对数据库的写访问权。
    • 加密传输中的数据 -如果启用,将在ETL过程中使用与目标数据库的SSL连接。这样可以确保传输到仓库的所有数据在传输过程中都经过加密(注意:默认情况下,仓库在静止状态下不进行加密)。建议设置已启用。
    • 验证服务器身份 -如果启用,则在同时启用“加密传输中的数据”时验证服务器身份。如果服务器证书未签名并且启用了此选项,则导出过程将无法正常运行。禁用此设置将允许信任自签名证书,但不再阻止中间人(MitM)攻击。建议设置已启用。
  3. 使用“ 测试连接”按钮测试连接。这将尝试与目标仓库数据库建立连接。将会出现任何错误,您可以适当地重新配置设置或目标仓库数据库,直到连接成功。
  4. 转到“ 计划”页面以配置导出频率。
    • 选择日期和时间以开始导出过程
    • 选择一个重复此过程的时间间隔。推荐的设置是每1周一次。如果您确实希望更频繁地运行它,我们建议不要每24小时运行一次。
  5. 点击保存

从旧版模型升级

如果已有数据仓库配置,则建议执行以下操作:

  1. 将数据模型从传统更改为维度这会将输出模式的结构更改为更易于使用和更全面支持的数据模型。您将需要更新仓库的所有使用者以使用新模型。使用新模型时,现有架构元素将保持不变,但在以后的ETL过程中将不再更新。
  2. 启用加密和身份验证:以前不支持这些设置,这意味着在导出过程中未加密任何传输中的数据。建议继续加密传输中的数据,因此建议您启用“ 加密传输中数据验证服务器身份”设置。这些更改将需要在目标仓库数据库中重新配置SSL。有关更多信息,请参见“部署和配置仓库”部分。

模式变更

进行更改时,维仓库架构可以保证向后兼容。由安全控制台执行的ETL流程可能会定期向架构中添加其他数据元素,但是将来不会导致对该架构的任何报告或查询中断。以下内容将不会在架构中更改:

  • 可用的表,列和函数,包括它们的名称
  • 列和函数数据类型

在ETL流程的将来迭代中将进行以下更改:

  • 其他列将添加到现有表中
  • 添加了新表或函数

对模型进行更改后,应用产品升级并执行新的ETL流程将升级目标仓库中的模型。

仓库报告

导出过程完成后,可以使用以下任何一种方式立即使用数据仓库进行报告:1)直接连接;2)商业智能工具;和/或3)任何其他自定义工具/脚本或现成的软件。在导出(ETL)过程中,将执行许多操作仓库状态的DDL和DML查询。因此,在此时间段内不应访问仓库。

部署和配置仓库

数据仓库是运行PostgreSQL 9.4或更高版本数据库服务器的主机。数据仓库服务器的管理和配置必须手动执行。必须将仓库配置为支持PostgreSQL数据库端口上的外部连接,并允许来自安全控制台的入口网络流量。为了获得最佳性能,仓库的配置会根据所需的同时连接数,磁盘速度和可用内存而变化。

硬件要求:

  • 2 GHz +处理器(推荐四核处理器)
  • 32 GB RAM(最低),72 GB + RAM(推荐)
  • 1 TB HDD(最小),2 TB + HDD(推荐)
  • 100 Mbps网络接口(最低),1 Gbps(推荐)

请按照以下步骤安装和配置新的数据仓库:

  1. 安装PostgreSQL 9.4或更高版本,确保已应用所有可用补丁
  2. 使用以下建议的最低设置配置postgresql.conf(您可以相应地重新配置硬件和连接要求):

所有PostgreSQL版本:

设置 32 GB内存 72 GB内存
max_connections 10 20
shared_buffers 8 GB 18 GB
work_mem 419兆字节 471兆字节
maintenance_work_mem 2 GB 2 GB
checkpoint_segments 128 256
Effective_cache_size 24 GB 54 GB
checkpoint_completion_target 0.9 0.9
wal_buffers 16兆字节 32兆字节
auto_vacuum

PostgreSQL 9.6+:

设置 32 GB或72 GB RAM
min_parallel_relation_size 8兆字节
force_parallel_mode
max_worker_processes CPU核心数* 2
max_parallel_workers_per_gather CPU核心数/ 2
  1. 要启用SSL(以及传输中的数据加密),请获取证书并在postgresql.conf文件中启用以下功能:
    • ssl = on
    • ssl_ciphers = 'HIGH:MEDIUM:+3DES:!aNULL'
    • ssl_cert_file = 'server.crt'
    • ssl_key_file = 'server.key'
    • password_encryption = on
  2. 启动postgreSQL进程。

本文章首发在 网安wangan.com 网站上。

上一篇 下一篇
讨论数量: 0
只看当前版本


暂无话题~