什么是大数据仓库

首先需要设计数据仓库的整体架构，包括数据集成、存储和建模等方面。数据仓库应当能够从多个来源（如CRM、ERP等系统）集成数据，并将其存储在统一的数据模型中，以支持复杂的分析查询。典型的数据仓库架构包括暂存层（存储原始提取数据）、集成层（转换和集成数据）以及数据仓库层（以维度模型存储组织数据）。

接下来，需要构建数据管道来从源系统提取、转换和加载（ETL或ELT）数据到数据仓库中。这个过程需要处理各种结构化和非结构化数据，并以实时或批量的方式进行数据摄取。一个好的大数据平台可以简化这一步骤。

数据被加载到数据仓库后，需要进行进一步的处理和分析，以便将原始数据转换为易于消费和理解的格式。这可能包括排序、聚合、数据连接、清洗以及执行各种高级分析操作。处理后的数据集可以存储在数据仓库中供后续处理使用，或者通过商业智能和数据可视化工具直接呈现给最终用户。

最后，需要为利益相关者提供自助式商业智能和敏捷数据可视化工具，以便快速轻松地探索数据集、提取洞见、监控性能并支持决策。这使业务用户能够从数据中获取价值。

除了上述核心步骤，还需要注意数据仓库的优化和扩展。数据仓库应该以规范化的方式存储数据，减少冗余，同时在其之上构建的数据集市可以使用为分析查询优化的非规范化维度模型。数据仓库还应保留源系统中不存在的数据历史记录。此外，数据仓库架构应具有可扩展性和灵活性，以适应不断增长的数据量和不断变化的业务需求。

大数据仓库能够将来自多个不同源系统（如CRM、ERP等）的结构化数据以及非结构化数据（如移动应用、物联网设备、社交媒体等）集中到一个统一的数据模型中。这解决了数据库孤岛问题，为企业提供了全面的数据视图。

与传统的运营数据库不同，大数据仓库保留了数据的历史记录。这使得企业能够进行趋势分析、时间序列分析等，从而更好地了解业务发展轨迹并做出前瞻性决策。

大数据仓库通过提供一致的代码和描述，能够显著提高数据质量。这确保了数据在整个组织内的一致性，为更准确的分析和决策奠定了基础。

大数据仓库针对复杂的分析查询进行了优化，能够提供卓越的查询性能。这使得用户能够快速获取所需的分析结果，支持更高效的决策过程。

大数据仓库不仅支持传统的SQL查询，还能够支持大数据分析、全文搜索、实时分析和机器学习等多种分析类型。这使得企业能够从海量数据中挖掘更深层次的见解。

大数据仓库需要能够摄取各种形式的数据，包括结构化和非结构化数据，以及实时和批量数据。数据摄取层负责从各种运营系统中提取原始数据。

大数据仓库需要一个安全、可扩展且持久的存储库来存储数据，包括临时存储传输中的数据和长期存储。常用的存储方式包括快速存储（如SSD）用于存储频繁访问的数据，以及廉价对象存储用于存储不常访问的数据。

在这一层，原始数据会被转换为可消费的格式，通过排序、聚合、连接和高级分析等操作进行处理。处理后的数据集将被存储以供进一步处理或直接消费。

经过处理的数据将通过自助式商业智能和数据可视化工具提供给利益相关者，以便其快速轻松地探索数据集并提取洞见。

元数据是大数据仓库的关键组成部分，用于定义数据仓库的各个元素及其工作方式。主要包括技术元数据、业务元数据和流程元数据三大类。

这是将数据从源系统提取、转换并加载到数据仓库的关键环节。可以是传统的“提取-转换-加载”（ETL）流程，也可以是“提取-加载-转换”（ELT）方式，具体取决于数据仓库的架构和需求。

随着工业自动化设备产生的数据量和速度不断增加，存储和管理这些数据的基础设施成为一大挑战。传统的商业智能系统专注于内部结构化数据，但现代“工业大数据”分析系统要求近实时分析和可视化，这需要更加集成的数据存储、管理和处理能力。

对于工业应用而言，变量通常具有明确的物理含义，数据完整性至关重要。低质量数据或错误记录可能会极大地改变变量之间的关系，从而对分析的准确性产生灾难性影响。大数据挖掘和发现的重点无法弥补这些应用中的低数据质量问题。

正在被创建和复制的数据量正以指数级增长，如何有效处理这种海量数据规模，成为企业和组织面临的重大挑战。

大量增长的数据是非结构化的，它们并不适合存储在传统的行列数据库中。这种数据格式的差异为数据管理和分析工作带来了额外的挑战。

离线运营数据仓库定期从运营系统中获取数据，并将其存储在面向报告的集成数据库中。这种仓库通常每天、每周或每月更新一次，用于支持分析和报告需求。

与离线运营数据仓库类似，离线数据仓库也是定期从运营系统中获取数据，并将其存储在专门为报告设计的结构中。这种仓库的更新频率较低，主要用于长期分析和决策支持。

实时数据仓库也称为在线集成数据仓库，它代表了真正的实时数据仓库，每当源数据发生变化时就会立即更新。这种仓库适用于需要实时数据分析和决策的场景。

集成数据仓库从企业不同领域汇集数据，使用户能够跨系统访问信息。它为整个组织提供了一个统一的数据视图，支持全面的业务分析和报告。

数据湖仓是一种混合方法，它能够像数据湖一样摄取原始数据格式，同时还提供了数据仓库的功能，如事务支持和数据质量控制。这种架构结合了数据湖和数据仓库的优势，为企业提供了更大的灵活性和分析能力。