如今，大数据和分析正在进入更加成熟的部署阶段。这对于那些正在部署这些技术的中小型企业来说是一个好消息，他们一直在努力为他们的公司定义一个大数据架构。
关于如何定义大数据和分析的总体架构的不确定性是中小企业在大数据和分析部署方面落后的原因之一。在很多情况下，对于混合计算、数据集市、主数据库等趋势发展情况，以及对安全和治理的控制将如何发挥，他们正在等待和观望。
最后，将会提供一个大家都可以遵循的新兴的最佳实践数据架构。在这个架构中：云计算服务正被用于存储和处理大数据，而内部部署数据中心用于在企业开发本地数据集市。
以下来仔细看看这个大数据和分析架构背后的原因：
如果企业规模较小，那么购买在数据中心并行处理大数据的服务器集群是很昂贵的，更不用说雇佣或培训那些知道如何优化、升级和维护并行处理环境的非常昂贵的专业人员了。选择现场处理和存储数据的企业也对硬件、软件和存储设备进行了大量投资。而采购大数据硬件和软件，以及将计算处理和存储外包给云端，所有这些都将花费大量的费用。
数据治理(例如，安全和合规性问题)是企业不愿将所有任务关键型数据交付给云计算的原因之一，因为这些云计算数据的管理更加困难。因此，一旦数据在云端处理完毕，许多企业选择将数据迁移到自己的内部数据中心。
许多企业选择使用他们的数据中心还有另一个原因：关注开发这些数据的专有应用程序和算法，因为许多云计算提供商的政策是客户在云端开发的任何应用程序可能会与其他客户共享。
通过将应用程序保留在内部部署的数据中心，并开发一个可以将较小的数据集市从中分离出来的本地主数据集，企业可以直接控制其数据和应用程序。
例如，如果企业需要对数据进行匿名化处理，则应该将其实施的过程记录下来，并与其云计算提供商达成一致，因为云计算提供商将进行匿名化处理。如果企业想清理自己的数据，其清理的过程也应该向其云计算提供商提供详细的书面说明。例如，企业是否只希望将美国所有州的缩写进行统一(例如，“Tenn”和“Tennessee”=“TN”)还是要对数据进行其他编辑，以便统一且易于处理?最后，无论企业的业务是运行在云计算服务提供商的专用租户还是多租户环境中，云计算提供商都应该能够保证企业的数据永远不会与其他客户共享。
企业的许多IT部门完全错过了这个任务。他们只是开始实施大数据项目，却忘记现有的应用程序开发政策和程序来自交易的应用领域。企业不要犯这个错误。与其相反，企业需要在与大数据交互的可能性较高的领域(如存储、数据库管理、应用程序)中修改政策和程序。
在进行基于云端的灾难恢复(DR)测试的情况下，企业应该在合同中包含用于记录和执行灾难恢复(DR)的规定。灾难恢复(DR)计划(侧重于事务数据和系统)也应该及时更新，并包括大数据和分析的恢复和测试脚本的恢复。
评论