云端分析面临的关键挑战及克服方法

    与在内部部署设施进行批处理分析的方法相比，将分析业务迁移到云平台需要新的方法、技能和架构。像许多其他IT功能一样，数据分析工作也迁移到云中，这既带来了机遇，也面临着挑战。

    在调研机构Gartner公司列举的 2021年十大数据和分析技术趋势中，使分析功能更易组合的开放的、容器化的分析架构就是其中的一个趋势。该公司表示，这使组织能够快速创建灵活而智能的应用程序，以帮助数据分析师将见解与决策联系起来。

 

    Gartner公司指出，“随着组织将数据重心转移到云中，可组合数据和分析将成为一种更灵活方式，以构建由云计算市场以及低代码和无代码解决方案提供支持的分析应用程序。”

 

    云计算服务可以将数据分析提高到一个新的水平。创意服务提供商Loveurope and Partners(LEAP)公司系统和技术总监Aidan Taub表示：“云计算可以为我们提供更高计算负载所需的可扩展性。随着各行业组织继续实现数字化，需要以指数级的规模构建文件数据。当组织拥有大量的非结构化数据(例如LEAP公司所处理的视频、图像和音频)时，永远无法知道其工作量有多大，而传统分析方法无法像云平台一样扩展规模。”

 

    然而，在云中进行的分析需要不同的方法、技能、架构和经济性。伴随着这些变化，势必需要克服一些障碍。

 

    以下组织可能会面临的一些挑战以及当向在云中执行数据分析时能够解决这些挑战的方法：

 

    由于未知而害怕失去控制

 

    数据分析对于组织来说具有高度的战略意义，对于习惯于完全控制数据资源的技术领导者而言，将分析过程迁移到云中的想法可能令人望而生畏。

 

    德勤咨询公司高级分析支持主管Anthony Abbattista说，“我们看到客户面临的主要挑战之一是组织惯性或对失去控制的恐惧。”Abbattist曾与众多企业的IT高管合作，并致力于推广基于云的分析。

 

    Abbattista说：“IT主管和首席信息官的传统角色是保护数据资产并成为数据资产的守护者。”他表示，在某些情况下，云计算技术对数据分析的现状构建了挑战，因为它可以更快地推向市场。例如产品选择和评估，点击配置的数量有限，无需大量增加资本支出等等。

 

    Abbattista说：“首席数据官和首席信息官需要共同努力，以审核和熟悉云平台，这样他们可以帮助获得商业价值和竞争优势，至少不落后于竞争对手。这可能需要采用市场上可接受的、经过验证的新兴模式，而不是从头开始设计或重建分析环境。”

 

    提供保险服务的非营利机构全球公共机构雇员保险公司(WAEPA)首席信息官Brandon Jones表示，由于现有的分析流程缺乏灵活性，许多组织在探索新的分析能力方面进展缓慢。他说：“组织需要尝试新功能，并推动创新的激励措施和计划。”

 

    为了克服这个问题，WAEPA公司的IT部门使用了一个支持云计算的沙盒环境来建立一个试错思维过程，使用关键利益相关者的关键性能指标创建了一个原型优先的分析环境。

 

    进行转变

 

    除了克服IT领导者认为的失去控制之外，他们还需要应对向云平台的迁移，并确保服务不会中断。

 

    Taub说，“这对于许多IT领导者来说，他们最困难的决定就是向云平台迁移。但是，如果他们选择正确的解决方案，就不必这样做。”

 

    Taub说，将数据分析迁移到云端时，IT领导者在很多情况下都是从“提升和转移”的方法开始，将现有的操作移植到云端。他补充道：“这通常意味着重新设计应用程序和系统，而为了进入云平台需要重新构建。”

 

    作为2019年对其原有数据基础设施进行全面改革的一部分，LEAP公司使用Qumulo公司的分析平台将大量非结构化文件数据迁移到云中。LEAP公司的文件和数据以前分布在各种不同的传统存储系统中，而数据在工作流的不同位置管理和定位则非常耗费人力。

 

    Taub说，“幸运的是，Qumulo公司帮助我们转移了所有数据，而无需为进入云平台重构应用程序，我建议组织找到一种工具，使在多个环境中复制和提取数据变得更加简单。”

 

    这一转变使该公司能够优化其数据分析，并将其性能提高240倍以上。采用谷歌分析软件，可以查看已连接的客户端数量、使用带宽最多的客户端，以及数据在哪里快速增长。

 

    Taub说：“创造性工作流程的成功很大程度上取决于我们在云中访问数据分析的能力。我们在全球各地拥有由数百名艺术家、设计师和动态图形编辑人员组成的团队，因此，我们需要利用云计算服务来有效安全地协作开发创意项目。如果没有基于云计算的数据分析，我们的生产流程将陷入困境。”

 

    掌握正确的技能

 

    成功的IT工作似乎总是归功于掌握必要的技能，而将数据分析迁移到云平台也不例外。

 

    Abbattista表示，德勤咨询公司的调查表明，组织对技能的需求开始发生变化。他说：“云计算分析环境不需要专家来支持传统分析/商业智能中技术堆栈的每个部分，而是需要更多的‘全栈式’思维。为应对这一挑战，支持这些新时代环境的技术团队需要了解云平台上的产品，采用标准模式，然后随着新技术、工具和产品的出现而不断发展。”

 

    美国零售商Dollar Tree公司前任首席信息官Josh Jewett表示，选择在云计算环境中构建自己的分析平台或依靠云计算供应商提供服务的组织将需要具有特定的专业知识和技能。

 

    Jewett指出，这些技能包括创建、维护和从数据湖中获得分析的技能，以及如何最好地利用云原生或第三方人工智能和机器学习能力，并从分析中获得更多的见解。

 

    在Dollar Tree公司任职期间，Jewett帮助该公司实现了许多系统的现代化，其中包括数据分析。他说，“和其他许多零售商一样，Dollar Tree公司采用了混合策略，部署了软件即服务平台，为关键业务功能提供特定的分析功能。例如，这些工具包括用于库存生产率、价格优化、减轻损失预防，人才获取，以及绩效管理等。”

 

    该公司还在云计算环境中开发了一些分析应用程序，以利用云计算的灵活性、可扩展性，并加快产品上市的优势。

 

    保护数据安全

 

    无论云计算服务提供商怎么强调其云计算基础设施的安全性，其客户都需要始终关注其数据在云中的实际安全性。

 

    对于数据分析来说尤其如此，因为从数据分析中获得的见解可以成为一种竞争优势，此外还要关注不能泄露诸如客户信息之类的高度敏感的数据。

 

    Taub说，“当将组织的数据从其内部部署数据中心迁移出去的时候，安全性成为头等大事。LEAP公司利用了包括自由职业者在内的全球员工网络，这意味着我们必须确保数据将在内部和外部用户访问的云平台中得到保护。”

 

    软件提供商Precisely公司数据首席信息官Amy O’Connor表示，最大的安全问题之一是控制对云计算应用程序和数据的访问。他说：“人们使用云计算应用程序在获得便捷性的同时也带来了挑战，其中许多根源在于人们可能会无意间造成安全、隐私和经济方面的问题。在云计算帐户之间进行安全切换以及安全地存储和交换密钥是一个关键问题。需要围绕适当使用数据进行强有力的治理。与内部部署数据中心相比，云中的安全事项更紧急，因为能够很容易地以未经授权的方式复制和使用数据。”

 

    O’Connor说：“Precisely公司采用混合多云模式，可以利用多个云计算供应商提供的服务来满足其计算和存储需求。我们基于云计算的数据湖是存储大量数据的地方。如果数据起源于云平台，我们将在云平台中开始处理。如果具有本质上突发性的分析需求，则可以利用云计算服务进行处理。如果需要快速开始分析处理，则可以从云平台开始。当我们需要处理非结构化数据以及使用包括机器学习在内的高级分析处理时，我们可以利用基于云计算的数据湖。”

 

    避免云计算成本陷阱

 

    尽管使用云计算服务可以帮助组织避免诸如内部部署存储系统之类的成本，但其支出可能会很快失控或超出预期。

 

    Taub说。“预算始终是一个问题。一刀切的数据架构可能是IT支出的陷阱。因此在决定将分析迁移到云中时，组织通常会感到更多的压力，需要支付高昂的前期成本，并受到无法满足其当前需求的长期合同的限制。”

 

    Taub表示，关键是找到一个不会强制锁定的云计算提供商。他说：“组织在评估云计算平台时需要进行评估和比较，选择满足组织当前分析需求的灵活解决方案，并可以根据需要灵活地扩展以满足组织的未来需求。”

 

    O’Connor表示，虽然采用云服务很容易，但也很容易将错误的作业类型转移到云中，并在不再需要使用云计算应用程序和资源之后继续运行。

 

    他指出，控制云计算成本的两种最有效方法是控制云帐户的创建方式，并且对于谁在使用云资源完全透明。

 

    O'Connor说：“为了解决第一个问题，我们将每个提供商的所有云帐户都迁移到一个主帐户中，我们还集中了新创建的云帐户。需要新的云计算资源的个人和团队都要经过正式的请求流程，该请求必须包括业务理由、部门预算信息和业务所有者等内容。”

 

    O'Connor说：“至于其透明性，只要批准了请求，中央团队就会在主帐户下创建任何新的云帐户。这种治理政策使我们能够透明地了解云计算提供商开具发票的费用。每个帐户都是用请求中提供的信息创建的，然后可以使用云计算提供商的门户或控制台来监控与每个初始请求匹配的支出。”

 

    O'Connor表示，将云计算成本应用到请求者的预算中，从而精确地将这些支出信息用于内部按存储容量使用计费模型。IT部门使用这些方法推动云计算成本的问责制，并确保为正当的业务原因而提供适当的预算。