锐眼洞察 | 数据管理的未来:一场工业革命(翻译)

作者:Amber Lee Dennis

原文:The Future of Data Management: An Evolution of the Industry

译者:TalkingData数据工程师 孙强

本译文禁止商用,转载请注明作者与来源!

DATAVERSITY最近采访了MapR创始人John Schroeder,以了解他对数据管理领域未来发展方向的想法。 Schroeder在企业软件领域拥有超过20年的经验,专注于数据库管理和商业智能。 这样的背景使Schroeder洞察到数据管理的世界如何随着时间的推移而变化,以及现在发生的主要趋势。

人工智能的重振

人工智能(AI)现在已经回到了主流讨论中,Schroeder说,它是涵盖了机器智能、机器学习、神经网络和认知计算的一个热门词汇。

人工智能将被快速采用,使用在大型数据集上部署的简单算法来解决重复的自动化任务。他说,与传统平台相比, “谷歌已经提到简单的算法,经常执行大数据集比使用更小集的其他方法产生更好的结果。”

他补充说:“使用现代和传统的处理模式,可以处理三个V的水平可伸缩平台:速度,种类和数量可以提供10-20倍的成本效率。”我们将看到应用人工智能 到高容量的重复性任务“。

Schroeder展示了一种简单的AI使用方法,它将特定的客户购物属性分组到聚簇。 他说:“聚类是非常基本的人工智能算法之一,因为一旦你可以聚集项,那么你可以预测一些行为。 现在可以调整大量数据的算法,以便聚簇变得更紧密、更快速,这使得数据保持新鲜和相关。 当单个聚簇中的点之间的标准偏差尽可能紧时,可以在整个聚簇中进行假设,并向该聚簇内的其他客户提供报价和服务,并具有合理的成功预期。

当将聚簇建立到像亚马逊或沃尔玛这样的在线零售商的运营系统时,影响行为的潜力是显著的。 他说,在一个静态定价的在线目录中,购物车的放弃率是“走到尽头”。 但是通过使用人工智能,商店可以推荐其他产品,同时实时搜索具有竞争力的价格,动态调整价格,提供店内优惠券和价格保证,让客户感觉到自己得到了最好的产品价格可用。

“这是世界的速度。 他说:“客户在切换到另一家公司之前,要实时向每一位用户实时提供个人信息。”

大数据治理vs竞争优势

“治理与数据价值”的拔河将从前沿向中心移动。 企业拥有大量有关其客户和合作伙伴的信息,现在正面临着法规遵从所需的数据治理与免费使用数据以提供业务价值,同时避免破坏性数据泄漏或违规行为之间的拉锯战。

Schroeder表示,主数据管理(MDM)是一个大问题,一段时间内,这是一个很大的问题。 对于任何组织来说,“跟上治理,血统,安全和访问”是非常非常非常困难的,尤其是在扩大组织中使用的数据量的时候。 他说,更聪明的组织正在问:“我们的数据的哪一部分必须被管理和遵从,还有其他哪些数据源不需要这些? 所以它可以让他们摆脱世界上所有的MDM的老鼠洞。”

“如果我说:’你今天晚上为什么不回家去,把你家里每件物品的Excel表格都打上电子表格,然后记录下任何人接触,使用或吃的东西’,你什么都做不了,对不对? 所以你不得不说,有人吃了香蕉,我得去更新数据库。“

他说,领先的组织将在受管制和非受管制用例之间应用数据管理。 受管制的用例需要数据治理,数据质量和数据沿袭,因此,监管机构可以通过对原始来源的所有转换来报告和跟踪数据。 这是强制性的和必要的,但是对非实时数据以及结构化和非结构化数据混合产生更有效的结果的非监管用例进行限制。

公司专注于数据湖泊,而不是沼泽

组织正在从“构建它,其他的都会跟来”的数据湖方法转向实现业务驱动的数据方法。 Schroeder说,使用案例导向驱动了分析和操作的结合。

一些公司梦想有一个数据湖,所有的事情都是在“一个集中的,安全的,全面管理的地方收集的,任何部门都可以随时随地访问”,Schroeder说。 这听起来很有吸引力,但是往往会导致数据沼泽,无法满足实时和操作用例要求,最终看起来更像是重建的数据仓库。

事实上,今天的世界发展速度更快。

Schroeder表示,为了与当今这个快速发展的世界展开竞争,企业需要分析和运营能力来解决客户的需求,并在个人层面实时处理设备与设备的接口。

“电子商务网站必须实时提供个性化的建议和价格检查。 医疗机构必须处理有效的索赔,并通过将分析与操作系统相结合来阻止欺诈索赔。 媒体公司正在通过机顶盒对内容进行个性化处理。 汽车制造商和乘坐分享公司正在与汽车和司机进行大规模的互动。“
有一个预定义的业务用例是不够的。 这个企业必须“足够有远见,以至于能够考虑接下来的几个用例,所以他们不想仅仅为第一个用例服务就把自己逼到一个角落”。

他预测,提前定义用例的企业将会是最成功的,因为“客户在表达需求方面做得更好,他们知道价值会是什么”,这与广义的“构建它,他们会来”的想法相反 。

提供这些用例需要一个敏捷平台,可以提供分析和运营处理,以增加从后台分析到前台运营的其他用例的价值。 组织将超越“提问”方法,构建推动初始和长期的商业价值。

数据敏捷性区分赢家和输家

Schroeder表示,处理和分析模型的发展将提供与DevOps类似的灵活性,因为组织认识到数据敏捷性(理解数据和采取业务行动的能力)是竞争优势的来源。

“公司可能会犯的错误是实施一个单一的方法。 他们会说,’我们真正需要的是能够做Spark处理。 所以我们要用一种只能做Spark的技术来做到这一点,然后他们在三个月的时间里就会说:’好了,现在我们必须把这个显示给很多用户,所以我们 需要做全球信息传递[但是]我们部署的平台不会这样做。 我们现在干什么?

与其引入另一种消息传递技术,并试图找到一种在Spark和全球消息传递之间传递数据的方法,然后设置访问控制和安全角色等等,企业可以使用技术使其更加敏捷, 而不是陷入一个特定的平台,他说。

“敏捷处理模型的出现将使相同的数据实例支持多种用途:批量分析,交互式分析,全局消息传递,数据库和基于文件的模型。 当单个数据实例可以支持更广泛的工具集时,分析模型更加敏捷。 最终的结果是支持最广泛的处理和分析模型的敏捷开发和应用程序平台。”

区块链转换选择金融服务应用程序

Schroeder表示:“金融服务中将出现选择性的转型用例,这些用例对数据存储和交易的处理方式有着广泛的影响。 他说:“区块链为消费者提供了明显的效率。 因为客户不必等待SWIFT交易,也不必担心中央数据中心泄露的影响。

Don Tapscott与Blockchain Revolution的合伙人Alex Tapscott在一篇名为“区块链将改变你的生活”的文章中写道:

“大银行和一些政府正在实施区块链作为分布式账本来革新信息存储和交易的发生方式。 他们的目标是值得赞美的 – 速度快,成本低,安全性好,错误少,消除了中心点和失败点。”

Schroeder继续说,作为一个信任协议,区块链提供了“一个全球性的分布式账簿,改变了数据存储和交易的处理方式。”由于它运行在遍布全球的计算机上,Tapscott补充道。

“没有中央数据库可以破解。 区块链是公开的:任何人都可以随时查看,因为它驻留在网络上,而不是在一个负责审核交易和保存记录的机构内。

事务存储在块中,每块指向前面的块,块都打上了时间戳,数据存储在一个不能改变的格式中,Schroeder说。 “对于企业来说,区块链提供了节约成本和增强竞争优势的机会。”

机器学习最大化微服务影响

数据管理将看到机器学习和微服务整合的增加,他说。 先前的微服务部署集中在轻量级服务上,那些已经包含了机器学习,通常仅限于应用于窄带数据流的“快速数据”集成,Schroeder说:“我们将看到一个发展转向利用大数据的有状态应用程序,并且使用机器学习方法,这种方法使用了大量的历史数据,以更好地了解新到达的流数据的上下文。”

锐眼洞察 | 2018年数据管理趋势(翻译)

作者:Paramita Ghosh 

原文:Data Management Trends in 2018

译者:TalkingData数据工程师 孙强

本译文禁止商用,转载请注明作者与来源!

近年来,业务数据的数量和种类空前增加,使得所有业务部门都需要更好的进行数据管理实践。 2018年的数据管理趋势将继续以数据治理为中心,通过数据治理确保数据质量的提升,从而改善决策制定。 随着流式数据不断从各种数据通道中输出,企业数据治理团队正在加紧研究和评估其内部框架与数据架构,以实现更好的数据管理。

企业数据管理市场的持续增长,来自于全球各地的组织对改善数据治理的需求的增长。良好的数据治理需要许多不同类型的应用程序以无缝方式一起工作。

2018年数据管理总趋势

2018年预测的技术趋势表明,“智能数字网格”将很快被许多企业采用,无论是全数字还是部分数字。 “全能数字”与人工智能赋能的技术的迅速普及,将很快在全球商业生态系统中显现出来。 未来五年,企业对人工智能技术的选用将成为一个重要的战场。 正在逐渐改变现有业务模式的人工智能趋势将在2025年前实现巨大回报。

根据福布斯的文章“为什么两种趋势的融合将改变企业管理数据的方式”,数据安全和数据治理问题已经开始融合,以降低与企业数据相关的风险。 随着这两个趋势朝着共同的目标努力,企业将不得不采用更高效的数据收集、数据管理和数据安全平台。 例如,具体的旅行服务提供商将被置于更严格的客户数据隐私审查之下。不同规模的组织都在忙于实施GSPR战略,以保护他们的高级资产——业务数据。

“在Gartner发布的2018年度十大战略技术趋势中,读者可以查看关于“事件处理和持续适应性风险和信任评估(CARTA)”的讨论,CARTA将在2020年成为企业业务80%的一部分,以实现基于风险的评估与信任的实时决策管理。

针对数据保护:通用数据保护法规(GDPR)

这将很会变成现实。 通用数据保护条例(GDPR)的基本操作原则与数据保护法(DPA)的基本操作原则类似,它为业务中的数据管理趋势和实践掀开新篇章。 英国信息专员伊丽莎白•德纳姆(Elizabeth Denham)认为,全球的企业应该学会处理GDPR法律中不必要的“威胁”,因为这只是向现有数据保护法律迈进的一步。标题为GDPR的文章将改变数据保护(以下是您需要了解的有关英国GDPR框架的讨论),旨在“协调”整个英国的数据隐私。 根据GDPR,每个国家都将受到监管机构的监督,任何披露、修改或破坏人民数据的行为都将被报告给监管机构。

  1. GDPR给数据收集机构增加了更多的义务。
  2. 对数据曾受到任何损害的个人,GDPR承诺将提升其数据权限。
  3. 在GDPR下,数据收集机构在分享数据之前必须征得个人的同意。

“电讯报”在题为“欧洲数据保护法”的文章中表示,个人数据监管法规将于2018年实施,企业需要从现在开始准备面对这个从DPA到GDPR的转变。 2018年的数据管理趋势似乎表明,到2025年,每年将产生180 ZB的数据。 这一预测暗示了大数据和先进的数据分析市场的发展,新的平台和工具可用于改进数据管理。

新的重点将是经过治理的数据质量,而不是数据量。

2018年数据存储趋势

以下是2018年数据存储实践的趋势预测:

  1. 闪存收入将在2018年保持高位,因为转换技术不仅得到持续优化,价格也有下降。可靠的闪存将减少对服务器的依赖。
  2. 闪存技术将升级以提升系统性能。
  3. 2018年的闪存市场突然扩大,可能会导致原料急剧短缺。建议企业采取必要措施提早购入,以避免后续遇到严重供应紧缩。
  4. 机器嵌入式存储呈倒退趋势,例如HCL的出售。通过HCL或戴尔,客户可以直接将存储嵌入在硬件基础架构中,从而不再需要单独的存储设备。
  5. “五步”分析解决方案将可以嵌入到存储系统中,供用户快速识别和解决问题。
  6. 软件定义存储(SDS)的出现,可以减少数据重复并提高存储效率。详情可阅读文章后面的“超融合基础设施”。
  7. 混合云存储解决方案——公有和私有云存储系统的混合使用可以提高存储效率,同时降低数据丢失的风险。

详细了解2018年顶级数据存储趋势请看这篇文章:Top 5 Storage Trends for 2018: What You Should Know.

利用大数据进行数据货币化

企业已经意识到“数据”是最重要的资产,所以现在已经考虑利用大数据等技术来资产化。随着企业不断收集大量设备数据、网络数据或客户行为数据,他们现在正在考虑通过在数据采集、存储、分析和部署运用相关先进的大数据技术,将这些数据转化为盈利的收入来源。大数据所带来的高级客户分析有望在未来帮助企业增加收入。阅读KD Nugget的文章“2018年大数据公司如何将数据货币化”?可了解详情。

DATAVERSITY的标题为“在数据货币化之路上需要注意的五件事”的文章中,作者进一步扩展了“大数据货币化”的概念,他指出,像Reltio这样的数据应用供应商,通过减少耗费在MDM上的时间和精力来增强数据可视化和数据分析能力,使得服务供应商可以通过这些平台来提供数据即服务(DaaS),这也是大数据货币化的另一个来源。

2018年大数据隐私实践趋势

  1. 由于有各种各样的流入渠道,大数据将在2018年构成重大隐私风险。
  2. 云计算供应商将在进行大数据项目之前接受审核。
  3. 虽然成本高昂,但私有云的使用可能仍然是企业的首选,因为数据相对安全。
  4. 将增加部门间孤岛中大数据治理,以确保满足适当的数据隐私级别。

请阅读以下文章以了解2018年上述大数据隐私实践的紧迫性:6 Big Data Privacy Practices Every Company Should Adopt in 2018

2018年数字营销趋势

客户数据是企业数据资产中最有价值的部分之一。 在2018年,商业用户会发现使用数字营销来管理客户数据有这样的主要趋势:

  1. 市场分析将更多使用人工智能赋能的解决方案。
  2. 机器学习指导的客户分析工具将用于客户细分。
  3. 内容营销的兴起是营销策略的核心区别。
  4. 用于理解客户的物联网分析兴起。

一篇题为“7大数字营销趋势2018年”的文章指出,2018年内容营销将处于业务活动的前端,主要用于个性化客户体验。 企业认为,通过阅读智能内容,客户在他们的记忆中保留了对“品牌的感知”。

2018年数据库管理趋势

由大数据、云、社交、移动数据和其他非结构化数据组成的复杂数据生态系统,使得数据库供应商需要增加诸如“制作数据图”之类的可视功能,使主数据管理(MDM)更加友好。 将社交或大数据与MDM整合将有助于更好地“对客户的360度观察”,一篇名为“主数据管理中的当代趋势”文章详细解释了这一点。 仍在努力将数据库迁移到云端? 可以查看DATAVERSITY的文章“在云中管理数据库:您需要知道的信息”一文,以帮助您规划迁移流程。这篇文章的目的是帮助您了解云服务提供商提供的典型迁移服务,使迁移过程顺利且成本低廉。