锐眼洞察 | 在企业中接受开放数据科学的5个技巧(翻译)

作者:Alice LaPlante

原文:5 tips for embracing open data science in the enterprise

译者:TalkingData 合伙人&执行副总裁 林逸飞

本译文禁止商用,转载请注明作者与来源!

企业不断寻求竞争优势。最近,重点是利用数据抓住机遇,发现可能的弱点,并胜过竞争对手。大数据尤其提供了多种方式来使用数据来推动战略、运营和执行实践。数据科学越来越成为实现这一目标的途径。

首先,定义:数据科学是一个多学科领域,将高级分析(包括机器学习和人工智能)的最新创新与高性能计算和可视化相结合,从数据中提取知识或洞察力。

数据科学的工具起源于科学界,研究人员利用这些工具来测试和验证包含“不确定的未知数”的假设。随着计算成本的下降和软件变得更加复杂,这些工具在过去的10年中逐渐进入了商业、政府和其他组织。

但是专有工具和技术已经证明不足以支持数据科学领域现有的速度和创新。进入开源社区。

开源社区希望摆脱专有工具的束缚,采用更加开放和协作的工作风格,这种风格能够反映他们的工作方式——团队遍布全球。这些社区不只是创造新的工具,他们呼吁企业使用正确的工具解决手头的问题。

开放数据科学是革命性的。它改变了组织处理分析的方式。借助开放数据科学,你可以提高数据团队的生产率,通过转向自助式数据模型提高效率,克服组织和技术方面的障碍来最大化数据价值。

采取开放数据科学,有五件事你可以去做:

1、全心全意采用开源。传统的商业数据科学工具发展缓慢,虽然稳定和可预测,但其中许多都是围绕着20世纪80年代风格的客户——服务器模型架构,不能通过网络访问接口扩展到面向互联网的部署。另一方面,开放的数据科学生态系统建立在标准、开放性、网络可访问性和面向网络规模的分布式计算的概念上。此外,开放数据科学工具是由分析师、工程师、统计人员和计算机科学家组成的全球性团体所研发,他们在该领域拥有丰富的实践经验。

这一全球团体包括数以百万计的用户和开发人员,他们迅速迭代当今最令人兴奋的算法、可视化策略和数据处理例程的设计和实施。这些部分可以高效且经济地扩展和部署到各种不同的系统中。

通过积极采纳并为这个团体做出贡献,成功部署的机会将成倍增长。

2、建立一支拥有多种技能的数据科学团队。成功的项目从聚集合适的人并通过可操作的方式把他们组织起来开始。开放的数据科学也一样,但所需技能的多样性可能会让你感到惊讶。诚然,数据科学固有地依赖于数学和计算机科学。传统上认为,一个人要想在数据科学领域工作,必须要有强大的统计学背景。然而,这些像独角兽一样稀有且神奇的“数据科学家”很难找到。此外,开放数据科学是现实有用的学科,需要一个包括业务分析师、数据科学家、开发人员、数据工程师和开发运维工程师的团队。

它还需要新的组织结构——卓越中心、实验室团队或新兴技术团队,都是促使团队成员推动变化的一种方式。这些团体通常负责积极寻找新的开放数据科学技术,并确定组织的适合性和价值。这有助于开放数据科学的采用,弥合传统IT和业务线之间的差距。另外,可能会有从统计学家到数据科学家、从数据库管理员到数据工程师的角色转变,新的角色(例如计算科学家)也将会出现。具有灵活性且拥抱多样性是十分值得的。

3、确保高管支持。这可能听起来像老一套的“IT项目需要高管支持”的说辞。但请记住,我们正在谈论的是在企业IT图景中为新兴世界腾出地方,在这个新兴世界中,开放数据科学与新的和现有的数据相连接,影响从普通的日常事务到重要的业务战略决策。另外,开放数据科学也会将新的不同类型的风险引入到组织中,这些风险可以通过适当的高管赞助来减轻。

4、准备动态支出。使用传统的分析软件,当你购买平台或系统时,你所有的支出都是事先决定好的。你全力以赴高效执行这一决策了一段时间。然后就你有所收获。这种静态投资与开放数据科学所做出的动态投资完全不同。

在开放的数据科学世界中,你将有更快运行和迅速完成事情的优势,因为开源软件可供用户免费下载并立即开始使用。无需等待企业采购周期。也不必等待商业软件的漫长升级周期,因为世界上最聪明的人才在不断为开源软件创新作出贡献,并且他们的努力立即可用。这绝对是一项优势。减少前期大规模规划和预算十分有必要。但是,随着需求和技术的发展,你必须不断做出新的决策和投资。这就要求在预算和采购方面进行一些组织流程的改变。

5、建立健全且合适的治理框架。开放的数据科学并不存在于真空中。你仍然需要控制组织中数据科学资产的创造、分享和部署。你为数据科学资产建立的用户权限必须与各种各样的企业认证系统(如LDAP、Active Directory和Kerberos)结合,以跟踪所有开放的数据科学活动。这包括访问特定版本的开源代码库和软件包的权限,以及由你的团队创建的特定版本的数据科学资产。另外,你需要建立完整的数据科学资产来源(例如数据、模型和应用程序),以实现监管机构或合规审查委员所要求的透明度。

当今的业务速度要求获得授权的团队对数据科学反应积极的合作,并且有对业务的深入了解,能够迅速传递价值。他们还需要正确的开放数据科学工具,而且愈加延展为一系列的编程语言、分析技术、分析库、可视化和计算基础设施。

开放的数据科学是真正的革命性的,并有可能改变我们所知的商业决策。

锐眼洞察 | 如果正确操作,人工智能可以变革零售体验(翻译)

作者:Greg Ng

原文:If Done Right, Artificial Intelligence Can Transform the Retail Experience

译者:TalkingData合伙人&执行副总裁 林逸飞

本译文禁止商用,转载请注明来源与译者!

在这篇特稿中,PointSource的数字化合作副总裁Greg Ng阐述了AI如何帮助公司根据每个客户的具体需求定制用户体验。 Gregory是一位在业界领先的创意总监、设计师以及直接效应营销员。作为该公司的副总裁,Gregory负责为客户开发新的数字产品,并与架构、开发和交付团队合作,以确保他们的长期成功。在加入PointSource之前,Gregory用了约20年的时间,专注于为一些世界大品牌(包括许多的财富500强企业)开发有效的、集成的、以结果为导向的营销方案。

十年来,以大数据为特征的人工智能(AI)已然成为一个显著的趋势。2013年以来,人工智能领域的投资翻了3倍。到2016年中期,基于人工智能的企业获得了近15亿美元的股权融资。显然,对包括零售业在内的各行各业来说,人工智能这项技术都将是一个游戏规则改变者。

当然,人工智能是一个宽泛的概念,涵盖了从科幻机器人到无人驾驶汽车的方方面面。对于零售商来说,这项技术带来的最重要的变化是个性化能力的提高。人工智能使零售商能够将大数据见解转化为可行的策略,如实时价格敏感度和量身定制的产品推荐。随着技术的不断发展,为个人消费者量身定制体验的想法变得更加现实。

但人工智能是复杂的,找到一个无缝的策略,平滑地将这些见解应用到用户体验中去,是件说起来容易、做起来难的事情。虽然人工智能驱动的个性化会彻底变革用户体验,但如果使用不当,它也会损害客户关系。在将这种技术纳入市场营销策略时,会出现一些可能损害用户体验的错误。

不一致的多渠道个性化

由于消费者通过多种渠道(桌面网站、移动应用、店内体验等)与品牌互动,因此当个性化将每个互动巧妙地联系在一起时,它是最有效的。虽然新技术能够使用数百万个数据点,但关键在于建立一个可创造平滑顺畅、全面体验的跨平台数字化框架。

将您的个性化策略类比呼叫中心来说: 无论客户与哪个呼叫中心联系,都应该从他提供的信息中得到相同的答复。由于不一致的答复对于零售商的呼叫中心来说不可接受的,所以同样的标准也应该适用于个性化策略。客户在某个平台上的行为应该告知整个客户体验体系。

例如,通过移动设备浏览零售商网站上的黑色毛衣,并随后在桌面端下单的顾客,不应在手机端不断收到该款毛衣的推荐。应当使整个品牌都了解到用户先前在某渠道上的行为及体验。

超出客户隐私的界限

虽然人工智能策略可以在品牌与顾客之间建立更亲密、更积极的关系,但是他们也可能走得过远。换句话说,执行不力的个性化努力可能令人毛骨悚然。

零售商应将每个用户触点视为登录点/签到。如果客户选择参与,那么这意味着零售商应该继续与他们分享个性化内容。如果他们不参与,零售商需要停下来并重新考虑他们发送的定制内容的类型和频率。这可能是个要退让的信号。

随着对技术侵入性的担忧加剧,零售商必须始终对界限保持敏感。如果顾客觉得零售商无视他们的隐私,他们很容易丧失对其的兴趣。随着科技的进步,零售商可以获得越来越多的有关顾客的信息,营销人员将不得不判定每个人的偏好,以免跨过界限走得太远。

糟糕的筹备以及无用的技术

在未来几年内,深度个性化将成为常态,落后的零售商将在市场上失去重要份额。认识到这一点,许多人都曾试图支持个性化策略,但由于数字解决方案的整合不佳而错过了机会。

一个主要原因是:许多零售商试图采取零碎的解决方案来避免昂贵的技术投资。没有人能回避这样一个事实: 一个具备人工智能功能的数字解决方案是要付出代价的。对于许多零售商来说,这意味着一种自上而下的数字化变革,而不是一种改进过时技术的肤浅的尝试。但是,数字化转型的投资回报远远超过了前期成本。放弃了必要的投资,零售商只会削弱他们的数字能力,使他们大大落后于竞争对手。

人工智能个性化的未来

尽管人工智能已经运用在零售商和消费者的日常互动中,但人工智能还在不断发展和提升。以亚马逊的数字私人助理Alexa为例。Alexa使用关键字和语音识别来执行各种任务,与用户个人信息相结合,它可以完成从播放音乐到在线订购等一系列任务。例如,询问Alexa泰国食物推荐的用户将收到基于地理信息和以往用户行为的个性化答复。虽然这清楚地展示了个性化所能做到的,但它还只是冰山一角。

随着更多的创新,下一代的Alexa可以对用户做出有更多细微差别的、微妙的答复。Alexa可以识别背景中的多个人,并推荐一个提供团餐的餐厅,它甚至可以识别语气中的细微变化。例如,这个助理可能会向不耐烦的顾客推荐以服务快捷著称的餐馆。

当然,这些只是AI如何改善数字化用户体验的一些例子。零售商和消费者面临的可能性是未知的,而且似乎是无穷无尽的。随着科技的进步,公司将能够把个性化用户体验做到行为发生的那一刻。

为了把握这种增长趋势,企业必须为全面整合人工智能做好准备。对其中一些公司来说,这可能意味着提高现有能力,统一全渠道战略。对于其他公司而言,拥抱AI将需要一个完整的数字化转型。无论哪种情况,零售商都需要现在就行动起来。

锐眼发现 | 混沌工程简介

作者:siddontang@简书

转载于:简书

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

最近看到 Netflix 的混沌工程的介绍,感触颇深。在 TiDB 里面,我们为了保证系统的健壮性,也做了很多工作。在内部我们开始叫做 stability test,后来进化成 Schodinger 平台。之前我一直苦于没有没法对我们做得工作进行归类,毕竟它可能是一个 test,但又比 test 做得多一点,现在知道,原来我们一直做的其实算是一门工程实践。

既然是工程,那么就会有方法论,也就能详细的归纳总结出来实施的步骤,这样后面的同学就能非常快速的学习掌握,而不会像我们之前那么漫无目的的探索了,但我们现在还做不到这一步,而且相比 Netflix,我们还有很多路要走。所以我打算深入研究下 Netflix 是如何做的,在想想如何提升我们自己的工作。

介绍

首先,我们需要知道,混沌工程到底是什么。根据 Netflix 的解释,混沌工程师通过应用一些经验探索的原则,来学习观察系统是如何反应的。这就跟科学家做实验去学习物理定律一样,混沌工程师通过做实验去了解系统。

image.png

上图就是混沌工程的典型代表 – 猴子。拜 Netflix 所赐,现在大部分的混沌工程项目都叫做 Monkey,也就是一只讨厌的猴子,在你的系统里面上蹦下窜,不停捣乱,直到搞挂你的系统。

然后,我们需要知道,为什么需要混沌工程。应用混沌工程能提升整个系统的弹性。通过设计并且进行混沌实验,我们可以了解到系统脆弱的一面,在还没出现对用户造成伤害之前,我们就能主动发现这些问题。

混沌工程其实是很重要的,但我之前一直以为混沌工程就是测试,但它们还是有区别的。虽然混沌工程跟传统测试通常都会共用很多测试工具的,譬如都会使用错误注入工具,但混沌工程是通过实践对系统有更新的认知,而传统测试则是使用特定方式对某一块进行特定测试。譬如在传统测试里面,我们可以写一个断言,我们给定特定的条件,产生一个特定的输出,如果不满足断言条件,测试就出错了,这个其实是具有很明确的特性。但混沌工程是试验,而试验会有怎样的新信息生成,我们是不确定的。譬如我们可以进行下面的这些试验:

  • 模拟整个 IDC 当掉
  • 选择一部分网络连连接注入特定时间的延迟
  • 随机让一些函数抛出异常
  • 强制 NTP 时间不同步
  • 生成 IO 错误
  • 榨干 CPU

这些试验到底会有什么样的结果,有些我们可以预料,但有些可能我们就不会预先知道,只有发生了,才会恍然大悟,有一种『喔,这也会出现!』的感叹。

原则

在开始应用混沌工程之前,我们必须确保系统是弹性的,也就是当出现了系统错误我们的整个系统还能正常工作。如果不能确保,我们就需要先考虑提升整个系统的健壮性了,因为混沌工程主要是用来发现系统未知的脆弱一面的,如果我们知道应用混沌工程能导致显而易见的问题,那其实就没必要应用了。

虽然 chaos 有混乱的意思,但混沌工程并不是制造混乱。相反,我们可以认为混沌工程是用经验的方法来定位问题的一门实验学科。譬如,我们可以思考:『如果我们在系统里面注入混乱了,这个系统会怎样?』,或者『我们系统离混乱的边界还有多远?』。所以,为了更好的进行混沌试验,我们需要有一些原则来进行指导。

假定稳定状态

在一个复杂系统里面,我们有特别多的组件,有很多不同的输入输出,我们需要有一个通用的方式来区别系统哪些行为是可以接受的,而哪一些则是不合适的。我们可以认为当系统处于正常操作时候的状态就是稳定状态。

通常我们可以通过自己测试,来确定一个系统的稳定状态,但这个方法当然是比较低效的,另一种更常用的做法就是收集 metric 信息,不光需要系统的 metric,也需要服务自身的 metric,但收集 metric 需要注意实时性的问题,你如果收集一个每月汇总的 metric 信息,其实没啥用,毕竟系统是实时变化的。现在市面上面有很多不错的开源 metric 系统,譬如我们就在用的 Prometheus。

当我们能收集到信息之后,就需要用这些信息去描述一个稳定状态。这个难度比较大,因为不同的业务是不一样的,即使是同一个业务,不同时间也可能变化很大。但也有一些方法,譬如我们可以根据前面一段时间譬如上周的 metric 的曲线得到一个大概合理的稳定状态,也可以自己做很多压力测试,得到相关的数据。

当有了 metric 以及知道稳定状态对应的 metric 是怎样之后,我们就可以通过这些来考虑混沌实验了。思考当我们注入不同的事件到系统中的时候,稳定状态会如何变化,然后我们就会开始做实验来验证这个假设。

变更真实世界事件

在真实的世界中,我们可能遇到各种各样的问题,譬如:

  • 硬件故障
  • 网络延迟和隔离
  • 资源耗尽
  • 拜占庭错误
  • 下游依赖故障

做混沌试验的时候需要模拟这些故障,来看系统的状态。但从成本上面考虑,我们并不需要模拟所有的故障,仅仅需要考虑那些会比较频繁发生,而且模拟之后会很有效果的。在 TiDB 里面,我们主要就是模拟的网络,文件系统的故障,但现在看起来还是不够,后面会逐渐的添加更多。

在生产中进行试验

要看混沌试验有没有效果,在真实生产环境中进行验证是最好的方法。但我相信大部分的厂商还没这么大的魄力,这方面 Netflix 就做的很猛,他们竟然能够直接停掉 Amazon 上面的一个 Zone。

如果不能再生产环境中试验,一个可选的方法就是做 shadow,也就是通常的录制生产环境的流量,然后在测试中重放。或者模拟生产环境,自己造数据测试。

自动化持续执行

最开始执行混沌试验,我们可能就是人工进行,试验进行的过程中,看 metric,试验结束之后,通过收集的 metric 在对比,看系统的状态。这个过程后面完全可以做成自动化的,也就是定期执行,或者系统发布的时候执行等。

如果能做到自动化执行试验,已经很不错了,但我们可以做的更多,甚至有可能根据系统的状态自动化的生成相关的试验,这个 Netflix 已经做了很多研究,但我们这边还处于初级阶段,没考虑过自动化生成的问题。

最小化影响范围

在进行混沌试验的时候,一定要注意影响的范围,如果没预估好,把整个服务搞挂了,导致所有的用户都没法使用,这个问题还是很严重的。

通常都会使用一种 Canary 的方法,也就是类似 A/B 测试,或者灰度发布这种的,在 Canary 集群这边做很多试验。也就是说,如果真的搞坏了,那也只是一小部分用户被搞坏了,损失会小很多。

在 Canary 里面还有一个好处,因为我们知道整个系统的稳定状态,即使不做混沌测试,也可以观察 Canary 里面的状态是不是跟之前的稳定状态一致的,如果不一致,那也可能有问题。

实践

上面我们说了相关的原则,那么如何开始进行一次混沌试验呢?其实很简单,只要做到如下步骤就可以:

  1. 选择一个假设
  2. 选择试验的范围
  3. 明确需要观察的 metric 指标
  4. 通知相关的团队
  5. 执行试验
  6. 分析结果
  7. 增大试验的范围
  8. 自动化

譬如对于 TiDB 来说,譬如我们可以选择验证网络隔离对系统的影响,我们会:

  1. 假设一台机器的网络隔离对整个系统不会造成影响
  2. 将一个用户一台 TiKV 进行网络隔离
  3. 观察 QPS,latency,等指标
  4. 通知负责这个用户的 OPS 同学
  5. 断网
  6. 一段时间之后分析 metric
  7. 在多个集群测试
  8. 将这个流程自动化

上面只是一个简单的例子,实际还会复杂很多,但通过这种方式做了操作了很多次之后,大家都会更加熟悉自己的系统。

混沌成熟度模型

这里在简单说说混沌成熟度模型,Netflix 总结了两个维度,一个是复杂度,一个就是接受度。前者表示的是混沌工程能有多复杂,而后者则表示的是混沌工程被团队的接受程度。

复杂度分为几个阶段:

  • 初级
    • 试验没有在生产中进行
    • 进程被收工管理
    • 结果只反映系统 metric,没有业务的
    • 只有简单的事件进行试验
  • 简单
    • 试验可以在类生产环境中进行
    • 能自动启动执行,但需要人工监控和终止
    • 结果能反应一些聚合的业务 metric
    • 一些扩展的事件譬如网络延迟可以进行试验
    • 结果可以手工汇总和聚合
    • 试验是预先定义好的
    • 有一些工具能进行历史对照
  • 复杂
    • 试验直接在生产环境中进行
    • 启动,执行,结果分析,终止都是自动完成
    • 试验框架集成在持续发布
    • 业务 metrics 会在实验组和控制组进行比较
    • 一些组合错误或者服务级别影响的事件可以进行试验
    • 结果一直可以追踪
    • 有工具可以更好的交互式的对比试验和控制组
  • 高级
    • 试验在每个开发步骤和任意环境都进行
    • 设计,执行和提前终止这些全部都是自动化的
    • 框架跟 A/B 或者其他试验系统整合
    • 一个事件譬如更改使用模式和返回值或者状态变更开始进行试验
    • 试验包括动态作用域和影响,可以找到突变点
    • 通过试验结果能保护资产流失
    • 容量预测可以通过试验分析提前得出
    • 试验结果可以区分不同服务的临界状态

而接受度也有几个阶段:

  • 在暗处
    • 相关项目不被批准
    • 很少系统被覆盖
    • 很少或者没有团队有意识
    • 早期接受者不定期的进行试验
  • 有投入
    • 试验被被官方批准
    • 部分资源被用于实践
    • 多个团队有兴趣并投入
    • 少部分关键服务不定期进行试验
  • 接受
    • 有专门的 team 进行混沌工程
    • 应急响应被集成到框架,从而可以创建回归试验
    • 多数关键系统定期进行混沌试验
    • 一些试验验证会在应急响应或者游戏时间被临时执行
  • 文化
    • 所有关键服务都有频繁的混沌试验
    • 大多数非关键服务定期进行
    • 混沌试验已经是工程师的日常工作
    • 默认所有系统组件都必须参与,如果不想进行,需要有正当的理由

如果按照这上面两个维度来看,我们其实做的并不好,所以还有很大的提升空间。

总结

上面就是对混沌工程的简单介绍,后面我会考虑依照混沌工程的原则,开始工程化的实践。虽然之前我们做过很多工作,如果能用理论开始指导,就能更进一步了。

锐眼洞察 | 数据治理2.0,数据是每个人的业务(翻译)

作者:Erwin CEO,Adam Famularo

原文:Data Governance 2.0, Data is Everyone’s Business

译者:TalkingData研发副总裁 阎志涛

本译文禁止商用,转载请注明作者与来源!  

译者注: 昨天的一条新闻提到习总书记开始就实施国家大数据战略要求中央政治局集体学习,可见大数据目前不仅仅是一个概念,而是已经逐渐的上升到国家战略的层面。而对于商业企业来讲,数据战略和数据的治理已经是很多公司一把手在进行推进的事情。在过去,由于数据是IT系统产生的副产品,数据治理都是由IT部门来承担的,而起作用仅仅是将数据存下来,如果有数仓的需求,就实施数仓项目,完全谈不上是战略性质的。而如今,随着数据治理的重要性的提升,我们也迎来了数据治理2.0,数据治理不再是IT部门的事情,而应该是企业中所有业务单元和IT一起来去参与的事情。这篇是ERWin的CEO发表的关于数据治理2.0的一篇文章,其中一些思想值得我们借鉴,也值得所有需要面对企业客户的团队去理解,方便未来与企业的沟通和交流,帮助企业向数据治理2.0迈进。

数据治理的1.0时代的特点是这样的,IT服务团队作为数据的管理者,负责组织数据元素,但是他们并不理解数据的含义或者它们的关系。因此造成的结果是控制数据的风险通常变得不必要的过高,并且丧失了提高业务灵活性的机会。数据治理意味着理解组织的数据资产——知道它们质量好,易于使用并且安全,使用它们不会将公司处于法律、声誉或者财务风险当中,并且使得企业更加的灵活。 现在,数据治理2.0的时代正在到来,这是一个在数据治理的协作业务当中每个人都会留下记录的时代。 组织越来越变成为他们所拥有的数据的总和,然而数据却并没有被当作他们的“鲜活的”战略资产来被对待。随着像GDPR这样的更加严格的数据法规的出台,人们越来越重视数字信任问题……而且随着企业希望通过大数据和分析来驱动追求新目标和应对新挑战,数据治理2.0走上了历史的舞台,它呼吁将数据治理视为与业务战略目标一致的战略来对待,而不仅仅是IT驱动的在一些点上去解决问题。 商业领袖和他们的团队是具备数据知识的那些人,没有他们在数据治理上的见解和参与,企业智能的去控制风险和开发新机会的能力将会严重的被削弱。 业务和IT应该一起去描述、制定、管理和社会化数据。 由于企业拥有数据,因此企业也就具有可能因为具有或者缺乏强有力的数据治理战略所带来价值或者问题。 具备正确数据质量的正确的数据,无论存储在何处或采用什么存储格式,都必须用于正确的目的;这需要信任数据。 如果决策是基于不正确的数据,这些决定可能会伤害企业。 业务和IT在数据治理战略中必须协作,这意味着:

  • 业务:定义各业务单位的术语表(例如“客户参考号”意味着什么样的信息)以及与其使用并且授权可见的相关的角色,规则,过程,系统数据流。
  • IT:定期的将术语表编纂为统一的状态的周期表,并将物理数据资产(数据库,文件,文档)映射和连接到术语表的周期表。 将数据发布给不同的人员意义/角色,并且使得数据对这些人或者角色有。 利用以上业务知识确定主数据集,审核并对遵守规则进行评分,发现风险,适当且经济高效地为数据流提供安全性。

那么谁来承担领导职责?在许多组织中,CDO是将数据治理战略思想带到桌面上的那个人。但是,让那些那些真正具有数据能力的利益相关者(例如CFO和CMO)来接受这个思想将是至关重要的。这不仅仅是因为他们拥有关键的数据以及具备分析职责,他们还能影响保证数据治理相关的预算是否能够持续。CDO还必须能够在数据治理的过程中,使得参与的业务和IT团队的成员的相关的知识结合在一起,从而发挥更大的价值。 一旦关键的业务领导者接受了你的想法,建设能够积极的支持治理数据资以及使得他们与业务能够保持一致的基础设施的工作就开始了。你需要一个能够编排和集成描述、制定、管理和社会化数据的解决方案,这个解决方案范围从企业架构(在展现业务能力依赖性方面发挥作用)、应用、数据以及支撑的基础设施到用于构建流程的业务流程建模,例如为了数据治理的审批流程。 最终的结果将是业务和IT知识的结合体,可以实现关联、架构、控制以及告诉你数据相关的知识。 通过战略性企业数据治理,任何关键任务的数据问题都可以被问及和解答,从而降低风险并实现业务目标。凭借他们对数据治理的共同参与和承诺,业务和IT部门将可以持续回报整个企业。

锐眼洞察 | Apple AI&AR 战略解读(翻译)

作者:CB-Insights

原文:本文为《Apple Strategy Teardown》报告的部分内容

译者:TalkingData解决方案架构师 Aaron Yue

本译文禁止商用,转载请注明译者与来源!

TL;DR

个人计算机的发展总是特立独行的,目前个人计算机领域正在寻找下一个“爆发点”,诸如医疗、AR、无人驾驶等等,同时个人计算机还保持这个消费类硬件产品的“领头羊”。随着AI战斗的打响,在智能手机增长放缓的情况下,苹果如何 能在这么多的“馅饼”中分得一块,如何重塑自己的第三次“暴涨”呢?

在需要方面,苹果仍然使用史蒂夫·乔布斯的形象塑造着公司:反传统的、精细的产品。但是如今,苹果正处在一个十字路口,在 CEO 蒂姆·库克 的领导下,苹果抓住了很多新兴的技术,但是也引发了很多新的问题。

首先,什么是下一个苹果?

为了寻找下一个浪潮,苹果显然是扩大到了增强现实技术和Apple Watch、 AirPods无线耳机等无线穿戴领域。苹果的HomePod扬声器系统虽然推迟了,但仍准备将Siri的足迹扩展到用户家中,并成为亚马逊巨作Echo设备和随行虚拟助理Alexa的竞争对手。

但接下来的“大单” – 在iPhone上成规模的成功和增长动力 – 尚未确定。是否是增强现实技术,医疗保健,可穿戴?还是其他?尚无定论。苹果公司一向以隐秘著称,企业的一举一动,都会带来各种的传言和流语。

苹果目前被任务正在开发增强现实耳机、车载连接软件、转型医疗设备和应用,以及智能家居技术和新的机器学习应用。

我们通过苹果的专利、收购、收益以及最近的产品发布和组织结构来挖掘, 暗示苹果如何进行下一次自我改造。

鉴于苹果的规模和知名度,我们不会覆盖其业务的每一个方面,也不会重复旧消息。但是我们关注的一些主要领域包括:
苹果公司通过增强现实和电池效率的可穿戴设备(包括增强现实眼镜)大胆打赌了后智能手机世界。

有强有力的证据表明,苹果公司正在再次积极地“蚕食自己”,把大量资源投入到消费技术领域, 这可能会使自己的iPhone过时。增强现实是公司最大的赌注。新的AR应用程序正在开发中,并且有新的证据表明AR眼镜也在开发中。苹果手表等可穿戴设备和AirPods等入耳式设备已经允许苹果的客户在没有iPhone的情况下拨打和接听电话。

库克表示,苹果公司的可穿戴设备业务规模已经足够大,可以列为全球财富400强企业。这意味着苹果手表和AirPods的年收入将达到$ 27B或更多。

同时,iPhone X背后的红外摄像头技术也可以支撑苹果未来的增强现实技术。苹果公司甚至将全息图视为可能的用户界面。

AI是苹果的一个致命弱点。

尽管苹果最近以大约2亿美元的价格收购了一些人工智能(AI)公司,并且在苹果公司2011年推出其虚拟助手Siri的初始领导下,苹果已经在机器学习,自然语言处理等领域割让给谷歌,亚马逊等等。苹果在这一领域的专利组合也相对较弱。 也就是说,苹果在过去的5年里已经完成了11个人工智能相关的收购,并且有能力设计自己的AI优化​​的GPU芯片 – 像谷歌和亚马逊等竞争对手所没有的。

无人驾驶汽车似乎已经消失,并转向了无人驾驶软件和技术,如光和测距探测传感器(LiDAR)。

我们深入了解了苹果汽车项目上的哪些信息,以便猜测苹果希望从一个曾经雇佣过几百人的项目中拯救什么。

苹果公司在媒体和娱乐领域正面临另一场艰苦的战斗。

虽然目前苹果的服务和媒体(包括应用程序商店,iCloud和苹果音乐)成为公司增长最快的业务部分,但是苹果也面临着一个优先领域的竞争:原创内容。与Netfix,亚马逊,甚至Hulu相比,苹果对原创内容游戏的推迟。考虑到苹果公司的1B内容预算,除了大规模收购之外,关键的招聘可能还不够。

也许令人惊讶的是,苹果的工作重点仍然倾向于硬件工程。

这引发了一个理论,即苹果越来越关注硬件服务。 即使有八万人,苹果仍在继续支持其硬件和软件工程。尽管公司越来越重视人工智能,服务和软件,但它仍然在硬件部门不多的情况下,招聘更多的硬件开发人员。

我们也看看苹果公司在网络安全,电池技术和医疗保健等常被忽视的领域的实力。

苹果公司显然希望通过Watch产品成为消费者健康和预防健康的中心。

目录

一、组织与重点

1、组织结构图

2、开放的工作列表分析

3、收益趋势

二、未来的定义举措

1、人工智能

  • AI并购趋势
  • AI专利趋势

2、增强现实

  • AR并购趋势
  • AR专利趋势
  • AR收益发展趋势与未来产品

组织与重点

苹果仍然是一个自上而下的公司,CEO控制了很大一部分

苹果依然是一个严格的自上而下的公司。史蒂夫·乔布斯团队长期信任的成员,现在的CEO 蒂姆•库克最初被聘请出康柏,以改造苹果破碎的供应链。

与乔布斯的风格相反,蒂姆·库克是一个“无情的系统家伙”,他通过管理业务中不起眼的部分而上升到了乔布斯的圈子里。

今天,乔纳森·伊维似乎已经掌控了苹果的设计主管,而乔布斯曾经担任过这个角色,库克则管理着其他所有事情。

根据苹果在其网站上的关键人物网页,蒂姆·库克有17个直接的报告,包括伊夫,首席财务官卢卡·马斯特里,首席运营官杰夫·威廉姆斯,以及各种SVP和副总裁。

苹果公司的领导者结构图:

截止17年11月16日

2.png

苹果的保密程度延伸到了组织内部,每个项目都需要一个可知基础。一个团队往往不知道其他团队正在做什么,并会故意将团队之间分开。前硬件主管乔恩·鲁宾斯坦曾对“商业周刊”说:“我们有单位,就像一个恐怖组织……一切都在需要在可知基础上。”

值得注意的是,苹果是一个“功能性组织”,这意味着它不会按照产品线划分自己。

以iPhone或Mac为例。相反,苹果是由功能组织的,所以菲尔席勒的营销组织负责所有产品和地域的市场营销。鉴于公司在软件和服务,电话和计算机硬件方面的多元化业务,这无疑又是一个笨拙的结构。

但与此同时,这种结构允许苹果保留所谓的创业心态。 (相比之下,在一个更传统的组织结构图的分公司中,产品副总裁可能会为了他们的工作而保留陈旧的产品。)

谈到并购活动,苹果的收购焦点集中在支撑当前的主导产品。在过去的十年中,这就是iPhone和iOS,正如Above Avalon的分析师Neil Cybart指出的那样,Mac曾经是同样的道路:

“从1997年收购NeXT开始的10年时间里,除苹果以外的所有收购都与加强Mac平台有关。虽然这可能不会成为当时苹果产品线的完全冲击,但值得注意的是,并购并没有被用于iPod或扩展到其他产品类别或行业。苹果然后经历了有限的几年 从2003年到2007年没有任何并购活动。虽然当时外界并不知道,但这个“缓冲区”最终成为iPhone发展的关键时期。自从获得P.A.在2008年半年,除了一次收购之外,每一次收购都集中在加强iPhone和更广泛的iOS平台上。这个新的iOS焦点引发了并购速度和购买公司所花费的现金数量的显着增加。”

根据2012年由Dan Lashinsky撰写的“Inside Apple”一书,内部的工业设计师们一直都是“不可撼动的”,但随着iPhone和iPad成长为公司最重要的产品,“公司最酷的团体成为了手机操作系统的软件工程师们。“但是,5年后,硬件工程师比苹果软件公司更受追捧。

苹果仍然在招聘更多的硬件工程师

截至2016年12月31日,苹果的直接员工人数约为8万人。为了了解希望增加人力资本的位置,我们最近从其网站收集了数据,打破了7000多个公开招聘信息

其中,硬件工程占有重要地位,约占34%。

其次是软件工程,约占28%,其次是销售(9%)和运营(8%)。

对于一家宣扬不断增长的服务业务的公司来说,竞争对手都在专注像AI和AR这样的领域工程师,苹果却专注于招聘硬件工程师,这有些令人惊讶。

苹果公司的开放职位列表:

截止17年11月1日

3.png

苹果最近做了几个关键的招聘。该公司说服了前巴宝莉(Burberry)首席执行官安吉拉•阿伦德茨(Angela Ahrendts)领导其零售店(现在它已经更名为“市政厅”,旨在将公司开放到更加现实和前瞻的位置) 。在六月份,该公司从索尼手中挖走了好莱坞的两位老兵,在Eddy Cue的带领下,将其价值达到了1亿5千万美元。

此外,据报道,苹果公司在以色列拥有1000名工程师,专门从事ARKit工作。

财报显示,苹果正专注于扩大市场, 如印度和新产品(Apple Watch & AirPods)

除了工作列表之外,我们还挖掘了苹果的年度财务情况,并突出了相关关键字,并使用不同的颜色表示了其重要性。在过去的5年中,iPhone是主导,以及其他主流产品iPad和Mac等。

报表中显示,多年来,经常提到像中国,巴西,俄罗斯和美国这样的地区,但在2017年,印度似乎成了一个新的焦点。苹果越来越期望像印度这样的新市场取得增长,在中国和美国等更成熟的市场中,增长开始放缓。

财报显示苹果最新的重点在新的市场和产品。

财报中最重要的关键字:

2009-2017年至今(11/17/17)

4.png

AirPods、Apple Watch和增强现实也越来越多地被提及。

苹果一直在强调其在“服务”(即软件数字购买和云服务)方面的强劲表现,其中包括苹果音乐。但是,正如我们在招聘和其他领域所看到的,硬件仍然是一个焦点。

随着手机普及率的提高,苹果应对“升级速度”的策略正在放缓,“高端”边缘市场成为另一个主题。在这里,苹果解释了iPhone的销售放缓以及为了赚取客户更多的收入。

与自称是人工智能第一的公司谷歌相比,Google经常在财报中提到人工智能,而苹果公司高管在财报中并不强调人工智能。

未来的定义举措

人工智能是苹果的致命弱点 – 公司正在转向并购以加强其人工智能能力

当揭开AI大战的帷幕,苹果似乎落后了。

根据第三方数据来源Verto Analytics的统计,去年苹果公司的语音助理Siri的使用率下降了,而亚马逊的Alexa的使用率却在增长。

苹果希望用HomePod扩大Siri的足迹 — Apple的HomePod本来是与亚马逊的Ech和Google Home进行竞争的开始。但本月早些时候,苹果公司宣布推迟HomePod,直到2018年年初(而不是2017年下半年)才会发布。

展开地说,苹果似乎有意地避开关于数据和人工智能的观点。对于如今很多公司,每一次用户交互都被抛入基于云的机器学习模型中,以帮助调整产品,比如在照片应用中标记照片。 Google照片被认为是面向消费者的一个主要的例子。

但是苹果已经采取了可能被称为“云计算”的方法,有利于在其设备上本地完成计算的模型,而不需要用户数据离开设备。

这在一定程度上是因为苹果主要从事销售设备的业务,而不是销售类似的广告空间像其竞争对手Facebook和Google试图尽可能利用云中的用户数据,以增加消费者对其平台的参与度。

2015年,蒂姆·库克(Tim Cook)承认苹果公司在隐私方面汇总用户数据的独特立场,指出:

“一些最突出和成功的公司,通过让顾客对自己的个人信息感到满意而建立自己的业务。他们正在吞噬他们可以了解到的所有信息,并试图通过这些信息进行货币化。我们认为这是错的。这不是苹果想成为的公司。”

不可避免地,苹果为了加强其产品已经向AI进行转变。今年,苹果公司推出了一款名为Core ML的新机器学习框架,该框架将为其iOS开发人员提供创建应用程序的能力,以利用机器学习实现更多的设备上的计算能力。Core ML还具有计算机视觉和自然语言处理能力,使应用程序可以标记照片和物体。

AI并购趋势

新的人工智能焦点已经在其并购活动中得到了回应,苹果公司已经成为人工智能创业公司第二大最活跃的企业收购者,过去五年共有11项与人工智能相关的收购。最近的交易包括苹果9月收购了图像平台REGAIND,并在5月份以2亿美元的价格收购了莱迪思数据。

即使只看最大型的收购,苹果公司最近也在机器学习的创业公司中的支出很大。

像Beats和Anobit这样的硬件公司已经获得了2亿美元以上的大笔收购,但在过去的两年里,Turi和Lattice都开发了水平AI,名列榜首。

苹果其他最大的收购项目包括半导体公司,包括Anobit Technologies,PrimeSense和AuthenTec。

苹果公司也正在为iPhone设计自己的基于GPU的机器学习硬件,在这个领域我们可能看到更多的收购。

苹果公司在设计专用芯片方面的优势,将随着英特尔,高通和谷歌等企业投入数十亿美元,推动数据中心和设备专用芯片的发展。

目前,芯片世界已经进入白热化,老牌企业和初创企业都在依赖知名的GPU制造商Nvidia。 苹果将设计的GPU添加到最新的iPhone上,显然是要在人工智能硬件上更加专注。 但是,这又是一个冒险,因为这需要软件和数据方面的成功。

AI专利趋势

苹果在寻求知识产权专利保护方面相当积极。最著名的是它拥有的专利,比如iPhone的包装和Apple Store购物袋等相对平凡的东西。

当然,个人专利可能只是一个潜在产品的早期草图。许多专利不等于产品。但综合起来,跨越数百项专利的活动可以揭示战略方向和重点。

按类别统计的苹果专利活动:

2009 至 2017年年初至今

5.png

 

有趣的是,苹果最大的专利部分是网络安全,自2009年以来,已经有533项专利。其次是AR / VR(253项专利),其次是无人驾驶车辆(72项)。

相比之下,只有少部分专利(22)专注于人工智能。
五大全球科技公司(市值最大的公司)之间的人工智能相关专利比较突出表明,苹果已经落后于其人工智能专利组合。

AI专利申请活动,苹果与微软、亚马逊、Facebook、谷歌 :

2009 至 2017年年初至今(17年11月10日 )

6.png

苹果的增强现实大赌注

今天,FaceID通过数千万的红外线来识别用户的脸部来解锁iPhone X,这是iPhone X最新的功能。

但是在回顾专利时,其实这个方向是清晰的。苹果在2015年拥有5项专利授权和2项面部识别专利申请。此外,2015年,苹果还收购了面部跟踪软件制造商Faceshift。

同样,今年苹果至少获得了两项专利,这些专利看起来似乎是iPhone X屏幕创新的关键:一个用于缩小设备的边界区域,另一个用于在显示器中嵌入指纹传感器。

以下是苹果公司的“使用面部识别锁定和解锁移动设备”的专利(2016年10月授予)与发布的最终产品对比图:

 

7.png

显然,苹果未来的发展方向并不是脱离专利和并购的赌注。考虑到我们所看到的数据,AR看起来应该是苹果公司的十字准线。

AR并购趋势

AR近年来一直是一个严肃的并购目标:可以说,苹果最近最重要的收购是PrimeSense,其红外(IR)技术首先在Kinect(一种用于微软Xbox的体感附加产品)内部引起轰动。正如科技公司指出的那样,最新iPhone的“刘海”基本上是一个缩小的Kinect,以用来启用FaceID。

虽然现在主要用于映射人脸,但iPhone X中的红外摄像头可以被未来的增强现实应用程序使用,以实现前向AR应用程序。例如,您可以将手机放在空地上,手机会将数千个红外点喷入该地区的轮廓,以呈现该地区的外观并自定义家庭元素。

其他AR / VR收购,如最近Sensomotoric Instruments的交易,一个AR头戴式耳机的计算机视觉公司,这可能是一个严重的饥饿扩大。早期的收购包括苹果收购FlyBy Media和metaio。同时面部识别采集(Emotient,RealFace和Faceshift)当然也可以有适用的技术。

值得注意的是,最近3000万美元收购Vrvana表明苹果正在追求AR头戴式耳机/眼镜。

Vrvana的耳机技术如下图所示,提供了AR和VR功能。到目前为止,它似乎是苹果第一个AR硬件(而不是AR软件)的收购,而且它的位置跟踪可以更快地加强ARKit。

8.png

AR专利趋势

苹果公司也正在寻找超越 iPhone物理屏幕的AR技术,例如在桌面上呈现全息图 。

下面的专利申请被称为“交互式三维显示系统”,该系统详细描述了一种系统,该系统可投影用户在空中操作的全息图像,而不需要特殊的眼镜来看它们。

这个应用程序于2012年10月被引导,并成为较大的AR应用程序的一部分,并提到了教育,医疗诊断和生物医学工程领域会作为可能的应用领域。

全息图形式的AR绝对是增强现实未来可能的方向。通过全息图AR将意味着投影机可以将图像投射到物理环境中(就像“星球大战”中的机器人一样)。

9.png

 

这样做,全息图可以消除消费者采用AR的障碍 — 笨重的头戴式耳机 。旧金山的创业公司Lightform已经筹集了近800万美元来实现这一愿景。

AR财报趋势和未来的产品

蒂姆·库克(Tim Cook)虽然经常对未来的产品感到不安,但他倾向于在采访和季度收益会议上预示苹果的举措。

为了了解将要发生的事情,我们使用CB Insights的收入记录搜索引擎,查看了公司收益财报中提到的技术和地域信息,并对它们进行了长时间绘制。我们发现:

  • 提到人工智能是最近才出现的现象,仅在16年第一季开始。
  • 自动驾驶车辆(AV)在2017年末首次被提及。
  • 到目前为止,AR / VR是我们研究的最受关注的部门,从16年第一季度开始就提到了33个提及。
  • 在最近的Q4’17会议上,AR / VR关键词被提及了15次,这使得它成为一个重大的赌注。

苹果财报分析:

AI / ML,AR / AV、可穿戴设备、医疗和网络安全的提及。

10.png

值得注意的是,苹果的AR耳机可能即将推出。不同的证据表明,苹果公司十多年来一直在研究虚拟和增强现实应用。而新的启示显示,到2020年,苹果将拥有一个独立的AR耳机。被称为“T288”的AR项目据报道由Mike Rockwell领导,这是杜比实验室的重要雇员,负责监督数百人。

该产品将拥有自己的rOS或Reality Operating System,这将是苹果移动平台的精神继承者。

在2017年6月的WWDC上,苹果首次公开发布了第一个主要工作,并推出了适用于iPhone和iPad应用程序开发人员的工具ARKit,并开放了名为CoreML的机器学习库。

在短短的几个月内,ARKit开发者已经发布了应用增强现实应用程序,可以通过iPhone 6S或更高版本到达任何苹果用户。今天,这一数字相当于381万部iPhone和设备,但到2020年,ARKit的足迹预计将达到8.5亿部。

据报道,在AR手机应用软件“Pokemon Go ”, 是AppStore历史上第一周下载量最大的软件。据说苹果还有1000名工程师在以色列进行ARKit相关工作。

现在已经有一个不断增长的AR应用程序生态系统,将iPhone变成可以说是体验增强现实最常用的设备。应用程序的范围从像宜家这样的家具零售商,让用户可以将家中的家具视觉化为儿童的教育游戏,将谜题投射到卧室的墙上,等等。

Cook在2017年初接受采访时表示,他认为AR是苹果的下一件大事:

“我认为这是一个像智能手机一样的大想法….我认为AR是大的,这是巨大的。因为那些是可以改善生活的事情,我感到兴奋和娱乐。我认为AR就像我在iPhone上看到硅片一样,它本身不是产品,它是一项核心技术。但是之前有一些事情要发现,技术对于主流来说已经足够了。”

库克也重申,“AR将会改变一切”。

根据苹果公司第四季度财报,App Store拥有超过1000款使用ARKit的应用程序。

但苹果也面临一些阻力。严重的游戏玩家和视觉开发人员绝大多数都是使用非苹果电脑来制作图形和虚拟现实体验。

一旦发布,苹果耳机肯定会与谷歌和好莱坞工作室支持的创业公司Magic Leap(自2011年以来一直专注于追求AR耳机)展开竞争。(Magic Leap或Apple都没有展示产品)。

此外,与竞争对手相比,苹果在AR / VR领域的专利组合虽然规模可观,但是微软,谷歌和Facebook在这个领域一直很积极,并且已经超过了苹果公司追求专利。

最后,虽然蒂姆·库克经常谈论增强现实,但虚拟现实大多被忽视。 Facebook的Oculus,Google Daydream和微软等公司已经开始为开发者社区开发耳机和手机,用于蓬勃发展的VR领域,而苹果似乎已经把所有的芯片都放在了AR上。

AR / VR专利申请活动,苹果与微软、亚马逊、谷歌、Facebook:

2009~2017年年初至今(17年11月11日)

11.png

锐眼洞察 | 银行创建网络末日系统(翻译)

作者:TELIS DEMOS

原文:华尔街日报12月4日报道

译者:TalkingData解决方案架构师 韩铭扬

本文禁止商用,转载请注明译者及来源!

75d8e9c5f217c53c6ace9db616da57aa169b552006f0891c6fa4e4b50769c7b7

 

 

美国各银行悄然启动了一项世纪末日计划,他们希望当其中某家银行遭受破坏性的网络攻击时,该计划将防止金融体系出现挤兑。

这个项目在今年年初正式启动,并称之为“庇护港”(Sheltered Harbor),其中涵盖了拥有约4亿美国账户的银行及信用社。项目要求成员公司单独备份数据,以便其他公司可以为某个禁用银行的客户提供服务。

当多数人担心自己的钱会被黑客偷走时,银行担心的是更加险恶的事情:攻击者会破坏、甚至锁定数据。

这样的举动可能会使一家银行瘫痪,使其在数小时、数天甚至更长时间内无法运营。如果人们突然无法访问他们在某家银行的账户和资金,其他银行的客户可能会感到恐慌,认为他们自己可能也易受攻击。这可能会促使客户预防性地把资金提取出来,在最坏的情况下,这会引发更广泛的银行体系挤兑。

“到目前为止,多数人认为网络攻击就像是信用卡被盗一样,”来自麻省理工学院斯隆管理学院的信息技术教授Stuart Madnick说道,“你现在谈论的是一场核攻击:如果你不能到一个ATM处并使其工作的话。”

尽管在9月份披露的Equifax公司遭黑客攻击事件中,数据只是被窃取而非损毁,但那起数据泄露事件提醒人们,消费者是多么的易受攻击。Equifax黑客事件泄露了大约1.455亿美国人的重要个人信息。

令银行感到尤其不安的是,政府可能难以平息黑客引发的恐慌。

美国联邦储备委员会(Federal Reserve)和美国联邦存款保险公司(Federal Deposit Insurance Corp.)等机构早就有致力于恢复对银行和金融体系信心的机制。这些机制包括美联储的贴现窗口(discount window),允许银行在困难时期借钱;以及联邦存款保险公司的存款保险担保,确保多数银行客户不会因为银行破产而陷入困境。

然而,这些机制是被设计来应对那些通常由于有关企业偿付能力或资金流动性的问题而引发的银行破产。他们并没有解决人们对于有一天ATM可能会因为网络攻击而无法使用的担忧。

美国官员长期以来一直承认,他们仍然担心金融数据受到攻击可能带来的信心影响,且发现难以为其做好准备。Donald Trump总统任命的下一任美联储主席Jerome Powell最近针对网络风险表示:“永远不会有任何我们已经搞定这个问题的安慰感。”

银行以及监管机构一直在努力制定对策。一种方法是进行“作战演习”,比如美国的量子黎明(Quantum Dawn),或者英国的唤醒鲨鱼行动(Operation Waking Shark)。

美国财政部在2015年进行的一项名为汉密尔顿系列(Hamilton Series)的演习中,银行家们了解到,即便是小银行的数据遭受破坏,也可能动摇人们对整个体系的信心。在非正式的“伙伴银行”(buddy bank)体系中,两家地方分行同意在发生危机时相互帮助对方的客户,但这不足以消除系统性的担忧。

尤其是对大型银行而言,这种经历强化了这样一个现实:尽管一些机构可以在网络安全上投入巨额资金,但如果整体可信度丧失,它们仍可能处于弱势。而且,利用小型银行促进数十亿美元移动支付或数字贷款的技术公司的激增,意味着任何机构都可能成为系统中的关键环节。“2008年时还不存在这种程度的对于网络攻击的脆弱性”,耶鲁大学管理学院教授Paul Bracken表示,他自上世纪90年代就与银行开发了作战演习场景。“问题在于如何处理…进入系统的新端口,”他说道。

“庇护港”是其中一种解决办法。这一项目的成员涵盖了从小型的、地方性机构到像美国银行、花旗集团和摩根大通这样的大型机构。其34人的董事会由各大银行、小型企业集团、行业协会、清算所、以及经纪商的代表组成。

该项目是由高盛的首席运营风险官Phil Venables和摩根士丹利的前首席运营官James Rosenthal策划的。两位现在是庇佑港的联合主席。

这样做的目的是确保每一家美国银行都有一些上世纪90年代以来规模最大的银行所使用的备份功能:在金库中保管,无论是数字化的或是实物,且在记录后不能更改。

为了参与,银行每年要支付基于其规模250到25,000美元不等的费用。成员必须遵循有关格式化数据、创建备份库以及提交审核的指南。目标是为了使备份数据在48小时内就变得可用成为可能。当然,任何防御都不是万无一失的。Madnick先生在MIT斯隆中心的网络安全组织(Cybersecurity at MIT Sloan)研究那些共享安全信息的行业集团。他说,这种努力在过去有成功的也有失败的,有时是因为规模较小的公司发现共享数据的成本太高。同时,备份也有可能遭到盗用。

“你必须确保备份副本不是基于已然混乱的数据的,”Madnick说道。

锐眼洞察 | 遵守这14条规则,做数据驱动而不是数据糊弄的市场营销(翻译)

作者:Scott Brinker

原文:14 rules for data-driven, not data-deluded, marketing

译者:TalkingData解决方案架构师 李堃

本译文禁止商用,转载请注明作者与来源!

Keep Calm and Use Data Wisely

保持冷静,并明智的使用数据。

我们正处于推崇大数据与抵制大数据的交锋中。一位营销人员某天晚上在Twitter上吐槽:“请大数据人滚出我的地盘”。

我承认,我对他的沮丧感同身受。但是我认为,通过恰当方式使用的恰当数据在现代营销中非常强大。正如我在一篇关于务实营销的文章中所写的那样,“在数字时代,仅仅依靠基于直觉的、经验驱动的营销决策是愚蠢的。”

但是我也得出结论:“对于大多数公司来说,明智的答案是平衡数据分析和人为判断。”

我最喜爱的全局营销(big picture marketing)专栏作家戈德·霍奇基斯(Gord Hotchkiss)最近撰写了一篇关于“在中间地带的市场营销”的文章,主张在市场营销中遇到争论与分歧情况时采用这种平衡的方法:

营销中没有绝对;中间地带是模糊不明确的。我们需要刺猬提供实现伟大营销的“大创意”,也需要狐狸引导我们成功的通过中间地带。事实上,我花在营销上的时间越多(为了避免成为“专家”而努力),我越是意识到中间地带才是有所行动之处:在定量与定性之间,在战略与大数据之间,在创意化品牌推广与直接营销之间,在科学与艺术之间。

(可以看这里快速了解关于“刺猬与狐狸”的含义,如果你还不熟悉这个比喻,简而言之:狐狸知道许多事情,但刺猬知道一件大事。)【译者注:可以理解为,狐狸为百科全书型,无所不知但缺乏深度;刺猬则为思想家型,见解深刻有但缺乏灵活】

那么,你需要知道哪些用好数据的基本知识呢?

本着平衡方法的精神,我衷心鼓励大家接受市场营销中的数据 – 但是这里有14条经验法则来保持数据的正确性、支持以数据驱动的营销的实用方法(并避免数据淹没或数据营销):

#1. 客户驱动 > 数据驱动

数据驱动的营销是好的。但是营销的目的是赢得客户(通过让他们拥有很棒的体验),因此,客户驱动的营销是更好的。当然,它们不必相互排斥。但一个是手段,另一个是目的。这提醒我们,在为了追求看上去漂亮的数据而掉进黑洞之前,停下来问问自己:“这对客户有什么好处?”

#2. 所有的数据并不相同

“数据结束争论”,可惜这并不是绝对真理。但是,在数据的包围中,想要找到支持争论中任何一方的数据都是异常容易的。但数据的准确性与相关性是不同的。这就是为什么在大数据的世界中,营销人员其实出乎意料的对我们了解甚少。更好的座右铭可能是:最准确和最相关的数据结束争论。但事实上,结束争论的是决策。

#3. 数据只是历史

数据告诉我们已经发生的,但并没有告诉我们会发生什么,尽管这与所有关于预测分析的夸大宣传恰恰相反。是的,我们应该从历史中学习。是的,我们可以从过去推断出趋势来预测未来,甚至可能是非常准确的预测。但世界在不断变化,历史的情况并不一定是今天或明天的情况。是的,弗吉尼亚有黑天鹅。事情并不总是这样。

#4. 数据总是不完整的

当然,任何一组特定的数据都可以是完整的。给我过去三年的季度销售数字:这是一个完整的数据集。但是真空中没有任何东西存在。当你依靠数据来做决策(这不就是我们的主旨吗?),你拥有数据并不是唯一与你的决策相关的数据。(“我们用我们拥有的数据进入市场,而不是所需的数据。”)总是有更多的数据,而我们无法拥有所有数据。认识到这一点有助于我们意识到,尽管我们所掌握的数据可能会描绘出一幅图画,但它至多是一幅印象派绘画。通常,它更像现代艺术。

#5。数据是客观的,但其收集和解释是主观的。

数据给出了客观性的危险幻觉。客观上,每个人都可以在电子表格中查看相同的数据。如果我告诉你的7净推荐分数,有没有说法,我展示你的号码确实是一个“7”。但是,什么是收集到的数据,当和如何它被收集,并从人几乎都是主观的选择。而另一方面,我们如何选择解释这些数据也是主观的。这篇关于大数据隐藏偏见的文章给出了几个很好的例子。它还引入了“数据原教旨主义”这个精彩的短语。

#6。任何一组数据都支持无数的叙述。

营销人员是讲故事的人,这通常是一件好事。数据可以用来使故事更具吸引力。但是,由于我们可以主观地选择如何解释数据,所以我们可以发明几乎所有我们想要的叙述。当然,有些故事比其他故事更可信。但是,这往往是模糊的线条。这就是所谓的归纳问题,几个世纪以来,科学家和哲学家一直在烦恼。不用说,没有简单的答案。但是保持观点是有帮助的:围绕数据提出的任何故事都不是唯一可以讲述的故事。

#7。策略是选择。良好的数据帮助我们做出这些选择。

我最近阐述了战略数据与数据剧院之间的区别,所以我不会在这里重复一遍。但是一个好的策略是做出选择的框架。反过来,好的数据是帮助我们做出这些选择的信息。不利于我们选择追求策略的数据是一种分心。

#8。实验是因果关系的黄金标准。

相关不是因果关系。每个值得他们用盐的数据科学家都会告诉你这一点。但作为营销者,它通常是因果关系,我们是后-我们想知道我们能做些什么,这将导致更多的客户做更多的生意和我们在一起。那么当数据显示可能揭示这种原因的相关性时,我们该怎么办呢?我们运行一个受控的实验。保持所有其他变量不变(尽可能实际可行)并测试替代方案以证明或否定我们的假设。Google每年运行超过10,000次这样的实验。这是您可以生成的最强大的数据,这就是为什么大的测试会比大数据更大的原因。

#9。观看仪表板,但也看着挡风玻璃。

我最喜欢Gord的一句话是这样一个很好的比喻:“量化是在开车的时候看着仪表盘。定性是看着挡风玻璃。“显然,我们应该做的两个。在实践中,我们在开车的时候自然地平衡了定量的(数据)和定性的(经验) – 至少我们大多数人都是这么做的。我们也应该在营销上争取同样的平衡。不要错过令人鼓舞的风景,或者迎面驶来的卡车,因为你被粘在仪表板上。

#10。数据的准确性和相关性随着时间的推移而衰减(并且通常很快)。

大多数数据的保存期限相对较短,特别是在市场营销方面。无论如何,在我搜索一辆新车的一周里,我将目标汽车广告投放在我身上 – 但六个月后,那些在市场上确定为汽车的数据只是过去的化石。有可能是知道我的一些值是在市场上的汽车,但相信我仍然是不值钱了。更没有价值,因为它可能导致你做出关于我的不好的决定。准确性和相关性使数据具有价值,但这些属性随时间而变化。

#11。数据可以用于探索(“why?”)或确认(“what?”)。

数据在被用于勘探和确认时应该被区别对待。通过探索,你正在寻找模式,见解,想法,发现 – 对新假设的启发。通过确认,你正在验证发生了什么(或不是)以及在多大程度上。然而,除非你确认了一个受控实验的假设,否则确认只会告诉你发生了什么,而不是原因。相同的数据可以在一个环境中用于确认,而在另一个环境中进行探索。知道你在做什么。

#12。有手表的人知道现在是几点钟。一个有两只手表的男人永远不会确定。

这个规则被称为Segal法则,这是每个营销人员应该知道的7项技术法则之一。世界充满了相互冲突的数据。任何曾经试图从两个独立网站分析软件包中获得指标的人都可以证明这一点。不同的工具将以不同的方式测量相同的现象 了解重大差异可能是值得的 – 理解差异的原因可能会产生有价值的见解 – 但是追逐每一分钟差异的回报会减少。在许多情况下,您不需要完全准确的数据,只需要足够准确的数据即可做出正确的决策。

#13。模型不是现实。

数据不是它声称代表的现实。充其量,这是对现实的反映,但是容易被扭曲(见上面的所有规则)。哲学家兼科学家阿尔弗雷德·科尔兹伯斯基(Alfred Korzybski)曾经说过:“ 地图不是领土”。当然,我们想要使用数据和地图。正如伟大的统计学家George EP Box所说:“所有的模型都是错误的,但有些是有用的。”但谨慎的做法是对代表性的正确性保持一点健康的怀疑态度。特别是,我们希望警惕其他迹象 – 数据之外 – 表明现实是不同的。按照瑞士军队格言:如果地图和地形不一致,请相信地形。(“地图显示没有clliiiffff …”)

#14。数据可视化可以照亮,混淆或分散注意力。

数据可视化 – 图形,图表,图表等 – 是一把功能强大但是双刃剑。到目前为止,这是我们人类看到数据模式的最有效的方法。不幸的是,无论是有意还是无意,它都可以向我们展示实际上并不真实的模式。伟大的数据可视化本身就是一门科学和一门艺术。我强烈推荐阅读Stephen Few,Kaiser Fung,Edward Tufte,Nathan Yau,FernandaViégas和Martin Wattenberg来磨练你的视觉读写能力。他们将为您的数据洞察工具箱提供一些最好的工具。

锐眼洞察 | 信息图说:食品在电子商务中占比增大(翻译)

作者:Fareeha Ali

原文:Infographic: Food takes a bigger bite out of e-commerce

译者:TalkingData解决方案架构师 张雪倩

本译文禁止商用,转载请注明来源与译者!

电子商务在美国食品与饮料的零售购买总额中只占了很小比例——2016年约为3.2%。但网络食品市场是电子商务中增长最快的类别之一,去年增长了32%,而且越来越多的消费者愿意网购食品。2016年,网购杂货的美国家庭从2014年的19% 增长到了23% 。下面是美国网络食品业的主要数据与分析。

网络食品行业概览

网络食品市场远未达到其他行业电子商务的渗透水平,如服装行业。但食品行业的规模却比其他行业大的多,因为杂货市场非常庞大——根据美国商务部的报告,有超过7万亿的市场,即使是蛋糕上的一小块也意味着很多钱。2016年,网络食品饮料销量同比增长了31.5%。随着6月份亚马逊收购了Whole Foods(全食),这一零售巨头不仅有可能使更多的顾客接触到线上食品购买,它还撼动了已经在快速增长、变化的市场。

食品市场比_翻译.jpg

行业领导者

圈圈_翻译.jpg

 

*气泡的大小打包线上食品销量,销售商种类分为零售链、仅线上销售以及邮购/电话购物。

迅速增长_翻译.jpg

餐包销售

vfdkxckvjfdk_meitu_6.jpg

餐包(译者注:半成品净菜)公司运送事先搭配好的食材和家庭烹饪说明,是增长最快的线上食品零售商。在过去的几年中,尽管面对来自创业公司越发激烈的竞争,Blue Apron一直引领着餐包市场。但对于Blue Apron和其他行业领导者来说,抵挡住新入者亚马逊仍是一项挑战。

领导者_翻译.jpg

 

文中商家:

  • Blue Apron:2017年上市
  • Amazon:悄悄地上市了餐包服务,仅在西雅图
  • Hello Fresh:宣布了上市计划
  • Plated.com:2017年9月被Albertsons收购
  • Chef’d:从Campell Soup和Smithfield Pork处筹资

将来,购买和准备食材将会十分灵活,甚至会高度自动化

——Campbell首席执行官Denise Morrison评论本公司对餐包公司Chef’d的1000万投资时说

 

*数据来源:2017 Internet Retailer Online Food Report, Cowen & Co., One Click Retail, U.S. Commerce Dep

 

锐眼洞察 | 为何需要数据来优化客户旅程(翻译)

作者:James Ovenden

原文:Why You Need Data To Optimize Customer Journey

译者:TalkingData解决方案架构师 张雪倩

本译文禁止商用,转载请注明来源与译者!

 

译者注:客户旅程( customer journey),是客户与公司或品牌交互体验的集合。客户旅程记录了客户的完整体验,而不仅仅是着眼于一次交易或部分体验。 

随着顾客的选择范围越来越广,客户旅程(Customer Journey)前所未有的重要。确实,在Salesforce最近的一项调查中,88%的顶尖营销团队说他们认为客户旅程对他们整体营销策略的成功至关重要。顾客与组织互动的渠道如今极为多样,追踪全部渠道本身就是一项工作。然而,更重要的是让顾客参与其中,并且每一步都驱使顾客购买并建立持久的关系。

要做这件事,组织就必须深度理解顾客的行为和各个渠道有何不同——例如他们在哪里离开、又通过哪条路径实现购买。他们还需要保持高度个性化来保证顾客一直参与。在最近Econsultancy与IBM联合开展的一项调查中,76%的调查对象说他们希望企业理解他们的需求,80%的说品牌并不把他们当做个体来看,只有35%的人说他们喜爱的品牌推送的信息与自己有关。

为此,多年来企业总是着眼于数据,检查历史数据以寻找相关模式,作为依据来划分受众并针对性使用营销素材来触达他们。通过像Google Analytics这样简单易懂的免费软件来分析和监控跨渠道路径,企业可以洞察行为模式相似的人群,还可以识别出曾经不被察觉就流失的机会。

预测分析再上新台阶。使用预测分析可以帮助预测顾客的下一步、流失的可能性和对特定产品或提议的兴趣。这本质上使得顾客旅程对实时事件的反馈个性化了,这样可以采取针对性措施,无论是通过发送某些促销邮件还是保证它们在实时聊天中被推送到队列前端。

在顾客旅程中成功地使用了预测分析的一家公司就是在线拍卖商eBay。比如,如果有顾客在购买之前放弃了购物车内物品,eBay就会发一封邮件委婉地提醒顾客商品还在那里。他们还用数据来发现有趣事件,既在网站上又在社交媒体上显示顾客可能会关心什么、个性化搜索结果和交易。这甚至根本就不需要产品在他们的搜索记录中出现过就能做到。如果这些人的浏览历史与其他购买过某一产品的人的相似,eBay就会知道这些用户很有可能也对它感兴趣,并依此对他们进行营销。他们还能从这一产品上明白他们想要什么。如果算法判定你是可能在寻找比如说鞋子的那类人,它还会根据家庭收入和购买历史等标准,判断出你可能想要的风格、品牌和愿意花多少钱。

然而,这还是存在隐患的,市场人需要保证不要做的太过分。当从一个渠道到另一个渠道,每次看到的都是同样的鞋品广告,感觉上就像被一双Nike鞋跟踪了。PayPal顾客体验与电子分析师Kuntal Goradia最近和我们说道:“顾客分析行业因丰富的信息而强大,不光是他们的浏览记录,还有他们的习惯,包括去了何地,喜欢在哪吃饭,在哪购物,每天走路、跑步多少,每天睡多少个小时,和谁出去玩……我们中如此多的人都用Yelp、Open table、Uber、Lyft、Amazon、Fitbit、Apple Watch和Facebook,我们难以想象没有智能手机的生活。这些公司大部分都在使用数据来创造和优化已成为我们生活中必不可少一部分的产品。但与权力相伴随的还有义务,十分遗憾的是,有些企业利用其为自己谋利。我们的监管法律跟不上创新的速度。作为一名消费者,我们必须对分享在网上的东西采取预防措施;作为商业领军者,我们需要不断推动保护消费者的法规。”

Capital One的数据科学高级经理Douglas Daly也赞同并表示:“只要数据是用来服务消费者的,深度分析是好事。然而,必须十分小心保证这些深度分析的安全性和与消费者之间的沟通,以防产生尴尬甚至更糟糕的结果。”这都没错,但并不应成为放弃使用数据来优化客户旅程的担忧,而是需要注意的事情。没有数据,客户旅程将会一团糟。

锐眼洞察 | 西班牙电信如何利用IoT和大数据建设智慧城市?(翻译)

作者:Bernard Marr 

原文:How Telefonica Is Using IoT And Big Data To Build Smart Cities

译者:TalkingData副总裁 高铎

本译文禁止商用,转载请注明来源与译者!

译者摘要:

智慧城市实施的关键

  1. 选择城市治理的关键维度(如交通还是环保);
  2. 研究清楚这个行业里面如何收集和共享数据;
  3. 规划相对好的交互平台(分析和可视化)来提供服务(如市政当局可能需要很好的可视化管理平台,而个体需要类似App这样便捷的体验)。

随着社会上各领域IoT的不断推出,我们个人和商业生活中在线设备日益增加,数据互联和共享的能力越来越强,“智慧城市”的概念正在迅速变为现实。

“智慧城市”一词,可以理解为IoT的一部分,涉及公民和市政基础设施,从公路运输到垃圾收集或配电系统。智能化技术和开放数据可以改善公民决策、优化民主选举等。

西班牙电信在这个概念上投入了大量资金,并推出了一些试点项目,许多项目正在西班牙本土城市发挥作用。

他们的智慧城市全球产品经理Sergio Garcia Gomez, 解释了如何在智慧城市中识别六个关键维度:停车位、路灯、垃圾箱、环境、交通和旅游。

这些都是城市管理的领域,通过现有或易于部署的基础设施,结合IoT方案,快速提高效率。

“我们创建了一个基于开源标准的智慧城市平台,汇集了城市众多服务的来源,将个体和公共数据混合在一起。”

“重要的是,这显示了一个城市如何从一个高效的城市,转变为一个真正智慧的城市,这些都是智慧城市在西班牙以及欧洲开始发展的典范。”

“在废物管理中,所有垃圾箱上的传感器都会实时报告垃圾箱被填满的进度,从而更有效地分配资源来清空他们。这也意味着,核心指标(PKI)与时间的影响会更紧密地联系在一起——有多少箱子接近溢出,在接下来多长时间内会被清空。而不是先前可以监控的形式化变量,譬如道路上的垃圾清理车数量。”

Garcia Gomez 认为这“改变了城市服务的方式,服务提供商可能会有若干关键指标要求(KPI),他们必须满足才能拿到相应奖金。”

智慧城市的另一个优势,是“可以创建不同应用程序,让不同的人群使用可用的工具和数据。这种情况下,公民可以使用应用程序标注邻居溢出的垃圾箱,或墙上的涂鸦。可以设定目标,来评估承包商以多快的速度纠正,并以此评估结果付费。”

传感器数据还可以和开源的人口数据结合,“譬如可以评估60岁以上的人因为垃圾箱溢出受到的影响?80岁以上的人是否会多走一公里?这些给了城市管理更好的信息,以便更好的为公民服务。”

如通过使用监控停车位的传感器,来监控智慧城市的停车场。这意味着,可以实时获得城市的停车密度信息,有助于灵活设置停车费,从而实现更均匀的停车分配,减少拥堵和污染。

空气质量和污染水平也可以通过旨在帮助管理环境的平台进行实时监测。来自这些监测站的数据以及天气数据,可以用于决定何时应该实施高速公路限速措施,以阻止某个区域的污染水平恶化。

交通领域的数据也在进入西班牙电信的智慧城市项目。交通运动传感器实时报告车辆通过的速度,并实现灵活的停车费率和智能标识,帮助市民规划一天的行程。这一方案正在通过与英格兰高速公路的合作扩大到英国。

智慧城市基础设施不应该只帮助本地居民,也应该帮助到游客。可以借助西班牙电信在马拉加和巴萨罗那的部署,监测景点的游客数量水平以及人群和个体的移动。这样可以了解哪个国家的人最可能参观哪些景点。有了这个数据,就可以制定计划,为游客游览城市提供更顺畅的旅游体验。

“某些国家的游客会前往城市的不同地方,当Sagrada Familia排起长队的时候,如果你希望让游客有更好的体验,可以知道何时何地推广其它没那么受欢迎的景点。”

西班牙电信使用CARTO平台,根据收集的开放和个体的位置数据,提供分析和可视化服务,成为智慧城市的重大举措。

智慧城市讨论了很久,西班牙电信通过上述方案表明,它们正在迅速变为现实。开发新的数据模型去测量和提升效率的关键,是学习垂直行业之间如何共享数据。正如在行业里发生的那样,一个开放和协作的数据集,以及对应的分析方法,能够帮助组织提升效率,对于依赖基本服务的市政当局来说,情况也是如此。