构建公开、透明的数据营销生态

构建公开、透明的数据营销生态

如今各行业快速发展,营销者对于达成即时效果面临越来越多的压力,而前瞻性长期战略更变得越发困难。在急速变换的市场环境下,今日之法未必明日有效。短期战略虽被证实即时效果,但那些具有实效性长期战略的品牌却可以在不断演进的形势中游刃有余。因此,洞见长期品牌战略,对于营销者更具价值。

另一方面,营销者对全链路营销各阶段数据的“不可见”性,也致使营销者失去了指挥棒和方向标,那么如何“构建公开、透明的数据营销生态”是当下营销者们所关心的问题,在这样的背景下:

大中华区艾菲奖《效看十五载︱洞见长期品牌战略》主题论坛于2018年6月7日正式举办。在《公正、公开、透明的营销数据是品牌实现出众成果的基础 》圆桌讨论中,SAP大中华区品牌、赞助和数字营销高级营销总监全戟坚、PHD(宏盟集团)总经理徐平(北京办公室)、LinkedIn 领英中国广告营销总经理蔡晓丹、TalkingData副总裁高铎,就“营销数据透明化”、“大数据营销技术”及“影响一个优秀广告Campaign的核心因素”这三个方面进行了解读:

如何构建透明化营销数据?

TalkingData 高铎:首先更正一下,在广告界,TalkingData早在2012年就推出了移动效果广告监测产品,帮助诸如滴滴出行、摩拜单车等客户优化广告质量。但是品牌营销领域,TalkingData在2017年才发布相应产品,的确是个新兵。

我们要先明白以前的营销数据为什么是不透明的?主要体现在以下几个层面:

1)在TA选择上不透明;

2)在TA触达上实际上转化为媒体触达,也不可见;

3)在TA评估上不是全量评估,是Panel来评估,譬如用10万的人口属性Panel来评估10亿的曝光数据,基本上不可信的;

4)还有评估技术的落伍,譬如对投放区域的评估,大多还是用IP,实际上IP作弊很容易,目前用其它LBS手段都能规避IP位置作弊问题;

知道了哪些地方不透明,就容易理解类似TalkingData这样第三方平台的价值,可以在这几个环节发挥作用,真正做到TA的选择,TA的触达,TA的触达评估和评估方法,都是透明的可见的。

LinkedIn 领英中国蔡晓丹:要想真正的打造一个公开透明的营销环境,为广告主创造最大价值,需要圈里每个人的努力。而这对于媒体来说,也是重要的元素。 对于LinkedIn来说为客户提供真正价值才是企业走到最后的基础。

PHD 宏盟集团徐平:当下,研究广告效果是一个 Campaign 不能忽视的问题,数据的有效与真实性是大家需要共同面对的问题。虽然不同行业与品类的标准不一样,但从数据维度依然可以分为前端数据与后端数据两个层面。举个例子,快消品,IT等电商是他们销售是重要的平台,通过电商数据可以看到ROI等数据进行深入分析;再如,B2B客户比如空中客车,与2C的目标人群不一样,这种则更依赖于客户一方数据,和第三方数据进行分析。

透明化数据营销技术 推动广告精准营销

SAP 全戟坚:我们知道大数据营销、精准营销最大的推动力就是技术,正是有了新技术的应用,才让很多可能性得以实现。TalkingData是个技术见长的公司,你认为什么样的技术和什么样领域,会更好的帮助广告行业的数据透明化?

TalkingData 高铎:提到透明化数据营销技术,还是要结合一些具体应用场景回答更为直观:

  • 譬如,有些汽车广告主,会考核线上曝光和线下到店,这个时候通过数据连接不同场景的技术就非常重要,TalkingData会提供ID Mapping的能力,帮助广告主打通线上曝光数据和线下到店数据,真正做到线上投放线下评估。
  • 再如,有些快消类广告主,自己拥有的第一方用户数据非常少,需要找到更多潜在用户群体,这时候可以根据广告主的一方数据构建数据模型,做Look-alike,帮助广告主找到更多潜在用户。我们发现不同行业、不同场景,甚至不同区域的Look-alike算法在输入维度上都是有差异的,这时候灵活的适用多个场景的Look-alike技术就非常重要;
  • 另外,伴随着各类刷量、流量和劫持羊毛党等作弊现象,导致营销数据不透明,TalkingData有一套经过实践验证的防作弊技术。如有些刷机墙,不停的刷点击或曝光行为,其实缺少人的行为数据,通过姿态识别算法就很容易判断这些流量是虚假流量;再如有些投放其实是投放北京市的,一些流量渠道拿其它区域的流量来冒充北京的流量,就可以通过LBS技术很容易识别出来。

如何策划、评估一个优秀的广告Campaign?

SAP 全戟坚:您认为什么样的Campaign是一个好的Campaign?当我们去计划一个广告Campaign,应该如何从数据的角度入手?

TalkingData 高铎:“TalkingData是一家以数据及基于数据的智能为主业的公司,所以在TalkingData的眼里,一个好的Campaign,是可以用数据说话的,具体讲就是在选择TA、TA分析、TA触达、TA评估、TA优化的全流程里面,都有数据的参与,都有数据作为重要的决策辅助。”

PHD 宏盟集团徐平:“Campaign前期规划、中期优化、结束后做检验,简而言之成功的Campaign在于“正确的时间、正确的地点,用正确的方法把正确的信息,传达给正确的消费者,达到媒体目标及KPI.”

LinkedIn 领英中国蔡晓丹:“营销数据魅力在于收集、沉淀和再利用的长远的价值,每次营销数据的沉淀,分析和洞察,为企业运营、产品改革及商业化决策上有一定指导。”

关于TalkingData

TalkingData 成立于2011年,是国内领先的第三方数据智能服务商。借助以SmartDP为核心的数据智能应用生态为企业赋能,帮助企业逐步实现以数据为驱动力的数字化转型。

技术专栏 | 深度学习与智能手机,那些被人工智能所改变的……

深度学习旨在升级智能手机的大脑

在大多数的广告行业当中,人们喜欢巨幅的宣传海报、带有耀眼光泽的宣传品以及各种前沿高科技的东西。当听见虚拟现实技术让曾经的摇滚明星以全息图的形式出现在舞台上时,所有人不禁心头一震,其中包括那些代理商们。

每个人都想方设法在新科技冲击的浪潮中,寻找爆点,以赚取名利。但目前人们的耳朵里已经听到太多的技术名词了,反而成了某种累赘,失去了诱惑力,比如深度学习的东西。

深度学习是机器学习的一个子集,目的是教会计算机在声音、图像和其他数据中找到某种规律或者模式。虽然乍看起来这并不能让普通人甚至那些营销人员兴奋起来,但事实是,世界上的科技巨头们:Facebooks、Apples、Googles、Netflixes、Microsofts、百度等等,都为此投入了大量的资金。例如,据报道,谷歌在2014年花费超过5亿美元收购了深度学习公司DeepMind。再例如百度是中国科技巨头,在硅谷和北京都开设了深度学习和以人工智能为中心的研发中心。而苹果公司也在大力聘请深度学习方面的专家。

为什么深度学习会如此火热?因为深度学习技术可以让你使用你的指纹解锁手机,它使Facebook和政府机构能够在图片中识别你的脸,这有助于Siri和Alexa了解你到底在说什么,广告商正在试验使用深度学习来计算有多少路人会抬头观看广告牌,自动驾驶汽车也正在使用深度学习来避免路障和行人等。

随着技术能力的发展,深度学习很快将会做的更多。未来学家们已经在考虑新的(有时是反乌托邦式的)它可以用于营销策略的方式,应用程序开发者们也越来越多地开始通过深度学习来增强图像和进行图像识别了。

至少在20世纪90年代以来,深度学习已经就作为一个学术研究领域而存在。但是由于其需要强大的计算和数据处理能力,鉴于当时的硬件限制,导致了创新的局限性。

随着硬件和软件技术的不断发展,到2010年初,学术界和一些企业开始尝试通过深度学习进行更多的实验。然后就像互联网一样,猫图像识别改变了一切。 2012年,Jeff Dean和Andrew Ng带领的Google研究团队将16,000个计算机处理器连接到一个神经网络自学成识别大量静止图像数据库中的猫的图像。

“结构化数据难以聚类,成本昂贵,但它是监督学习(最常见的机器学习)的基石,”位于洛杉矶的人工智能公司GumGum的计算机视觉技术主管Cambron Carter说。“Ng,Dean等人设法训练一个网络,从原始的YouTube缩略图中识别出猫,脸和人性化的结构,“

在谷歌取得突破之后,Facebook、IBM和微软等公司的团队都取得了进一步的发展,使得深度学习更便宜,更容易融入消费者的科技产品和服务中。

例如,百度2016年发布的研究报告使用人脸识别而不是门票来参加活动,Alexa的语音数据为亚马逊打开了一个丰富的新数据缓存。营销和广告公司已经在使用深度学习技术来推断Instagram图片和YouTube视频等数据。

深度学习军备竞赛

然而,深度学习的广泛应用并不容易,即使是上市的Google、Facebook和微软等公司也很关心如何将深度学习深入到他们目前的产品以及他们未来规划的研发中。

但是,大多数情况下,只能从公开的研究论文、会议演讲等方面获取一些零碎的知识,能够为未来深度学习的应用提供一些思路。例如自动驾驶汽车、虚拟现实、帮助盲人浏览世界、文字翻译、场景讲述等等。

Nvidia是一家硬件公司,其图形处理单元(GPU)由于深度学习的兴起而销售旺盛,在其网站上列出了用于识别图像中使用的字体的Adobe DeepFont,到国家中心适用于超级计算应用,可实时检测数百万英里外的引力波。

从根本上来说,深度学习可以让电脑做它们已经在做的事情,并且会更好。巧妙执行的深度学习算法意味着系统可以识别哪些车在Instagram照片中最常出现,或追踪观众观看电视广告多久才会感到厌倦。

由于机器学习专家群体相对较小,大型科技公司一直对其深度学习研究一反常态。鼓励百度,Facebook和微软等公司的研究人员发表论文;即使是超级诡秘的苹果公司也出版了自己的机器学习杂志。

苹果和其他供应商正在尽全力帮助软件开发者将深度学习功能集成到应用程序中。例如,微软提供免费的Cognitive Toolkit,据微软称,该工具包旨在通过让用户创建、训练和评估自己的神经网络来帮助创建企业级AI。该工具套件已经加速了一家中国公司AdDoc的野外空间数据分析,AdDoc技术可快速检测糖尿病并发症的发病情况。

智能手机=AI超级计算机?

摄影记忆,即时艺术作品,即时翻译,逼真的虚拟现实等等都会到你的口袋里。

在新的iOS 10/11中,神经网络人工智能在拍摄每张照片的十分之一秒内执行110亿次计算,以找出他们是谁,甚至是他们的心情。iOS10+的新照片应用程序只是越来越多的手持式人工智能的最新例子。 Aipoly发布的一款应用,可以识别物体并大声说出名字,以便让失明的人看到。只要将相机指向需要翻译的文字,Google翻译就可以将其翻译成你自己能看得懂的文字。而越来越多的应用程序嵌入了人工智能,让你的智能手机更加的智能化、人性化。

移动设备的发展也正在向着更加智能化发展,即将发布的某款手机,直接使用了人工智能芯片,让整台设备成了一个微型、但是快速的人工智能平台。可想而知,在不久的将来,人人都手持着一台人工智能计算机,时刻都在进行着人工智能活动。而更加智能化的应用程序正在改变着人类生活的各个方面。

我们将迈入一个全新的智能化时代,也将面临更加严峻的安全考验。让我们拭目以待。

从问题了解Jetty类加载机制

1、问题导出

由于机器的原因,将服务从一台机器迁移到另外的机器上,在迁移后,接受邮件请求,并将其发送出去的邮件基础服务 messages 不可使用了。现象就是服务仍旧可以接受请求,但不能异步的将邮件正常的发送出去,并报有以下错误。

image.png

针对以上错误,经过分析并查找原因,最终确定为是由于迁移后的jetty容器使用的是容器自带的 javax.mail.glassfish-1.4.1.v201005082020.jar,Jetty 容器优先加载容器中 lib 下的 javax.mail.internet. MimeMessage,而该类下,没有相应的方法,并且 WEB-INF/lib 下的 jar 包中类不能覆盖容器下 jar 包的类。

2、问题分析

image.png

那么有相应的方法,为什么还会报这样的错误:java.lang.NoSuchMethodError: javax.mail.internet.MimeMessage.setFrom(Ljava/lang/String;)V?最终怀疑是容器的问题,于是查看了所使用的 jetty 容器。

当前版本使用的 jetty 容器,比原来版本容器的 lib 下多个 jar 包:javax.mail.glassfish-1.4.1.v201005082020.jar,将该 jar 包下载下来,发现该包里面包含有相同的类,如下图所示:

image.png

MimeMessage 类,也确实有 setFrom 方法,但是没有参数是 String 的 setFrom 方法。

image.png

这说明 jetty 容器优先使用了容器中 lib 下的 jar,而非 WEB-INF/lib下的 jar,那么为什么优先使用 jetty 容器中 lib 下的 jar 包,而非 WEB-INF/lib 下的 jar 呢?

3、Jetty中lib下jar先于WEB-INF/lib下的jar加载

Jetty,Tomcat 等 web 容器通常都会对 ClassLoader 做扩展,因为一个正常的容器至少要保证其内部运行的多个 webapp 之间:私有的类库不受影响,并且公有的类库可以共享。这正好发挥 ClassLoader 的层级划分优势。Jetty 中有一个 org.eclipse.jetty.webapp.WebAppClassLoader,负责加载一个 webapp context 中的应用类,WebAppClassLoader 以系统类加载器作为 parent,用于加载系统类。不过servlet 规范使得 web 容器的 ClassLoader 比正常的 ClassLoader 委托模型稍稍复杂。下面我们先看一下关于 servlet 容器的 JSR 规范。

JSR 规范

Jetty 是 servlet 容器,这里查了一下 JSR315 servlet 3 中对 web application class loader 的要求:

Web Application Class Loader:

The class loader that a container uses to load a servlet in a WAR must allow the developer to load any resources contained in library JARs within the WAR following normal Java SE semantics using getResource. As described in the Java EE license agreement, servlet containers that are not part of a Java EE product should not allow the application to override Java SE platform classes, such as those in the java.* and javax.* namespaces.

不允许应用去覆盖 JAVA SE 的系统类

That Java SE does not allow to be modified. The container should not allow applications to override or access the container’s implementation classes.

不允许应用覆盖或存取容器的实现类

It is recommended also that the application class loader be implemented so that classes and resources packaged within the WAR are loaded in preference to classes and resources residing in container-wide library JARs. An implementation MUST also guarantee that for every web application deployed in a container, a call to Thread.currentThread.getContextClassLoader() MUST return a ClassLoader instance that implements the contract specified in this section.

每个应用调用 getContextClassLoader()返回的都应该是实现了本规范中定义的 class loader。

Furthermore, the ClassLoader instance MUST be a separate instance for each deployed web application.

每个应用的 class loader 必须要是独立的实例。

The container is required to set the thread context ClassLoader as described above before making any callbacks (including listener callbacks) into the web application, and set it back to the original ClassLoader, once the callback returns.

源码阅读

通过对 JSR 规范的理解,下面我们来阅读一下 Jetty 容器的代码实现,了解一下关于 JSR 规范的部分实现:

1、  系统类

Jetty 中以类的 package 路径名来区分,当类的 package 路径名位包含于以下路径时,会被认为是系统类。WebAppContext 中配置如下:

image.png

因此,我们可以通过 org.eclipse.jetty.webapp.WebAppContext.setSystemClasses(String Array) 或者 org.eclipse.jetty.webapp.WebAppContext.addSystemClass(String) 来设置系统类。 系统类是对多应用都可见。

2、  Server类

Server 类不对任何应用可见,Jetty 同样是用 package 路径名来区分哪些是 Server 类。WebAppContext 中配置如下:

image.png

我们可以通过, org.eclipse.jetty.webapp.WebAppContext.setServerClasses(String Array) 或 org.eclipse.jetty.webapp.WebAppContext.addServerClass(String) 方法设置 Server 类。 注意,Server 类是对所有应用都不可见的,但是 WEB-INF/lib 下的类可以替换 Server 类。

3、自定义 WebApp ClassLoader

当默认的 WebAppClassLoader 不能满足需求时,可以自定义 WebApp ClassLoader,不过 Jetty 建议自定义的 ClassLoader 要扩展于默认的 WebAppClassLoader 实现。这里我们来看一下 WebAppClassLoader:

WebAppClassLoader的构造器:

image.png

WebAppClassLoader 还是按照正常的范式设置 parent ClassLoader,如果当前线程上下文中设定了 ClassLoader 就以当前线程上下文类加载器为父 ClassLoader,否则使用 WebAppClassLoader 的加载器,如果还没有,就采用系统类加载器。详细的加载过程请看 WebAppClassLoader的loadClass() 方法:

image.png

通过阅读源码,我们了解到,当在容器中启动一个服务的时候,容器的 jar 包和 class 文件加载顺序是:

  1. 优先加载 JDK 和 JRE 所需的 jar 包和 class 文件
  2. 加载容器所需的 jar 包和 class 文件
  3. 加载项目路径 /WEB-INF/class 下的文件
  4. 加载项目路径 /WEB-INF/lib 下的 jar 文件

注意:同一个文件夹下,jar包是按顺序从上到下依次加载

这里列举了启动一个 tomcat 服务的时候,jar 包和 class 文件的加载顺序:

  1. $java_home/lib 目录下的 java 核心 api
  2. $java_home/lib/ext 目录下的 java 扩展 jar 包
  3. java -classpath/-Djava.class.path 所指的目录下的类与 jar 包
  4. $CATALINA_HOME/common 目录下按照文件夹的顺序从上往下依次加载
  5. $CATALINA_HOME/server 目录下按照文件夹的顺序从上往下依次加载
  6. $CATALINA_BASE/shared 目录下按照文件夹的顺序从上往下依次加载
  7. 我们的项目路径 /WEB-INF/classes 下的 class 文件
  8. 我们的项目路径 /WEB-INF/lib下的 jar 文件

4总结

通过以上分析,对于该问题的最终的解释就是:jetty 容器中 lib 下的 jar 包先于 WEB-INF中lib 下 jar 包加载,而且 WEB-INF/lib下的 jar包中类不能覆盖容器下 jar 包的类。

证券行业移动App行为数据研究的商业价值

证券行业的客户金融交易渠道正在转向移动互联网,客户证券投资和财富管理服务将主要发生在移动App,其将成为客户的主要入口和金融产品主要发布场所。

证券企业如果想赢得未来市场、赢得客户,取得在金融市场的领先优势,就必须了解客户对金融产品的需求,重视客户的交易行为和互动行为数据。

利用数据提升客户体验,提升移动互联网端的数据和业务运营能力,具有同互联网企业一样的技术能力和迭代速度。重视用户的移动端行为数据将成为证券行业未来在市场成败的一个关键。

证券行业过去主要分析交易数据、资产数据、产品数据、人口属性数据。典型数据应用有数据库营销中的关联分析和交叉销售。交易数据对营销具有较大的商业价值,特别是老客户经营。例如某些产品的客户复购率较高,利用交易数据可以进行多次营销,降低营销成本。

行为数据相对于交易数据具有不确定性大的特点,行为数据更关注客户的兴趣偏好,更适合用于了解客户体验和用户潜在金融需求。利用App行为数据进行营销,具有范围广、预测性强等优点,缺点主要在于其营销的业务转化率不太稳定。考虑到潜在的目标人群基数较大,即使是较低的转化率,其转化的目标客户也会很多。

曾经在一个案例中,利用资讯推送来影响客户进行投资,转化率接近40%,大大超出了预期。一般行为数据营销的转化率低于10%,集中在1%-5%之间。如果低于1%的转化率,这个基于行为数据建立的营销方案将会被放弃。

行为数据的场景应用是建立在场景化标签之上的,基于App内部行为的场景应用来源于具体业务目标,例如证券App中的绑卡入金、购买理财、股票交易、基金买卖,贵金属购买、关注收藏等。

No.1 行为数据分析有助于加速产品迭代和提升客户体验

App行为数据包含浏览、点击、评论、交易等几类,可以通过App的按钮和事件埋点进行提取。经过异常值处理和数据去噪音之后,就可以进行分析和应用。移动互联网企业BAT等巨头,其产品和用户体验的竞争力就是来源于行为数据的分析和应用。

过去证券行业人员可以通过线下的营业网点来接触客户,利用同客户面对面的交流,了解客户的金融产品需求和用户体验。现在客户几乎不再去营业场所,或者去证券营业部的客户年龄都较大。光大银行曾做过统计,经常到营业网点办理业务的客户,平均年龄为52岁,说明年轻客户基本上很少去网点办理业务。

而年轻客户正是证券行业主要的客群,未来将会成为证券企业的主要收入来源。证券企业如果想了解客户的金融需求和用户体验,其主要的方式就变成了分析App的行为数据,这也说明了研究分析App行为数据的重要性。

在互联网企业中,App运营团队有一个重要的职责就是每天分析App的行为数据,主要是因为行为数据代表了客户对产品的喜好。基于对App行为数据的分析,互联网企业的产品经理可以及时调整产品,进行产品迭代,快速满足客户对移动产品的需求。互联网企业产品迭代完全基于App行为数据的分析结果。

客户在App的点击行为和浏览数据,辅以时间维度分析和漏斗分析,可以真实反应客户体验情况。互联网企业的运营部门参考这个数据可以分析客户喜欢哪些产品、广告、活动等,反之亦然。利用行为数据分析,运营部门可以实时了解客户体验情况,及时调整运营活动和产品布局,围绕客户需求来提升客户体验。移动互联网时代,客户体验比产品本身更加重要。

证券行业一直想学习和掌握互联网企业的竞争优势,特别是在产品迭代和用户体验提升两个方面。行为数据分析为证券行业产品迭代和体验提升提供了技术支持。证券企业完全可以深度分析App行为数据,利用行为数据分析结果来进行产品迭代和用户体验提升。

例如,证券行业可以通过分析App的点击热力图,来了解客户喜欢哪些功能,客户很少点击的功能就可以及时下架。参考AB 测试的数据来分析客户更加喜欢哪些功能,基于客户点击喜好进行App的功能迭代和用户体验提升。证券行业还可以依据客户DAU、留存时间、打开次数等行为数据,了解客户对App的体验反馈,留存时间增加和打开次数增多反映了用户对App的喜爱程度的增加。实时反馈的行为数据可以及时让证券行业了解体验情况并及时进行产品迭代。

证券移动App的行为数据具有直观、实时、客观等特点。基于行为数据的分析对于了解客户体验和产品偏好具有重要意义,是证券行业产品迭代和用户体验提升的基础数据,证券行业必须重视对其的研究和应用。

No.2行为数据研究有助于提升券商互联网运营能力

互联网行业有一句经典的话,三分产品七分运营,好的产品不是设计出来的而是运营出来的。互联网运营的基础就是行为数据的分析,运营团队借助行为数据的分析实现运营能力的提升。

证券企业希望学习互联网企业的数据运营能力,其主要体现在对数据的分析和应用能力,包括基于数据的产品运营、渠道运营、用户运营、活动运营等。这些运营能力是建立在数据分析和应用基础之上的,其中行为数据应用能力是其重要组成部分。

产品运营的核心工作就是产品优化,包括UI/UE与产品框架,以及内容建设、产品维护、用户维护、活动策划等。用户需求不断变化,需要对产品进行持续的迭代完善才能满足用户需求,没有运营则无法时刻洞察用户需求变化;运营是让产品持续产生产品价值和商业价值。行为数据是产品进行优化的基础,基于行为数据中的点击数据和浏览数据,运营团队可以了解客户对UI和产品的喜好、对内容的关注、对活动的反馈,依据行为数据分析进行产品迭代和优化,行为数据是产品运营的重要参考。

渠道运营是指利用资源和流量为产品带来新增用户,包括免费、付费、换量、人脉积攒、产品的吸引力、圈内人的推荐、策划活动、内容营销、用户口碑等手段。互联网线上渠道发展比较野蛮,鱼龙混杂。特别是移动App推广市场,不但流量贵,而且充斥虚假流量。参考《TalkingData发布的2017年移动互联网行业发展报告》,在某些高峰时段,一些渠道的虚假流量超过了50%,也就是说至少有一半的点击和下载是无效的,广告推广费用是浪费的。曾经在某一个特殊时间段,TalkingData移动广告监测平台Ad Tracking在一天时间内统计到24亿次点击,其中90%的点击是恶意刷量。

券商利用App的行为数据可以有效分析出哪些渠道效果好、真实流量比例高,哪些渠道效果差、虚假流量明显。通过对行为数据的分析,还可以判断出哪些是真正的客户,哪些是一次性客户,哪些是羊毛党客户,哪些是有效客户。通过App渠道分析数据,券商可以降低广告投放费用,提升线上获客质量,提升广告获客的ROI。行为数据是渠道运营的重要参考指标,通过App渠道数据的分析,可以提升券商在移动互联网渠道的运营能力。

用户运营指以用户为中心,遵循用户的生命周期价值点和用户产品需求设置运营活动与规则,制定运营战略与运营目标,严格控制实施过程与结果,以达到预期所设置的运营目标与任务。用户运营最直接的价值,就是提升用户金融产品的复购率、提升单客价值、激活休眠客户、挽留流失客户、发现潜在客户等。证券行业面临较大的挑战,包括休眠客户比例过高、客户单客价值不高、流失客户明显等等问题,都可以通过行为数据分析找到解决办法。

例如,通过客户点击和关注的数据,了解客户资讯需求,主动推送相关资讯,激活休眠客户。利用点击和浏览行为数据趋势分析,及时了解客户流失倾向,结合客户产品喜好和兴趣爱好,定制激励方案,挽回流失客户。行为数据可以直观反映出客户兴趣和喜好,为用户运营提供方案支持,具有非常大的参考价值。

券商如果希望在产品运营、渠道运营、用户运营等方面具有与互联网企业同样的技术和运营能力,就需要重视行为数据的分析和应用。

No.3行为数据应用是券商业务智能化发展的基础

证券行业智能化发展是必然趋势,一方面是智能化应用的技术条件已具备,例如数据处理能力、模型算法能力、专业人才储备;一方面是券商所面临的经营成本高、效率低、客户服务覆盖率低等问题,都可以通过智能化应用来解决。

证券行业智能化应用的广义涵义,是借助工具平台和智能应用来解决具体的业务问题。这些业务问题,可能是个人投顾无法直接服务全体客户;可能是传统电话客户服务成本高、效率低,客户体验不好;可能是内部流程效率较低,无法满足客户变化的金融需求;也可能是投研和投顾人员缺少可以服务客户资讯平台等。

证券行业智能化应用狭义的应用领域,包含智能投顾(机器人理财)、智能客服、智能资讯推荐、智能投研数据平台、智能数据应用平台等。其主要解决的还是效率问题,本质还是券商服务的自动化和智能化,可以提升客户体验和降低服务成本。

证券行业智能化应用的一个前提是海量数据,包含交易数据和行为数据。但是这些数据不是原始数据,而是经过业务专家标注的、具有业务价值的数据,可能是标签数据、归类数据和分析结果数据。

行为数据对于智能应用具有较大的商业价值,例如在智能客服中,客户的行为数据代表其产品和风险偏好,智能客服可以基于这些处理过的行为数据,为客户打上标签。基于行为数据进行客户分群或分层,智能客服将参考这些行为数据定制客户服务内容,直接有效地为客户提供金融产品服务。借助于行为数据标签,智能客服将会缩短服务路径,直接切入客户喜好,提升客户体验,提高服务效率。

例如,如果行为数据揭示客户倾向于港股交易,智能客服在服务时就可以侧重于港股资讯。如果客户有融资融券倾向,智能客服就可以提供相关介绍和激励措施。如果行为数据揭示客户倾向投资能源板块,智能客服就可以提供更多的能源资讯,为客户投资提供参考。

智能投顾的原理是参考客户投资风险偏好和投资兴趣,为客户定制投资组合,在一定风险可控的前提下,获得一定的最优收益。行为数据可以支撑智能投顾中客户的投资偏好洞察,通过对客户点击、浏览、关注等行为数据的分析,券商可以了解客户的投资兴趣偏好。

例如客户点击股票所属的板块、关注的交易板块、浏览的资讯,这些行为都可以在一定程度上反映客户的投资兴趣,经过一定分析和加工之后,可以作为标签类数据输入到智能投顾平台,作为智能投顾推荐投资组合的参考信息,有助于提升智能投顾的客户体验和客户购买转化率。

券商移动App行为数据具有intention属性,代表了客户内心的需要,也可以认为是客户理性行为和感性行为的综合,其中感性成分更高一些。中国的投资客户,大部分体现为理性投资客户,但是在进行证券交易时往往体现的是感性一面。因此研究行为数据有利于了解客户心理行为,也就是客户感性行为。行为数据经过加工处理之后,可以表现为标签数据,结合业务场景和交易数据,帮助券商更加客观了解客户金融需求。

券商可以针对客户的兴趣爱好,提供相应的智能资讯和投研报告,协助客户作出更加客观的投资决策。行为数据结合相应的资讯,可以缩短客户决策周期,提升客户交易积极性,有助于提升客户交易额和交易频度。例如,通过行为数据的分析,推送客户关注股票板块的资讯,通过不同组客户测试,发现收到资讯的客户其交易下单率高于非收到资讯客户30%,而收到相应板块资讯的客户其交易下单率高于非收到相关资讯客户50%。

总之,对移动App行为数据的分析和应用可以帮助券商加速产品迭代和提升客户体验,建设与互联网企业同样领先的运营能力,并为券商智能化应用提供具有较高商业价值的数据,推动券商智能化应用的发展。

相关阅读:

搭建三级标签体系,提效证券App运营

三大方面、两个案例,解析用行为数据提升证券App用户体验

咨询专栏 | 券商App行为数据驱动核心业务优化

小米即将上市的背后——2018 第一季度移动智能终端市场报告

2018年一季度,移动智能终端市场走向如何?安卓设备用户又在哪两个品牌之间流动?TalkingData推出《2018一季度移动智能终端市场报告》,回顾一季度移动设备市场概况,分析安卓设备用户换机行为。

中国移动智能终端规模已达14.5亿

2018年一季度,中国移动智能终端规模增速有所回升,终端规模已达14.5亿台。

一季度移动智能终端市场格局整体稳定

2018年一季度,移动智能终端市场格局整体保持稳定,TOP10品牌排名未发生变动。苹果仍然以29.01%的份额占据榜首位置,OPPO以12.59%的份额成为国内安卓厂商领头羊。

苹果与OPPO贡献最多高份额机型

单款机型表现上,苹果品牌保持领先优势,iPhone 6、iPhone 6s、iPhone7 Plus包揽了机型市场份额前三位。机型市场份额TOP 20中,苹果品牌占据9款,OPPO占据6款,两家贡献了最多的高市场份额机型。

2017下半年发售机型为主要增长点

2018年一季度,机型市场份额保持增长的主要还是2017年下半年发售的机型。在机型市场份额增长TOP 20中,有14款发布于去年下半年,有5款发售于去年上半年。

一线市场苹果领先,安卓品牌深耕三线

在设备活跃城市层级分布中,苹果用户中一线、二线城市的占比要高于其他品牌。而安卓品牌用户分布主要以三线及以下城市为主,一线及二线城市占比最高的安卓品牌为华为及三星。

OPPO、vivo品牌同质化影响换机选择

2018一季度安卓设备换机用户中,华为用户中有71.9%、小米用户中71.6%仍会选择本品牌,二者的品牌忠诚度最高。相似的定位促进了OPPO和vivo之间的用户流通,OPPO用户换机时有24.8%选择vivo,而vivo用户换机时有27.4%会选择OPPO,在跨品牌换机中占比最高。三星用户中的54.5%在换机时不会再选择三星,品牌忠诚度在安卓TOP5品牌中最低。

小米、三星品牌吸引力主要集中在老用户

2018一季度安卓设备换机用户中,小米手机81.6%的用户、三星手机68.1%的用户为品牌老用户,对于其他品牌用户吸引力较低。华为手机用户中有超过35%来自于OPPO、vivo、小米三大品牌,品牌影响力在提升。魅族在OPPO、华为、vivo、小米换机人群品牌来源中平均占比接近3%,用户流失较为严重。

典型机型换机分析:OPPO R11s

换入OPPO R11s的用户中,49.8%来自OPPO本品牌,50.2%来自其他品牌,其中来自vivo、小米的用户占比之和达到30.6%。换入OPPO R11s的机型来源中,OPPO R9排在首位,机型来源TOP10中有8款为OPPO机型,品牌内机型升级是主流。

小米智能家居已成品牌形象标志

一季度换机安卓品牌忠实用户中,小米用户对于家居类应用的偏好要远高于OPPO和华为,小米智能家居已成为了品牌形象的一部分。

OPPO忠实用户更关心个护美容,而华为忠实用户更关心房产与商旅出行,与其成熟商务形象相符。

技术专栏 | DMap——实战Vue百万条数据渲染表格组件开发

作者:TalkingData 李志刚

本文由TalkingData原创,转载请获取授权。

李志刚:近几个月在开发一个基于Vue的数据可视化分析辅助应用———DMap(谛听),一套为数据分析师和数据科学家提供的基于位置大数据分析的工具,旨在提高数据分析效率,降低获取多数据并行分析成本,简化大屏和数据报告开发制作流程。其UI组件使用的是iView,地图可视化库使用的是inMap,服务端使用Node.js搭建。

DMap的核心就是服务大数据分析,所以当面对几万几十万甚至百万级别的数据时,性能优化是一个具有挑战性的问题。今天我就拿项目中一个表格渲染的优化为例来展开介绍。

在前端开发中,用表格来展示数据是再平常不过的了,当数据量较多时,我们通常的做法是使用分页,如果数据量不算太多只有两三页,我们大可以把全量数据获取下来,在前端做简单的分页展示。当数据量再上一个等级时,我们就需要根据页数向服务端请求这一页需要的数据。但是DMap作为助力大数据可视化的分析工具,我们需要将全量的数据在前端做展示,而为了提升用户体验,我们在表格的展示上决定不做分页,也不做懒加载,而是像Excel那样可以无缝隙的滚动。

在Web中,长列表渲染的性能问题已经有一些成熟的方案,表格和长列表相似,当渲染的行数达到一定量时,滚动就会变得卡顿,所以我们使用了虚拟渲染的方案,就是只渲染用户所能看到的区域的一小部分数据,然后通过滚动来计算显示的数据,和上下占位元素的高度。

通过这个图可以对原理有个大概的了解,接下来说下计算上的细节。

首先我们需要监听表格外层容器(也就是显示滚动条的元素)的scroll事件,在scroll事件绑定的方法中我们只做一件事,那就是获取外层容器当前滚动了的高度scrollTop的值。我们的所有计算,包括三个表格位置的替换、表格数据的选取、上下占位元素的高度的计算都与scrollTop相关。

下面是scroll事件的绑定的方法:

handleScroll (e) {
      const ele = e.srcElement || e.target;
      const { scrollTop, scrollLeft } = ele;
      this.scrollLeft = scrollLeft;
      this.scrollTop = scrollTop;
    }

我们只需要在这里把scrollTop和scrollLeft的值赋给vue实例对应的值,然后我们用watch监听scrollTop的改变,如果更新了,就来计算当前处于可视区域的表格索引号currentIndex:

(注:左右滑动即可查看完整代码,下同)

this.currentIndex = parseInt((top % (this.moduleHeight * 3)) / this.moduleHeight);

这的top就是更新后的this.scrollTop的值,moduleHeight是单个表格的高度,我们称它为一个模块。

拿到currentIndex的值后,我们就可以计算三个表格的显示位置,和每个表格中填充的数据。三个表格我们是通过render函数渲染的,我们根据currentIndex的值来返回不同顺序的render函数:

getTables (h) {
let table1 = this.getItemTable(h, this.table1Data, 1);
let table2 = this.getItemTable(h, this.table2Data, 2);
let table3 = this.getItemTable(h, this.table3Data, 3);
if (this.currentIndex === 0) return [table1, table2, table3];
else if (this.currentIndex === 1) return [table2, table3, table1];
else return [table3, table1, table2];
}

数组中表格顺序不同,反应在页面上的效果就是不同的先后顺序。最后我们通过这个方法得到完整的render:

renderTable (h) {
      return h('div', {
        style: this.tableWidthStyles
      }, this.getTables(h));
    }

然后使用封装的无状态的组件,来渲染我们得到的表格render。

<render-dom :render="renderTable"></render-dom>

renderDom组件的实现如下:

export default {
  name: 'RenderCell',
  functional: true,
  props: {
    render: Function,
    backValue: [Number, Object]
  },
  render: (h, ctx) => {
    return ctx.props.render(h, ctx.props.backValue, ctx.parent);
  }
};

接下来我们讲下三个表格中填充的数据的计算。

我们按照三个模块都在可视区域经过一次算是一轮,通过scrollTop来和currentIndex来计算每个模块当前是在第几轮展示,但因为我们是从第二个表格才开始做这个逻辑的处理(为了轮播效果更平滑),所以要先判断当前滚动的高度是否大于一个模块的高度,如果大于才做如下计算:

switch (this.currentIndex) {
   case 0: t0 = parseInt(scrollTop / (this.moduleHeight * 3)); t1 = t2 = t0; break;
   case 1: t1 = parseInt((scrollTop - this.moduleHeight) / (this.moduleHeight * 3)); t0 = t1 + 1; t2 = t1; break;
   case 2: t2 = parseInt((scrollTop - this.moduleHeight * 2) / (this.moduleHeight * 3)); t0 = t1 = t2 + 1;
}

计算出每个模块在第几轮展示后,就可以来取对应的表格数据了:

const count1 = this.times0 * this.itemNum * 3;
this.table1Data = this.insideTableData.slice(count1, count1 + this.itemNum);
const count2 = this.times1 * this.itemNum * 3;
this.table2Data = this.insideTableData.slice(count2 + this.itemNum, count2 + this.itemNum * 2);
const count3 = this.times2 * this.itemNum * 3;
this.table3Data = this.insideTableData.slice(count3 + this.itemNum * 2, count3 + this.itemNum * 3);

到这里虚拟渲染的重要内容都介绍完了。表格开发完成后,在项目中实际使用时,当加载二十多万条数据来测试时,整个页面卡的让人无法忍受,数据量越大页面卡顿越严重。我们的表格是没有问题的,问题出在Vue帮了我们“倒忙”。

在Vue实例中添加的对象,Vue会先遍历一遍对象的所有属性,用——

Object.defineProperty()为每个对象创建对应的getter和setter。

而在项目中,我们的insideTableData只是一个数据集对象中的一个属性,这个对象还包括很多与这一个数据集相关的信息,我们在使用this.insideTableData.slice获取数据的时候会触发this.insideTableData对应的getter,从而执行一些其他逻辑,而我们的滚动又会频繁的(仅当currentIndex变化的时候)需要重新填充表格数据,所以这会造成卡顿。

解决这个问题的办法就是阻止Vue给我们的数据集对象设置对应的setter和getter,

我了解的有两种方法,一是文档中提到的:

我们使用的时候就需要通过——

this.$data._dataSet.insideTableData(这里的_dataSet就是一个数据集对象)来获取。

另一种方法,就是使用ES5的Object.preventExtensions在将数据集对象交给Vue实例代理前将对象密封,这样数据集对象就变成了不可拓展的了,Vue就不会再添加新的属性了,也就无法设置setter和getter了。

做了这个处理后渲染几十万数据跟玩儿似的流畅。但是阻止Vue设置getter和setter也造成了一些问题,比如原来表格组件中的一些依赖于表格数据的计算属性,现在无法在表格数据变化时重新计算,当然了,影响不大,就一个表格行数的计算,所以改成了手动设置这个值。

到这里要讲的差不多了,这只是项目中的一点优化内容,我封装的vue-bigdata-table(没办法,好名字都被注册了)表格组件不仅仅这点功能,目前还包括拖动修改列宽、固定列不横向滚动,固定表头、内置排序、编辑单元格、粘贴、筛选、自定义表头和单元格等功能。现在也已经开源了,但是还有很多功能还在开发中。

锐眼洞察 | 大数据和位置智能如何改变世界 【翻译】

原文:https://medium.freecodecamp.org/how-big-data-location-intelligence-is-changing-the-world-181ef8bf097f

译者:TalkingData 阎志涛

本译文禁止商用,转载请注明来源!

毫无疑问,智能手机数量上的爆发式增长已经改变了我们所认识的世界,传感器和连接的设备的增长已经产生了大量的数据,而这些数据正在被用来改变我们的生活方式。

IoT,位置数据,位置智能,大数据。无论管它叫什么,都很难对它在各个行业中的应用前景产生质疑。显而易见的是,细粒度的位置数据可以给线下世界提供前所未有的洞察力。越来越多的企业意识到移动位置数据的价值以及影响。随着我们摆脱不可靠的数据集,传感器驱动的精确的数据集正在成为重中之重。

商业智能

利用数据去发现趋势,这种能力众人已经习以为常。而基于人们在真实世界的行为,以接近实时的方式去发现趋势这是新的方式。

位置智能揭示了经常会被错过的大数据集之间的关系。它将这些洞察转化为可以行动的商务智能。帮助去进行决策无论是董事的会议室还是店面里。

从与大型连锁餐饮竞争的小酒吧到与在线大型企业竞争的小型零售店 ——这些企业都从使用这类大数据获取有价值的见解来告知其业务战略。

事实是,移动位置数据现在已经非常成熟,可以解决小型企业和大型企业所面临的许多问题,比如:

金融服务:通过大数据集理解流量对于金融企业的价值, 移动设备数据有助于预测收入和其他KPI,然后变成正式的报告,有助于投资决策。

零售:大数据既可以帮助小零售商,也可以帮助大型零售商。通过移动设备数据理解商店的访问以及客户行为,可以对零售行业产生具有价值意义的参考。这些参考可以帮助提供商业决策,比如商店的布局,开业时间以及员工数量等。

基础设施和计划

“智慧城市”这个词汇近来趋于火热,我们正在向拥有大量人口的城市中心迈进,并且正在大力发展自动驾驶汽车。而大数据正是解锁这个智慧未来的关键性钥匙。

移动设备数据的增长提供了了解城市运作方式的机会。这有助于去创建系统和基础设施。

移动位置数据可以帮助了解什么地方最需要公共基础设施。例如,可以检查移动位置数据去理解城市中骑行最多的道路。这些信息非常的精确,对于在何处规划新的骑行道路具有非常高的参考价值。

对于交通拥堵也是如此。在日益拥挤和污染的大城市中,了解交通流量以及在哪里建设新的道路结构或引入新的低排放区对于建设能够维持当前人口增长水平的智慧城市至关重要。

大数据对此产生了非常积极影响。由于移动设备数据和位置智能的准确性和独特性,它正在改变世界各地城市和乡镇的决策方式。

市场营销和广告

大数据和市场营销总是相辅相成的。营销人员一直希望使用数据集来提高广告的效率与效果。而使用大数据来创建量身定制的受众已经司空见惯了。

但是,移动位置数据可以帮助营销人员和广告商将数字广告与消费者在线下的行为方式关联起来。了解消费者如何在线下世界中移动轨迹,让营销变得更有效。同时可以协助营销人员向消费者提供更多的个性化广告。

位置智能正在影响消费者生命周期的许多阶段。它将网络可用的分析能力带入到现实世界当中。

分群

移动设备数据正在帮助分析建立人们移动和行为方式等复杂数据。可以帮助广告商构建复杂的客户档案。品牌商终于可以去理解了顾客所去的地方,以及他们如何与周围的物质世界进行互动。

这比其他受众分群方法更有效。因为一个人的位置信息往往比他们在电脑上搜索某些东西或在坐在沙发上用移动电话进行浏览时的意图要更加强烈。

这使营销人员能够准确识别消费者在购买旅程当中的位置。

个性化

大数据在营销和广告方面的一大突破是增加个性化。

位置数据通过了解客户的情况,让品牌变得更为人性化。这已经不是一个新鲜的概念了,但空间中数据集的准确性和不断增加的规模使与客户的沟通真正得到了个性化。

当客户真正的可以进行兑换时,位置有助于提供促销活动。它允许’购买的客户还购买了’的体验进入到实体零售商店。 这样,大数据为线下世界提供了数字化解决方案。 位置智能正在为品牌传播量身定制针对每个人对现实世界的独特体验。

客户体验

大数据已经将客户体验变得越来越好。位置智能能够帮助寻路、排队、协助以及队列管理的自动化。理解一个人的物理位置有助于改善很多行业的客户体验。

体育馆、度假村、机场和交通枢纽都可以基于位置服务去改善人们花费的时间和消费体验。

因此大数据和位置智能仍然有很大的应用范围可以用来改善客户体验。

归因

正如我们所看到的,移动设备数据已将许多数字行业与消费者线下行为联系起来。这项技术正在使营销和广告领域产生变革的另一种方式是归因。

传统上,很多广告客户在衡量离线广告对离线KPI的影响时一直都是盲目的。不过移动设备位置数据正在改变这一点。 例如,位置智能可以了解某人在何时出现在户外广告旁边。 然后,它可以衡量这些人中有多少人在商店内或在特定实体产品面前出现。

连接两者可以为营销人员提供衡量离线广告影响以及投资回报率的准确方法,同时还可以衡量数字广告对线下目标的影响,以前这些事情都没有一个标准的方法,但大数据改变了这一点。

AR

如果AR真的要兑现其所承诺的,它将不得不依赖复杂的数据集和准确的位置智能。

随着AR的普及,其应用将超越fun-to-play游戏,成为有用的生产力应用。 随着AR的发展,其作为一种向受众宣传内容和广告的方式将得到长足发展。 像以前的营销活动一样,它将通过使用大数据和位置智能来提高预期。

随着用户在现实世界中进行移动,AR将需要大量准确和实时的位置数据才能正常工作。

优化供应链

大数据和位置智能正在影响那些想要优化供应链的组织。

位置智能在供应链中比较明显的应用场景是在于理解和跟踪交付和供应的能力。它已经被用于生成可以优化和改进这些服务的数据集。

但位置智能不仅仅能帮助企业优化流程,还有助于了解产品的需求。 通常人们将产品建立在人们需要他们产品的希望之上,然而最终却发现他们并不真的想要。

大数据帮助制造业优化的另一种方式是帮助其调整交通类型,取货地点或销售地点。

随着位置数据的兴起,这些洞察现在被来自线下世界的信息所推动。 以前无法实现或滞后的洞察现在可以实时获得,这在之前是困扰供应链运作的一大难题。

隐私和透明性

大数据领域的人员需要更加透明地了解数据集的来源。

仅仅检查一个盒子并开始收集和汇总个人数据是不够的。 为了清理数据供应链还需要做更多的工作,需要将更多的控制权交给用户。

通过这种方式,大数据领域人员有责任向用户传达大数据和位置智能的价值。它们在全球范围内产生了巨大且积极的影响,但也需要我们正确的处理隐私问题。

2018年,成为数据科学家需要哪些技能?(翻译)

作者:Iliya Valchanov

原文:What are the Skills Needed to Become a Data Scientist in 2018?

译者:TalkingData市场部

本译文禁止商用,转载请注明来源!

据Glassdoor,数据科学家是2017年美国的头号职业。这并不意外,因为这一领域的中位基本工资达到了12万3千美元。但数据科学家的就业市场远不饱和,仅在美国就有19万的人才空缺。如果你在考虑转换跑道成为数据科学家,2018年提供了充足的机会。这篇文章旨在帮助梳理如何在2018年成为数据科学家。

为了了解这个发展中的领域,2017年末365 Data Science针对这一主题在进行了调研。这项研究基于从1001名LinkedIn简介中目前职位为“数据科学家”的简历中收集的数据。这个群体被分为两组——就职于财富500强企业的人、以及就职于其他企业的人。此外,样本中数据科学家的工作地点包括美国(40%)英国(30%)印度(15%)以及其他国家(15%)。同时,为了控制偏差,数据收集自不同背景的数据科学家。

男性,至少会说一门外语,并且拥有本科以上学历(硕士或博士)。他拥有4.5年工作经验,并需要花2年来获得(数据科学家)这一头衔。R和Python是首选的编程语言,其次是SQL。

无法忽视,数据科学专业严重被男性掌控,在此次的样本中70%为男性。尽管如此,面对这一领域的巨大需求,只要具备相关知识,任何人都能在行业中拥有一席之地。所以,如果你碰巧是一位女性,不要灰心,请继续读下去。

数据科学家最必要的技能是什么?

以下是数据科学家简历中最常见的技能:

R和Python是数据科学领域的主流编程语言。53%的数据科学家声称掌握R以及/或Python。注意,在某些数据科学家在工作中同时掌握这两种语言。

在不断变化的数据科学世界中,专业人士要在工作中运用最新的工具。R和Python是最基础的编程语言,每个尝试想进入这一领域的人都应该学习。

Stack Overflow社区建议,尽管数据显示R是更为广泛应用的语言,但鉴于 Python是发展最为快速的编程语言,可以考虑将Python放在学习计划的首位。到2019年,Python很有可能会在使用人数方面大幅超越其他编程语言。灵活性和易用性是使得Python脱颖而出的首要原因。

在数据科学家中,其他受欢迎的语言是:

  • SQL(40%)
  • MATLAB (19%)
  • Java(18%)
  • C//C++(18%)

想学习更多?

我们发现,最好也能掌握SAS、LaTex、Hadoop或Tableau。拓展基础之外的专业技能可以显著提升获得数据科学家职位的机会。

工作经验

鉴于数据科学家这一职业诞生不久,也就不意外数据科学家职位经验的中位数只有2年。如果你是在无该领域相关经验的情况下申请数据科学家职位也不用尴尬,你不是一个人。

在此次研究的样本中,只有36%的数据科学家的前一份工作也是数据科学家。在这个领域中还有很大的成长空间。那另外64%的人之前的职位又是什么呢?最为常见的背景是分析师(19%)、IT专家(16%)或者学者(12%)。

并且,8%的人在成为数据科学家之前是实习生。
这些人从零开始实现了梦想。你也可以!

教育与培训

大多数以数据科学家为工作的专业人士受教育程度很高。实际上,结果显示75%的数据科学家不是博士就是硕士。

但是,华丽的学位并非必需。此次研究样本中,大约有25%的数据科学家毕业于“没有进入排名的大学”。换句话说,无论你的母校是否进入了“泰晤士高等教育”榜单(注:由《泰晤士报》评选出的世界顶尖大学排行榜),并不会为你是否能开始数据科学的职业生涯带来决定性影响。

此外,只有13%的人在大学中参与了数据科学或分析学项目。大多数数据科学家的所学专业是计算机科学(20%)统计学和数学(19%)社会科学(19%)。只要你在某一学科有足够的基础,就很有可能迈入数据科学的大门。

因此,你并不是一定要上额外的专业课程来掌握这个工作所需的技能。如果你想升级你的技能,在线课程也是可选的替代方案。近40%的数据科学家在其LinkedIn的个人简历中提到参与了在线课程。

就业行业

一旦你掌握了相关技能,你就需要撸起袖子找份工作。所以,数据科学家工作的首选行业是什么呢?在英国和美国的就业市场,你可以在产业企业(制造、快消、公共事业、咨询等)中找到数据科学家的工作。但在印度并不是这样,那里大多数(68%)的数据科学家在科技或IT企业工作。

医疗保健和金融行业看上去也需要数据科学家,在全部样本中分别占14%和6%。

就业企业

你是更想进入财富500强的巨头,还是更喜欢小型企业?无论企业层级如何,各种规模的企业都在招聘具备R、Python、SQL和Matlab编程能力的数据科学家。但是,如果你的目标是财富500强企业,SAS和Hadoop可能会派上用场。其他企业则很少会要求能够使用Hadoop。财富500强企业中,大数据为王,但对小型企业来讲并非如此。

这是数据科学职业在2017年底的情况和贯穿2018年的趋势。好消息是,即便你没有相关学历或足够的相关工作经验,也还来得及掌握相关技能和工具。如果你对数据和终生学习抱有热情,2018年是开始追求数据科学家职业生涯的好时机。

大数据的“无所不能”与“无能为力”

作者:TalkingData 于兰

本文由TalkingData原创,转载请获取授权。

偶尔与身处传统行业的朋友聊到大数据,朋友说,对大数据怀有一种“敬畏”的心理,认为它很神奇,神奇到似乎可以点石成金无所不能。但身处这个行业,在敬畏它的同时,却不时会被一种深深的无奈所包裹,切实感觉到在梦想面前,大数据也有太多的无能为力。所以今天,我们来聊一聊大数据的”无所不能“与”无能为力“

大数据的“无所不能”

无论是传统工业时代,还是大数据时代,信息是决策的基础:更优的决策,需要更多、更及时的信息——大数据的价值核心,是“消除信息不对称”,即提升人或程序对事物的认知。

因此,大数据可以做很多事情:

  • 在市场营销中,大数据可以帮助市场人员了解客户群体的特征、偏好和购买倾向——只将广告投给需要的人,可以节约被浪费的广告费,却不降低广告的效果;
  • 在金融风控中,大数据可以帮助业务人员了解顾客群体的收入水平、资产情况、借贷历史、违约风险——不向高风险顾客发放贷款,或事先对可疑人员进行核查、采取措施,可以有效降低坏账率,提升资产质量;
  • 在零售经营中,大数据可以帮助领导层了解各商圈的人流量情况、人群特征、周边环境、竞品策略等(是比现场调研更全面、更高效且成本更低的市场分析方案)——选择人流量、人群消费水平更符合本企业定位,且竞品并没有深入挖掘的地点开设新店,意味着在起步阶段就跑在了前面;
  • 在物流运输中,大数据可以帮助经营人员了解各地需求、线路业务量、节点负荷和处理效率——线路规划、节点布局及资源配置、关键节点优化,都可以有效的提升物流效率。

除了以上为企业带来切实利益的大数据应用,伴随着机器学习、人工智能的发展,大数据也为我们展开了更宏伟的蓝图:

  • 语音识别和文本挖掘,使得人与机器的自然交互突飞猛进,各种智能交互机器人层出不穷;
  • 图像识别和处理技术,结合线路规划、智能决策等大数据应用,让无人驾驶站在了时代的风口上;
  • 对各种疾病发展过程、影响因素的分析,及人体状态的监测、感应,形成了健康监护和智慧医疗的前提;
  • ……

一言概之,大数据为“信息获取”开辟了无数的通道,引领我们一路高歌猛进,依靠大数据,我们对周围的世界、对自身、对事物之间的关系都有了更深入的认知,也有了以前想都不敢想的各种处理方案,让我们“无所不能”。

但理想总是“丰满”,现实却是“骨感”,看上去“无所不能”的大数据,本身就带着诸多的“无能为力”。

大数据的“无能为力”

数据质量

伴随“多”的是“无序”,伴随“更多的信息”而来的,可能是“信息冗余”。数据质量,是数据应用之初与生俱来的问题。

要判断移动设备的常驻城市,可能从数据源A得到的是北京,从数据源B得到的天津,而我们压根儿没有明确的标准,来判断数据源A和B到底哪个正确,因为,正是因为不知道才需要寻求外部数据源帮助!

也许你会说,找已知样本测试就可以了。但事实上,很多数据且不说能不能找得到样本,即便能找得到,用作标准的样本本身有多大可信性,也是一个需要验证的问题。

隐私与安全

伴随着大数据的应用,越来越多的数据被“滥用”,隐私被泄漏的问题被曝光。数据应用的程度越高,经过的验证和磨砺越多,准确性越高,所受的监管也就越强,使用过程中所受限制就越多。

对于数据应用方来说,面临的可能是不断的寻找数据源、验证数据有效性、接受监管并调整、寻找新的数据源的过程。

站在数据应用方角度,面临客户隐私与数据安全,会时不时的有深深的“无力感”;但站在整个社会责任的角度,数据隐私与安全则是必须要守住的底线。

边界与壁垒

我们数据应用中的很多设想,都建立在各方数据可无缝打通和关联的基础上,但实际数据应用中,因为数据产生于不同的企业主体、有不同的处理流程和架构,“关联”并不是“无缝”的。

  • 千辛万苦找到了适合的数据源,可能因为双方ID无法打通,导致数据根本无法使用;
  • 战略合作训练了效果很好的模型,可能因为双方数据都无法出各自机房而无法实际投产,寻找绕行路线却又大大牺牲了效果;
  • 数据与场景的结合,可能因为合作双方理解差异导致数据的误用……

如何减少大数据的“无能为力”

首先,建立数据流通标准。“标准”可以在很大程度上解决“质量”的问题,也可以让供需双方更好的对话,降低数据流通的成本;

其次,划定数据安全基线。有“基线”,就有了“基线”范围内的自由和法律保护,将“隐私与安全”作为每一个市场玩家的底线,就不会在安全加码时束手无措倍受打击;

再次,构建数据流通平台。“平台”可以有效承载数据流通的标准,同时更好的打破供需双方的边界壁垒,实现供需有效结合。

TalkingData智能数据服务商城,致力于为数据供应方和数据需求方提供平台,实现数据流通过程中的标准化交付、质量评估、实时计量等公共能力,降低数据交易流通成本。

让理解照进现实,实现大数据的“无所不能”,我们一直在努力。

 

TalkingData发布“透明化”Ad Tracking合作伙伴平台

TalkingData发布“透明化”Ad Tracking合作伙伴平台

基于TalkingData Ad Tracking移动广告监测平台数据,2017年,移动效果广告点击总量相比2016年增长超过17倍;移动效果广告推广激活总量同比增长41.9%,点击量增速远超激活,利用虚假点击刷量情况依然不容忽视。

过去一年,TalkingData Ad Tracking一直致力于打击黑产刷量,陆续曝光了一批刷量渠道以及相关作弊手段,并上线发布相关反作弊产品模块。《制衡刷量“四大术”,TalkingData Ad Tracking上线高级版作弊防护功能》

在统计相关刷量数据时,TalkingData Ad Tracking团队发现了大量监测短链套用现象,导致媒体、广告主、代理商之间出现了明显分歧。为了保证渠道合作伙伴的权益,更准确的量化渠道价值,2018年4月,TalkingData发布了“透明化”Ad Tracking合作伙伴平台,针对性解决监测短链套用问题,赋能于合作伙伴,打造公开透明的广告监测生态。

TalkingData Ad Tracking合作伙伴平台

合作伙伴可以通过平台监控渠道下所有推广活动,并进行审核操作,一旦发现套用情况,可将其立即拒绝,Ad Tracking系统将即刻停止接收推广活动数据,避免出现渠道数据统计偏差;

TalkingData发布“透明化”Ad Tracking合作伙伴平台

Ad Tracking合作伙伴平台Demo产品图

在解决监测短链套用问题的同时,TalkingData Ad Tracking合作伙伴平台还向广大合作伙伴提供了流量基本数据查看权限,合作伙伴可以直接通过平台了解推广活动广告流量及转化数据,避免了繁复的授权过程,缩减人力成本

TalkingData Ad Tracking将秉持以“客户优先”的企业价值观,持续加强产品功能,与各大广告平台保持牢固的合作伙伴关系,继续优化数据挖掘算法,与广告主、媒体、广告网络、代理商等携手打造更加透明的广告生态,推动行业向更加良性的方向发展。

即日起,已入驻TalkingData Ad Tracking的合作伙伴即可申请开通平台账户,开通方式:

  • 合作伙伴技术沟通群(优先)
  • 24小时值班电话:4008701230
  • TalkingData 技术支持群:203585475