:::: MENU ::::

TalkingData's Blog

现在开始,用数据说话。

Posts Tagged / 数据科学家

  • Jan 09 / 2018
  • 0
Data

锐眼洞察 | 数据科学家、数据工程师、数据统计师和软件工程师之间有何不同?(翻译)

作者:Ronald van Loon

原文:The Difference between Data Scientists, Data Engineers, Statisticians, and Software Engineers

译者:TalkingData副总裁 Teddy

本译文禁止商用,转载请注明作者与来源!

 1.png

找出数据科学家、数据工程师、软件工程师和数据统计师之间的差异可能会令人困惑和复杂。尽管所有他们都以某种方式与数据相关联,但是他们的工作和管理之间存在根本的区别。

数据的增长及其在整个行业的应用是隐蔽的。在过去的十年中,特别是最近几年,我们看到了负责制作和管理数据的角色的一个重要区别。

数据科学无疑是一个真正的增长领域。来自全球的组织甚至国家的数据收集工作都经历了显著的增长。由于收集和管理数据带来许多复杂的问题,现在这个领域的工作和界定范围十分广泛。我们现在指的数据科学家,其实由数据工程师、数据统计师和软件工程师等更具体任务组成。但除了名称上的差异之外,有多少人可以理解他们所从事的工作的多样性呢?

正如我所猜测的,没有多少人能了解这些数据专家所做的工作。许多人最终得出结论,他们都做同样的工作,并为此分类。没有什么比这个传说更加错误的了,为此,我今天要成为了一个传说破解者,解读数据产业中这些工作的角色差异所造成的冲突。虽然所有这些都有助于推动向真正的数据创建方向的发展,但是它们如何以及为什么会从这个角度出发,存在着巨大的差异。

在这里,我从管理和超越数据的大局角度概述这四类角色的主要属性。他们说无知是幸福的,但是知道真实的情况总是比回避真相要好。

数据统计师

数据统计师站在整个流程的前端,运用统计理论解决众多行业的实际问题。他们拥有手段和独立性来选择适合寻找和收集数据的可行方案。

数据统计师的职责是通过设计调查、问卷、实验等有意义的方式来收集数据。

他们从数据中分析和解释分析结果,并将他们分析发现的结论报告给上级。数据统计师需要具有分析数据、解读数据和以简单易懂的方式叙述复杂概念的能力。

数据统计师理解研究产生的数字,并将这些数字应用到现实生活中。

软件工程师

软件工程师是数据分析流程的重要前端,负责构建系统和应用程序。软件工程师将负责开发和测试/审查系统和应用程序工作的一部分。他们负责建造产出数据最终产物的产品。软件工程可能是所有这四个角色中最历史最久的一个,在数据繁荣开始之前,软件工程是社会方式中必不可少的一部分。

软件工程师负责开发用于收集和处理数据的前、后端系统。这些网络/移动应用程序通过完美的软件设计推动操作系统的发展。然后通过软件工程师打造的应用程序将生成的数据传递给数据工程师和数据科学家。

数据工程师

数据工程师是致力于开发、构建、测试和维护体系结构(如大规模处理系统或数据库)的人员。数据工程师与数据科学家经常被混为一谈,他们之间的区别是数据科学家是清理、组织和查看大数据的人。

在上面的比较中,您可能会发现对动词“清理”的使用有些异乎寻常和粗心,但事实上,它的目的是更好地反映数据工程师和数据科学家之间的差异。总的来说,可以体现出这两类专家所做的努力都是为了获得简单易用的格式数据,但两者之间的技术和责任是不同的。

数据工程师负责处理来自众多机器、人员或仪器错误的原始数据。这些数据可能包含可疑记录,甚至可能无法验证。这些数据不仅是未格式化的,而且还包含用于特定系统的代码。

这就是数据工程师们发挥用作的地方了。他们不仅提出提高数据效率、质量和可靠性的方法和技术,还要实现这些方法。为了搞定这个复杂的事情,他们将不得不使用许多工具并掌握各种语言。数据工程师实际上要确保他们的工作架构对数据科学家来说是可行的。数据工程师一旦完成了初始流程,就必须将数据交付给数据科学家团队。

用简单术语来说,数据工程师通过服务器确保数据流以不间断的方式传输。他们主要负责数据所需的架构。

数据科学家

我们现在知道数据科学家将获得数据工程师加工过的数据。数据已经被清理和处理,数据科学家可以使用这些数据来输入分析程序,以准备数据用于预测建模。为了建立这些模型,数据科学家需要做广泛的研究,积累来自外部和内部的大量数据来满足所有的业务需求。

一旦数据科学家完成了初始阶段的分析,就必须确保他们所做的工作是自动化的,所有的洞察都会定期交付给所有关键业务利益相关者。事实上,成为数据科学家或数据工程师所需要的技能显然有一些类似。但是在行业内,这两者间的区别正在逐渐变得更加明显。数据科学家需要了解与统计、机器学习和数学相关的复杂细节,以帮助构建完美无瑕的预测模型。此外,数据科学家还需要懂一些分布式计算。通过分布式计算,数据科学家将能够访问由工程团队处理的数据。数据科学家还负责向所有业务利益相关者提交报告,因此需要关注可视化。

数据科学家运用其分析能力,从输入机器的数据中提取出有意义的发现。他们将最终结果报告提供给所有关键利益相关者。

数据领域正在不断发展,它包含了比我们以前所能想象的更多的可能性。

  • Nov 09 / 2017
  • 0
Ideas

锐眼洞察 | 大数据分析成为最好职业方向的20个理由(翻译)

作者:Anil Parmar

原文:20 Reasons Why Big Data Analytics is the Best Career Move

译者:TalkingData数据分析师 程薛柯

校对:TalkingData数据工程师 王玮 

本译文禁止商用,转载请注明来源与译者!

据估计,到2020年,美国将有270万个数据分析和数据科学工作岗位。

数据分析专家能够从规模数据中发现隐藏模式、挖掘潜在机会、洞察数据背后的价值,帮助企业改善业务经营现状。随着发展的深入,越来越多的企业认识到大数据在辅助企业决策中的重要作用,相应地,招聘市场上对数据分析专家的需求随之越来越大,数据分析师得以成为2017年的热门职业之一。

如果你已经把大数据分析作为个人职业发展的备选方向,本篇文章将向你重点介绍成为一名数据分析专家将会拥有的一些机遇和优势。

具体如下:

1 – 起步容易

“数据分析”天然地包含了部分编程框架方面(Java、C、Python以及Scala等)的内容,但是,对于数据分析师来说,“从数据中提炼突破性解决方案的能力”更为关键和重要。 成为大数据分析专家需要掌握一些必要的编程语言知识,也需要有一定程度的时间投入。不过,对探索数据、寻找解决方案的执着态度(即便所进行的探索与本职工作无关),则会使学习过程变得相对轻松有趣一些。

要点: 网络上有很多认证课程和资料,可供新手菜鸟和想要拓宽大数据技能的大神在线学习。这些课程提供了丰富的学习内容,有讲解Java或OOPS编程的基本知识,也有介绍如何使用Unix / Linux平台和工具(如Apache HadoopR)。 从tutorialspoint可以获取Hadoop的最新更新,也可访问有关大数据分析框架的有用资源/教程。

2 – 就业前景好

75%的物联网供应商认为大数据分析是最热门的专业,其中超过68%的物联网供应商正致力于雇佣具有大数据分析相关专业知识背景的员工。 基于上述事实和数据,在2017及其未来几年内大数据分析相关就业前景可想而知。

要点: 数据分析工作的主要类型包括描述统计(Descriptive Statistics)、预测分析(Predictive Analytics)和规范分析(Prescriptive Analytics)三种,熟练掌握其中的任意一种,就能在相应领域内取得竞争优势。

3 – 跨行业/领域择业

近年来,Oracle、IBM、Microsoft、SAP、EMC、HP和Dell等老牌软件企业累计投入超过150亿美元专门进行数据管理和分析软件的研发,招聘市场上对跨行业跨领域类型的信息管理专家的需求也随之不断增加。

要点: 在医疗保健、制造、教育、媒体、零售乃至房地产等多个领域,大数据分析技术的进步能够为企业节约成本、提高决策制定能力提供有力支持。这样,大数据分析师可以从多个行业中按照个人技能和兴趣主动进行行业选择。

4 – 有竞争力的薪水

2017年排名前五位的技术职位中,有三个与数据分析相关(数据架构师的薪水中位数为122,000美元、数据经理为109,000美元、数据工程师为105,000美元),相对其它任何IT职业,转行成为一名大数据分析师会有比较高的经济收入。

要点: 逻辑思维能力好、精通计算机以及具备较强沟通能力的学生和年轻人,想要在相同的工作时间内获得高于平均水平的收入,可以考虑将大数据分析作为一种职业选择方向。

5 – 探索热门的分析工具和技术

如果具备一定的数学和统计学基础,大数据分析还可以加深数据分析师在应用统计、线性代数、实分析、数值分析和图论等知识技能的理解和提高。

要点: 拥有计算机科学学位会是一个额外的优势,计算机基础能使大数据分析师快速掌握Python,Hive和SQL编码技能,而这些技能的熟练掌握可以让数据分析师始终处于大数据分析从业人员梯次排名中的前列。

6 – 增强零售商/客户关系

尤其是对于B2B公司来说,大数据分析可以帮助企业更好地了解客户,消除盲目猜测的风险。通过参与对事实数据的细致分析和报告总结,数据分析师能够帮助企业建立起更流畅、用户驱动的顾客体验。

要点: 除了成为大数据分析团队的一员之外,通过访问获客渠道,数据分析师可以帮助品牌执行个性化的营销策略,用以培养客户对企业的忠诚程度。

7 – 获得权威影响力

大数据分析师可以洞察业务流程中的各个细节,知晓哪些业务动作产生了实际的效用、哪些业务动作没有达到应有的效果,业务人员根据数据分析师提供的分析和解决方案开展业务活动,而数据分析师则逐渐成为组织中的关键角色。

要点: 通过对组织关键绩效的探索分析,大数据分析师可以影响高层管理者的决策结果,企业高层管理者参照数据分析师的分析结果对企业未来的业务发展作出决断。

8 – 关键决策能力

对任何企业来说,大数据分析都会产生额外的附加价值,大数据分析可以辅助企业作出明智的决策,帮助企业超越对手获取竞争优势。因此,成为一名大数据分析师,将大大提升成为企业关键决策者的机会。

要点: 随着越来越多的公司依赖大数据专家,大数据分析专家与企业核心人员一起从上到下优化企业决策层架构,同时协调一线员工按照决策进行调整。

9 – 了解多种编程语言

大数据分析并不局限于单一语言或框架,相反,将先进的统计和定量技能与编程能力相结合,可以衍生出许多潜在的语言供数据分析师专门使用。

要点: 如果已经掌握了Java、Perl、Ruby甚至C++方面的知识,大数据分析师可以学习Scala、Julia和MATLAB等语言用以扩展自身的编程能力。

10 – 进入知名公司工作

除了初创公司和小公司,像IBM、SAP、Microsoft、HP和Oracle等大型企业也在发布大数据研究招聘信息。当然,大公司需要有经验的数据分析专家,但他们可以在未来为数据分析师提供持续成长的机会。

要点: 在大牌企业里工作的大数据分析师团队,已经将多种技术语言应用在日常的工作人中,与这样的专家团队一起工作,将会省去学习编程语言的成本。

11 – 成为特定领域内的专家

大数据分析可以使用多种技术语言来应对多样的业务活动 – 例如市场细分。数据分析师熟练掌握一种特定语言,就有了成为相应领域专家的可能,也有了负责相关领域内的所有交付业务机会。

要点: 作为领域专家,大数据分析师将为公司提供可靠的解决方案,公司可以因此解除对外部昂贵数据库的依赖。

12 – 提高Excel技能

无论你是否具有相关工作经验,数据分析岗位都要求从业人员能够具备使用Excel对数据进行清洗、组织、分析以及可视化展示的能力。Excel是管理数据不可缺少的工具之一,熟练的Excel操作技术能帮助你快速得到一份数据分析工作。

要点: 有许多在线教程和现场研讨会资料可供学习,用以了解、掌握Excel的基本技能。Excel小白还可以直接观看微软提供的培训视频快速入门。

13 – 新的技能施展机会

随着保险、财务、销售、营销和商业智能(BI)成为数据分析专家最青睐的领域,使得数据分析师可以在多个行业中跨领域开展工作。

要点: 掌握数据挖掘、数据基础架构、数据可视化和决策分析技能,数据分析师可以在强化数据分析知识的同时,实现分析技能的跨领域使用。

14 – 数字化带来的成长机会

随着技术的进步,很多企业都逐渐认识到大数据研究的重要性,大部分企业已经采用全面的数字系统来提升消费者满意度。而且,通过大数据分析,企业可以为包括从菜鸟级到专家级在内的所有员工的职业发展赋能。

要点: 将大数据分析作为一种职业发展方向,并不是将数据分析师限制在某一个特定的领域,掌握大数据分析专业技术,数据分析师反而可以轻松地切换到任何感兴趣的行业,并且能在该行业内快速地成长起来。

15 – 成为自由顾问

大数据分析师也被称为大数据顾问,他们提供关于营销和销售等关键领域的洞察见解。成为顾问后,大数据分析师将负责从多源数据的组织、分析到可视化的整个过程内的所有业务。

要点: 假如掌握了智能算法,并采用最新的大数据技术,数据分析师就有机会成为多家公司的核心人物,他们将参考数据分析师的数据洞察结论制定企业的核心战略决策。

16 – 成为数据播客的一员

作为一名刚入门的数据分析师,播客(Podcast)是一个强化数据分析能力、发现新的工作机会的好地方。网络上有很多在线播客平台,其中,有来自IBM大数据分析中心的专家坐镇的iTunes是最流行的网络播客平台之一。

要点: 作为数据分析社区的一员,数据分析师能够与社区成员一起学习和成长。此外,有很多企业的Leaders经常会访问这些播客平台,了解数据分析的潜在发展机会。通过播客平台,数据分析师有机会引起他们的关注,从而获得一份不错的数据分析工作。

17 – 成为导师

随着编程技能的提高,数据分析师在公司内的影响力会自动得到凸显,这将大大提高申请成为一名团队指导的可能性。

要点: 随着经验的增长,数据分析师会成为某一特定领域内资深专家,这不仅有助于更好地完成本职工作。持续寻找大数据分析项目指导的教育网站也是一项收入来源。

18 – 成为股东

如果数据分析师能利用够可视化工具直观地展示和表达数据,并提出创造性的解决方案,那么就有可能成为一家公司的股东,将会获得比固定薪水更多的东西以彰显其价值。

要点: 作为数据分析专家,不仅可以获得固定工资,每一次对企业决策的改进也都可以自己创造额外的福利和高额的佣金。

19 – 成为一名优秀的沟通者

数据分析职业前景不仅仅取决于你在编程方面的水平,影响公司采取行动的能力同等重要。因此,在工作中会获得提高沟通能力的机会。

要点: 随着大数据分析项目的日益增多,影响公司采取行动的机会也随之增加。

20 – 有机会成为数据科学家

最后,当大数据分析师同时具备了数据分析师和数据工程师的所有能力之后,就有机会成为一名能够提供全方位解决方案的数据科学家。例如,一家中等规模的公司会将一个大数据项目的工作拆分为数据清理、构建和执行等部分分发给不同的人完成。但是,对于某些公司,他们其中的一名数据科学家就可以完成一个大数据项目所有的任务。

要点: 数据科学家的工作角色可能听起来太多了,但是,有能力在多个领域内顺利展开工作,将使数据分析师在大数据分析领域获得一席之地。

对你而言

无论的大数据分析技术取得多么先进的进步,都不能脱离人类对数据的理解而自动化运行。而且,随着越来越多的公司寻找专家根据业务的观点来理解数据、获取有效解决方案,在随后的几年内,对数据分析专家的需求也将不断地增多。

随时欢迎您 联系我们