数据分析师和数据挖掘工程师的区别

参与评论

评论

登录后参与评论

全部评论(3条)

• 

  轩晶晨璐 2017-02-21 00:00:00

  在回答题主问题之前，还是让我们先看一段PPV课社区上的一段真实对话：小袁：我是一只苦逼的程序猿，俗称技术屌丝男，还属于码农阶段，起早贪黑不分时间，没房没车没对象，每天除了代码，就是BUG，觉得暗无天日，没有钱途，现在想换相关的职业，不知道DOCTOR V有什么可以介绍的？Doctor V：云计算的实现，咱们迎来了大数据时代，而基于数据处理和开发，有几个职位想必你会感兴趣，且也是现在大数据时代 背景下所需求的。插一句，且这个行业工资还很高，让你以后在技术行业有傲娇的资本…….^_^ 小袁：那大数据行业职位都跟我说说呗？Doctor V：大数据行业Z主要的是数据分析师和大数据工程师，下面是它的职位体系架构小袁：数据分析师和大数据工程师主要是做什么？DoctorV：大数据工程师主要是偏开发层面，指的是围绕大数据系平台系统级的研发人员， 熟练Hadoop大数据平台的核心框架，能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。小袁：学习这个需要什么基础吗？Doctor V：java你肯定要很熟练， linux 这个也需要了解一些，当然hadoop本身入门不难，但是你想看懂源代码，想深入的理解，你要对多线程，并行化等概念都要了解，本身hadoop是一个框架，你把他了解透彻了也等于你对java技术已经有了一个系统的掌握了。小袁：能简单跟我说说hadoop的学习路径吗？DoctorV：简单来说就是，首先了解Hadoop原理和用途，了解什么是hdfs和mapreduce；其次，开始搭个环境跑一个wordcount；再次，跑完wordcount，你就可以改代码了；Z后测试独立完成一个业务场景…..小袁：嗯，了解，更多的还是偏技术，写代码。那你还是跟我说说数据分析师这个职位吧，貌似跟数据打交道，挺有挑战性的！？Doctor V：数据分析师是指基于大数据进行数据处理分析的人员，能熟练的用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总、理解并消化，以求Z大化地开发数据的功能，发挥数据的作用。小袁：这个听起来跟数据打交道，需要做决策分析的啊，好像挺有发展前途啊，有技术基础的能学吗，薪资怎么样啊？Doctor V：数据分析师在企业中发挥的价值在于能够利用已有的数据资料（一手或二手的）进行观测，实验，研究分析出背后的一套规律为企业进行优化决策。业务层面的员工需要写出数据报告给老板看，如果你的分析结果对企业决策（如营销计划）有改善从而提高了业绩，那么待遇肯定是意想不到的。数据分析师这个行业入门要求比较低，需要懂一些数据统计、ETL等知识，这些对于学技术的你来说，应该是小菜一碟。小袁：这个职位，以后的职业路线是怎样的啊？Doctor V：在职业发展方面，Z初可能会是数据分析员从基层开始做起，有团队有人带，到后面逐渐上升为分析师，ZS分析师、数据分析专家，数据架构师；其中数据架构师 要求比较高，既要精通数据分析师的业务决策层面，也要会使用Hadoop开发和使用运算模型，我觉得这个可以作为你未来的发展方向，因为你比纯粹的数据分析师有技术基础。 小袁：那么数据分析师和数据挖掘(算法）工程师又有什么区别呢？Doctor V：数据挖掘(算法)工程师需要较强的编程能力，需要通过语言进行模型算法优化和相关数据产品的开发，而数据分析师需要更多的是业务理解和数据分析能力，一般是业务背景，对编程能力也没有严格的要求。小袁：OK，got it！数据分析师和数据挖掘工程师的区别：1）处理的对象不同：数据挖掘一般是处理大数据，需要分布式计算和编程，数据分析师一般处理的小数据和抽样数据；2）使用的工具不同：数据挖掘师一般是通过计算机工程和算法解决问题，需要写代码，而数据分析师是通过数据分析软件解决问题，使用的是软件工具和脚本语言；3）三观不同：数据分析多依赖统计分析，一般需要因果分析和逻辑合理性，数据挖掘多依赖计算机技术，属于利用算力暴力破解，更专注相关性而非因果逻辑。更多内容请搜索“AI时代就业指南”

  赞(6)

  回复(0)

  评论

  评论

  登录后参与评论

• 

  陌殇0420 2017-08-22 00:00:00

  1.数据分析和数据挖掘联系和区别 联系：都是搞数据的 区别：数据分析偏统计，可视化，出报表和报告，需要较强的表达能力。数据挖掘偏算法，重模型，需要很深的代码功底，要码代码，很多。 2.用什么语言 数据分析：excel是必须，R是基本，python是进阶。SAS和Matlab给土豪去玩吧。 数据挖掘：python是必须，java/c/c++是基础，hadoop/mapreduce/spark先掌握一点，因为并不是所有公司都有这么大的数据量。 3.需要学数学吗 数据分析：统计学，概率论， 数据挖掘：高数/数学分析，数值分析，线性代数，凸优化，运筹学(这些是基本)数字信号处理，模式识别，矩阵论(进阶) 4.要不要读研究生 一般来说，只有应届生去找工作会比较看重学历，因为你没有其他可以展示你能力的。但是随着工作时间久了(两年+)，你的能力远超于你所在的学校，学历就不重要了。如果要读，建议读计算数学/概率论/模式识别/计算机 方面的研究生，争取发论文(高质量)，否则应聘的时候并没有什么影响，当然，有些公司可能会在初筛的时候根据学历筛选人，正常，真想进就多工作几年再社招进去呗，学历不好也不能怪别人对不对。 工作几年后，如果觉得到瓶颈了，可以再去读书，没什么，这个时候可能你更清楚自己需要的是什么。 5.选择去哪个公司 大公司核心职位优先>>中型公司核心职位>大公司边缘职位>的创业小公司核心职位>中型公司边缘职位>坑人的创业小公司边缘职位 原因： 1.大公司数据量多，人才多。能接触到核心项目核心职位是Z佳选择。(BAT，网易有道，微软等) 2.中型公司发展快，机会多，压力大，成长快。(美团滴滴58) 3.创业公司慎选，如果有创业公司的offer，一看他们差不差钱，而看他们项目赢不赢利，三看团队技术氛围浓不浓。不差钱+盈利但技术氛围不浓，可以去，但不适合对技术追求高的人;不差钱+技术氛围浓但暂时不盈利，可以考虑，但要搞清楚盈利模式。盈利+技术氛围浓但现在差钱，可以考虑，争取成为核心成员，一旦融资不得了。如果差钱又不盈利技术氛围还差，算了吧，耗不起。 实在不知道怎么选，就看两点：1.数据量大小 2.技术氛围。钱少可以以后赚，技术氛围浓Z重要。 6.没有项目经验怎么办 应届生要啥项目经验，本科生就说说自己的毕业论文，数模/ACM/阿里的参赛经历或获奖经历，以及可能会有的实习经历。研究生就说实验室的项目，负责的工作，完成的成果和发表的论文。不要夸大，如实说。 7.到底该选数据分析还是数据挖掘 代码能力强直接搞算法，弱就先做数据分析，慢慢来，不着急。想我毕业的时候只会Matlab，后来被领导逼着两星期学了R，一个月学了python，自己在业余学了java，hadoop和spark等，也是一步步来的，不要想一口吃成个大胖子。

  赞(2)

  回复(0)

  评论

  评论

  登录后参与评论

• 

  l馬l 2018-03-30 00:00:00

  数据分析师岗位重在“分析”，数据挖掘工程师岗位ZD是要“挖掘”。1、【数据分析师】:基于业务，通过数据分析手段发现和分析业务问题，为决策作支持。一般招聘这类岗位的公司规模都不会太小，人数可能不是一个唯yi的衡量指标，但是业务规模肯定比较大，反而言之，业务规模太小的公司就没什么可分析的了。2、此岗位重在“分析”，首先要有一定的数据灵敏度和数学底子，知道在什么样的数据规模下，需要看什么样的数据指标。了解常规的数据挖掘算法，可以使用一些工具得到预期的结果。当然用工具的话是需要公司系统支持一些数据分析软件的，SPSS啊，Clementine什么的，如果没有，说句难听的，弄个Excel表格在有些公司也叫数据分析师。当然有些数据分析师Excel玩儿的可以很溜，可以用Excel模拟一个CTR预估算法的迭代过程。3、【数据挖掘工程师】：偏技术，通过建立模型、算法、预测等提供一些通用的解决方案，当然也有针对某业务的。岗位ZD是要“挖掘”，所以对于人的要求就是要熟悉挖掘的方法，挖掘的工具，或者至少知道在什么平台应该用什么工具，面对什么样的需求应该怎么解。4、简单来说就是负责接收需求然后产出结果，大部分公司的数据挖掘工程师都比较被动，比如BI找你说“我要100年内的明星数据，而且要知道他们每个人在什么年代拍过什么类型的片子”，这时候你就需要做数据采集，加工整理，结果产出。中间可能会加一些数据可视化或者算法工作，但都要求不高。5、编程底子不错的，适宜做数据挖掘工程师。数学不错有商业头脑的，适宜做数据分析师。

  赞(19)

  回复(0)

  评论

  评论

  登录后参与评论