大数据软件开发
想要成为一名合格的大数据研发工程师(Bigdataresearchanddevelopmentengineers),首先就要了解大数据软件开发这个职业,大数据非传统型的互联网数据信息,大数据也包含了很多新的特征。互联网时代的发展,每天都产生各种各样的数据信息,数据来源很广,每天都有从各方面来临的数据信息,大数据格式多种多样,非结构化数据(Unstructureddata)、结构化数据(structureddata)、excel文件等等,而且大数据数量很大,至少要是TB级别的,甚至会达到PB级别的。既然数据总量如此之多,又各种类型的都有,增长数据也很快,那数据该如何汇总并且转化运用成自己所需要的数据信息呢?这就诞生了大数据研发工程师,大数据研发工程师在充分了解行情的基础之上,发挥其自身所具备的专业技能。
先扯一下大数据的4V特征:
1:数据量大,TB->PB
2:数据类型繁多,结构化、非结构化文本、日志、视频、图片、地理位置等;
(datatypeisvarious,structuredandunstructuredtext,logs,video,images,thegeographicalposition,etc.;)
3:商业价值高,但是这种价值需要在海量数据之上,通过数据分析与机器学习更快速的挖掘出来;
(highcommercialvalue,butthisvaluetakeonhugeamountsofdata,throughdataanalysisandmachinelearningmorerapidexcavation;)
4:处理时效性高,海量数据的处理需求不再局限在离线计算当中。
(processingtimelinessishigh,therequirementofthehugeamountsofdataprocessingisnolongerlimitedinoff-linecalculation.)
大数据软件开发工程师需要学什么呢?
我们从全国几个大城市招聘信息来了解,大数据软件开发工程师到底需要学什么及相应的月薪。
大数据开发工程师杭州(20000-40000元/月)
1、熟悉java或scala开发语言,了解python或go等语言,有3年以上开发经验2、了解hadoop生态,Hadoop,hive,HBase,Spark等,了解实时计算技术,包括storm,kafka,flume,druid等3、熟悉linux各项基本操作4、熟悉数据结构,对常用算法有所了解,有良好的数据思维5、有大规模数据分析、推荐、广告相关研发经验的优先6、有BI数据平台、数据仓库、日志采集,多维实时分析平台设计、开发、架构经验优先。
岗位职责(responsibility):
1、负责大数据平台基础组件功能设计、研发及维护工作;2、负责大数据采集、清洗、整合等工作;3、负责大数据平台文本挖掘分析等工作;4、负责相关功能设计文档撰写;5、负责BI及报表开发。任职要求:1、深厚的Java功底,多年的并发编程经验;2、参与过分布式高性能服务的设计开发过程,有大规模分布式系统的实践经验;3、熟悉HDFS/HBase/Hive/MapReduce/Storm/Spark等相关技术,有 MapReduce 程序的实战开发经验;4、熟悉Hadoop运行监控及调优技术;5、熟悉常见存储技术(Sqlserver ,Oracle, Mysql, NosqlDB、Redis、ElasticSearch),WebService/WebAPI(SOAP/json);6、熟悉Scala语言优先;7、计算机、软件工程及相关专业本科或以上学历,3年以上相关项目开发经验