翔云白云手机网站建设,厦门网站设计公司排名,宏发建设有限公司网站,可以自己制作图片的软件大数据是什么大数据是做什么的#xff1f;大数据主要有哪些职位 #xff1f;大数据运维工程师数据仓库开发工程师ETL工程师大数据开发工程师BI工程师算法工程师大数据平台开发工程师大数据架构师讲述一下自己的大数据学习之路大数据是做什么的#xff1f; 2014年#xff0c…
大数据是什么大数据是做什么的大数据主要有哪些职位 大数据运维工程师数据仓库开发工程师ETL工程师大数据开发工程师BI工程师算法工程师大数据平台开发工程师大数据架构师讲述一下自己的大数据学习之路大数据是做什么的 2014年马云提出“人类正从IT时代走向DT时代”。如果说IT时代是以自我控制、自我管理为主那么到了 DT (Data Technology) 时代则是以服务大众、激发生产力为主。以互联网或者物联网、云计算、大数据和人工智能为代表的新技术革命正在渗透至各行各业悄悄地改变着我们的生活。 在大数据时代人们比以往任何时候拥有更丰富的数据资源IDC的报告显示预计到2025年全球数据总量将达175ZB相当于175万亿GB 近半数据存储于公有云。数据作为一种新的能源催生了很多产业的发展。但是如果不能对这些数据进行有序、有结构地分类组织和存储不能有效的挖掘数据的价值那么将是一笔巨大的损失。 大数据发展起来的原因就是为了满足不断变化的业务需求大数据就是对这些海量数据进行数据采集、数据计算、数据服务和数据应用构建一个良好的数据体系使得数据能有序及时准确的被人类所使用。
大数据主要有哪些职位 大数据的岗位主要有大数据运维工程师、数据仓库开发工程师、ETL工程师、大数据开发工程师、BI工程师、算法工程师、大数据平台开发工程师和大数据架构师等岗位。 下面我从岗位职责、工资待遇发展前景、学习到什么地步能找到一个工作的方面来阐述一下各个岗位的一些基本情况。
大数据运维工程师 岗位职责 搭建大数据平台比如CDH/HDP等工具的部署。这个工作仅限于自己搭建大数据平台的公司如果公司购买的是阿里云腾讯云数据中台就省去了部署这些平台的工作。优化大数据平台的配置当对数据处理上开发环境的时候可能会因为数据量的庞大涌入而导致数据量很难处理过来产生一些配置超出阈值造成一些大数据组件因资源不够而退出角色。简单来说就是配置低了组件卡退出了需要修改一些配置文件这也是大数据运维工程师的职责。由于需求的不断增多需要一个专业的运维团队对数据开发提交的脚本进行上生产还有定时任务的设置理清任务之间的依赖关系上线、下线和定时设置使得大数据平台有条不紊的运行下去。负责大数据相关集群的监控/保健/扩容/版本升级和调优。 工资待遇 应届生的待遇在杭州的话7-8k左右1-3年经验9—14K3-5年经验15k起 发展前景 发展前景和所做的工作难度有一定的关联大数据运维入门难度较低是一个靠攒经验的岗位并且如果遇到项目上线的加班较多中小公司大数据运维岗还好。所有岗位没有好坏之分适合自己的才是最好的。 学到什么地步可以找到工作 首先如果对于比较成熟的阿里云数据中台来说只要懂得如何使用工具熟悉操作和使用就可以了但大部分的运维工程师招聘时的要求是熟悉hadoop、hive、zookeeper、hbase、spark、kafkaes等工具的配置和优化。熟悉linux开发环境会使用shell/java/python中的一门脚本语言。
数据仓库开发工程师 岗位职责 熟悉数据仓库分层架构模型设计具备海量数据处理、及性能调优熟悉开源大数据处理技术栈对Hadoop/Spark/Hive/Flink/ClinkHouse/Druid/Hbasepresto/ES熟知和使用有较强的编程能力及开发规范意识至少熟悉Java、scala、python等其中一门编程语言熟悉数据仓库领域知识和技能者优先包括元数据管理、数据质量系统、主数据管理对数据仓库权限的划分数据建模及标准的限定 工资待遇 应届生一般不招除非很优秀因为需要有一定数据建模经验1-3年经验15k左右3-5年经验15k起 发展前景 数据仓库开发就像是在了解业务之后设计模型的职位打个比方来了一大批货你根据货物的数量货物的类型来对货物的存储设计可行性方案并设计货物之间的关联。这是一个很有发展性的工作如果大学实习能进入一家公司学习这方面的知识是一个不错的选择。 学到什么地步可以找到工作 了解Hadoop/Spark/Hive等大数据工具熟练使用OLAP的数据建模工具如Kylin学习数据建模学习数据仓库分层及权限的划分对元数据管理Atlas和数据质量管理有所了解
ETL工程师 岗位职责 使用datax、flume、canal、kettle、sqoop和flinkx一种或多种工具如果对于公司有数据集成平台只需要会使用数据集成平台就可以了熟练掌握至少一种关系型数据库(Oracle,MySQL,SQL Server等)并熟练掌握SQL开发并有SQL调优经验熟悉数据仓库的基本理论并有参与数仓设计或建设的经验有较强的业务分析能力能够构建正确合理的数据开发模型熟练掌握一种ETL工具有完整ETL流程的开发及维护经验对ETL开发有整体认知熟悉hadoop,hive,spark等体系框架了解大数据基本原理和概念 工资待遇 应届毕业生6-9k1-3年经验10-15k3-5年经验15-20k 发展前景 ETL(Extract Transform and Load)是抽取、转换、加载的意思这个岗位可能是所有岗位中比较容易找到工作的原因就是无论一个公司它是否有发展大数据只要他们做系统都免不了有数据采集的工作如果公司没有开发数据集成化平台就会使用一些开源的数据采集工具比如datax、flume、canal、kettle、sqoop和flinkx发展前景可以说适合入门大数据之后还是要向数仓设计数据开发等领域学习 学到什么地步可以找到工作 首先在B站上找课程学习datax、flume、canal、kettle、sqoop和flinkx工具的使用再把hadoop、hive、hbase、mysql、linux命令学习一下就可以找到一个合适的工作了
大数据开发工程师 岗位职责 使用hivesql、sparksql和flinksql进行离线和实时的数据开发精通SQL语言能够复杂大规模sql进行优化。精通JavaScalaPython语言等其中一种或者多种编程语言。熟悉Hadoop生态环境精通以下一种或多种大数据技术如flink、kafka、hdfs、spark、hive等。 工资待遇 应届生8-12k1-3年15k左右3-5年15起 发展前景 有人说做大数据的朋友不就是SQLboy吗说的对也不对刚开始做大数据开发的工作的时候确实是写各种SQLhivesqlsparksqlflinksql。但是还是写这些sql只是入门之后的进阶就是学习自定义UDF函数如何使用scala语言编写sql以spark DSL形式的进行数据分析之后就是接触用户画像推荐算法等项目需要长时间的经验沉淀有很大的发展前景。 学到什么地步可以找到工作 首先要熟练使用MySql的语法学习增删改查关联表左连接右连接内连接全连接等还有一些函数的使用第二步就是学习hadoop、hive、spark、hbase的基础知识学习hivesql、sparksql的使用。udf函数的使用。对数据仓库、数据建模有一定的了解。基本上就可以找到工作了。
BI工程师
岗位职责 熟练使用一种至多种BI工具如FineReport、FineBI、SuperSet、Datav等可视化软件。熟悉数据仓库理论精通SQL语言及相关SQL优化熟悉Oracle、MySQL、Hive、MPP(地图)等其中一种或多种数据存算引警基本原理参与BI移动端和PC端需求收集分析、理解需求将需求转化为可视化图表参与BI页面可视化设计、对应数据模型设计、相应文档撰写负责BI项目的页面可视化开发和验证交付实现BI前端页面和其它应用系统集成参与定位并解决BI异常问题参与完成业务方临时取数需求 工资待遇 应届生7K起1-3年经验11k起3-5年经验14k起 发展前景 BI(Business Intelligence商业智能)又称商业智慧或商务智能指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。淘宝双十一大屏、医院出入人次大屏、平台PV(页面访问量)、平台UV(页面独立IP访客)就是以最小粒度对访问IP进行去重、柱状图、折线图、饼图、地图可视化等组件的制作。做BI的工作适合喜欢美术的朋友看到自己完成的大屏杰作也是一种享受。有一定的发展前景。 学到什么地步可以找到工作 首先学习一些开源的可视化工具FineBISupersetEcharts的使用然后了解hadoop、hive组件的知识熟悉数据仓库理论。就差不多可以找到一份工作了。
算法工程师 岗位职责 钻研算法懂得调用基本算法的API接口使用SparkML自己训练模型达到解决业务的问题。 热爱人工智能技术热爱解决问题热爱编程热爱学习: 有丰富的Linux使用经验熟练掌握Shell等一门以上脚本语言熟练掌握SQL等数据库相关查询语言 熟练使用Python语言熟练使用至少一种其它编程语言包括但不限于C/C、Java、C#、Scala、Lua等 熟悉常用的机器学习、深度学习、数据挖掘算法 有用户画像、匹配推荐、异常检测、归因预测、主动学习、派单优化等人工智能领域经验者优先 熟练使用主流深度学习框架如tensorflow、pytorch等熟练使用HIVE、Hbase、ES、Spark等大数据平台工具以及Docker、Kubernetes等云计算平台工具 工资待遇 应届生8K起1-3年经验20k起3-5年经验25k起 发展前景 做算法工程师学习难度较大大部分公司招聘需要大厂经验或者高学历很有发展前景不过并不适合大数据入门可以沉下心来钻研算法的朋友或者在大数据工作几年可以考虑往这方面转毕竟算法工程师在所有岗位中可替代性是最低的含金量也是最高的。 学到什么地步可以找到工作 首先需要学习数据挖掘方面的知识学习用户画像、匹配推荐等项目的知识、熟练使用HIVE、Hbase、ES、Spark等大数据平台工具熟练使用主流深度学习框架如tensorflow、pytorch【我没有从事过这方面的工作只能靠学习经验和了解讲述自己的见解仅供大家参考】
大数据平台开发工程师
岗位职责 主导高性能实时数仓平台建设专注于实时计算、即时计算、流式计算主导服务端后台编码工作攻克各种分布式高并发、大容量、数据隔离、系统解耦等方面的技术难关确保高性能实时计算平台系统稳定性、性能和扩展性调试。优化开源组件对大数据组件进行二次开发有sqoop和hive二次开发经验者熟练使用etl表达式进行数据清理计算机相关专业3年以上工作经验有数据集成、数据分析、数据研发、数据质量、数据安全、数据治理、数据目录等大数据平台类工具软件研发经验者Java基础扎实熟悉高性能I/0、并发编程JVM原理机制精通Spring Boot、 SpringCloud、Redis、Netty等开源框架熟悉分布式系统架构设计模式能合理应用常用分布式技术进行架构设计具备解决分布式系统负载均衡、一致性保障、高可用等问题的能力有相关架构设计经验者优先 工资待遇 应届生基本不招特别优秀的除外1-3年经验15k左右3-5年经验15k起 发展前景 我觉得大数据可以分为俩大类一类叫基于平台进行开发比如运维、开发、BI等职位另一类叫对大数据平台进行研发对大数据平台的开源工具进行二次研发集成为数据中台又要求拥有对java框架的知识可以说既要熟悉大数据开源组件的特性又要懂得平台的搭建是一个很有挑战的职位具有很大的发展前景。 学到什么地步可以找到工作 这个职位的要求比较多如果你想做这个工具首先你要接触Java后台框架的知识如Spring Boot等知识有一定的项目经验二是做ETL的工作懂得开源采集工具的集成三是懂得运维的工作熟悉各个组件的配置对组件进行二次研发还要对数据质量、数据安全和数据治理等方面的知识有所了解需要3年左右的工作年限才能找到一份适合的工作。
大数据架构师
岗位职责 负责数据交换平台研发、参与大数据平台架构选型、参与公司大数据平台的设计和开发工作、参与公司大数据开发规范的制定工作、协调各个岗位之间的工作精通开发语言 (Scala、Python、Java、R语言)中的一种以上熟悉大数据框架(Spark、Flink、Spark、Streaming)熟悉大数据技术知识 (Hadoop、HDFS、HBase、Hive )熟悉数仓知识、熟悉数据中台知识、熟悉数据库知识 (关系型、非关系型、图数据库等) 工资待遇 应届生基本不招特别优秀的除外1-3年也基本不招特别优秀的除外3-5年经验30K起 发展前景 大数据架构师是项目流程的制定者给运维、开发和BI等工程师分配工作协调跟进项目的进度参与公司大数据开发规范的制定工作很有发展前景这个岗位很吃经验还需要情商社会是一个大熔炉并不是技术最厉害就能当上领导多方面发展协调各个部门工作的能力也很重要很锻炼人。 学到什么地步可以找到工作 首先要在大数据行业摸爬滚打三年工作经验以上熟悉运维、大数据开发、数仓开发、BI开发的工作具有统筹领导的能力技术很牛可以找到一份不错的工作。
讲述一下自己的大数据学习之路
当我第一次听到大数据这个词的时候是在2018年的春天在毛坦厂复读的一个下午班里开班会班主任念了一篇关于大数据的文章具体讲了什么我已经记不得了总结起来就是大数据行业以后在社会上将会很受欢迎这也是我对大数据最初的认识。高考结束我顺利的考上了大学选专业的时候请教了我的表哥他建议我选计算机或者大数据填报志愿的时候我每个学校的第一第二个志愿全是计算机和大数据自己也如愿的选上了数据科学与大数据技术专业大数据专业是学校第一届开设的专业可能有点小白鼠的感觉当时学的知识就是计算机学习的知识比如c、java、python、数据结构、算法分析、计算机网络、操作系统、Hadoop等知识。大学时学的知识不足以我对大数据有一个清楚的认识我甚至上到大二结束我都不知道企业想要掌握什么样的员工我就给自己定下了一个目标考研究生从大三下学期开始学习考研知识经历了考研的7个月左右的学习最后事与愿违没有考上为了毕业后找工作学习大数据考研结束第二天2021年12月29日我就去培训班学习了系统的学习了6个多月把大数据的知识大致都学了一遍所有的学习只能在工作中进行检验实践是检验真理的唯一途径。2022年8月1日自己找到了人生中第一份工作职位为大数据工程师由于入职的是一家中小公司大数据发展才刚刚开始在这个公司从搭建环境到设计开发最后的BI可视化全程参与对平台数仓开发、BI可视化大屏、维度建模、用户画像、推荐算法都有所实践也是了解了很多学习到了不少知识。希望在未来的工作中自己能不忘初心砥砺前行我的梦想成为一名合格的大数据架构师朋友一起加油吧
