四川建设人才培训网站,河南建设厅网站查证,平面广告设计培训,注册网站英语写在前面
本文已获得作者授权#xff0c;作者的博客地址#xff1a;https://www.cuiliangblog.cn/ 原文链接#xff1a;浅谈运维工程师的开发能力的培养 一、运维工程师发展路线
1. 传统运维
侧重点是解决具体的问题。要求具备扎实的底层的知识储备#xff0c;如网络、l…写在前面
本文已获得作者授权作者的博客地址https://www.cuiliangblog.cn/ 原文链接浅谈运维工程师的开发能力的培养 一、运维工程师发展路线
1. 传统运维
侧重点是解决具体的问题。要求具备扎实的底层的知识储备如网络、linux、数据库、硬件设备调试、服务部署等。以及一定的故障处理能力和经验能够快速解决问题实施变更。能够处理突发故障顺利完成服务的部署变更的实施。
2. 云计算运维
侧重点是开源技术方案的使用为云服务的稳定提供保证。随着业务不断发展服务器规模扩大就需要具备大规模服务器的批量管理能力。要求对开源技术解决方案有一定的掌握主要面向基础运维平台建设运维工具的开发提高运维效率。硬件层面的资产管理。系统层面的管理例如vmware openstack虚拟化以及docker k8s容器化。应用层面例如prometheus监控elk日志集群数据库等开源服务管理。重点在于广泛使用开源技术保障服务的稳定为项目的稳定运行提供保障。
3. DevOps
侧重点是开发运维平台要求较高的开发能力。主要是管理应用的全生命周期负责自动化运维平台的设计和开发实现运维标准化、自动化、平台化。例如开发CMDB平台、作业平台、工单系统、告警平台等。以及充当业务开发与业务运维中间人的身份从中发掘业务瓶颈并推动优化与改进。
4. SRE
侧重点是从业务角度提升运维质量*。负责软件和系统的架构设计运维流程的优化让公司服务以及系统运行得更加可靠更加稳定扩展性更好更能有效地利用计算机资源。要求技能包括算法数据结构编程能力网络编程分布式系统架构设计故障排除等能力。SRE重视开发重视效率追求自动化专注于整个软件系统的生命周期管理。 需要明确的一点是DevOps 首先是一种文化后期逐渐独立成一个职位而SRE从一开始就明确是一个职位。DevOps更需要开发能力而SRE更需要知识的广度。DevOps 工程师掌握相关技能之后也有机会可以发展为 SRE 工程师。 而一位合格 SRE 工程师在有选择情况下面我相信不会去转型为 DevOps 工程师。
二、运维开发技能学习路线 三、常见的运维开发项目案例
1. 公有云管理平台
● 项目背景 大型互联网公司出于成本、可靠性等因素往往会购买多家云厂商产品提供服务。但在日常运维工作中高频的操作往往也只是查看主机配置信息、当前机器状态、以及资源到期时间、服务器强制重启、CDN资源刷新、COS存储查看、日志下载等操作。
可以根据上述需求开发一套公有云管理平台。将所有资源列表形式展现出来配置信息、当前状态、到期时间等关键内容直观展现出来并使用标签的方式实现资产的便捷筛选。
只授予开发人员常用操作例如CDN刷新日志下载COS存储查询等操作权限避免登录云服务器控制台误操作情况发生。
● 项目亮点 使用腾讯云、阿里云、华为云等公有云厂商sdk实现资产信息的查询等高频操作
使用celery实现信息异步定时更新入库
用户权限管理开发人员和运维人员权限分离
使用antv-g6实现资产树结构
使用echarts将资产统计信息可视化展示
2. CMDB
● 项目背景 企业中IT资源种类繁多(机房、服务器、存储设备、网络设备、项目业务划分等)且需要频繁更新传统的excel表格维护更新方式已不能满足需求。此时就需要通过开发资产管理系统实现资产的自动发现和信息同步更新保证数据的准确和一致性。除此之外还开放API接口与现有的运维体系结合为作业系统、工单系统等平台提高IT数据支撑。
● 项目亮点 由于资产的字段对应关系频繁更改传统的关系型数据库已无法满足需求。通常采用MongoDB存储数据。使用mongoengine库完成数据库的操作。
使用ansible的API接口调用setup模块抓取服务器硬件信息支持手动同步和定时同步信息。
也可以使用shell脚本或者go开发exporter定期向cmdb接口上报服务器信息。
提供动态 Inventory 清单接口方便ansible调用执行批量化操作。
提供完善的资产信息、模型、对应关系增删改查接口方便其他工具平台调用。
3. 作业平台
● 项目背景 面对批量管理主机的需求已有成熟的ansible以及web工具Tower但是缺乏现成的API接口无法与现有的自动化运维平台直接调用。
随着服务器规模增多存在大量的定时同步、备份、清理等任务脚本。需要集中化管理定时任务并对任务执行情况一目了然。
当进行服务批量部署、软件包批量更新时具备批量文件传输的能力。
记录所有通过作业平台页面或者API调用的操作记录提供任务重试和历史记录查询的功能。
● 项目亮点 将常用自动化操作例如给开发人员创建普通用户账户设置权限、常见服务部署、配置文件更新等操作提前编写playbook。当需要执行常用自动化操作时调用CMDB接口获取动态主机清单并在前端传入相关变量参数完成playbook变量替换使用ansible执行playbook完成相关的自动化操作。
使用对象存储或者ansible所在服务器本地目录实现文件上传功能。存放常用shell脚本、需要批量分发的文件便于ansible调用相关文件执行自动化操作。
开发定时任务管理模块使用异步多线程执行。支持任务结果查询验证功能实现定时任务的统一集中化管理。
开放提供API接口支持传参调用执行批量任务并返回执行结果。
4. 工单系统
● 项目背景 在公司内部项目上线、配置变更、调整权限等操作往往都按照运维管理制度依次由负责人审批通过后再执行相关具体操作。传统的资源申请基本是通过邮件存在沟通成本高消息处理不及时的问题且出现问题后回溯麻烦。
开发一套工单系统可以将运维平台各个自动化程序组件相关联打通可以极大的规范内部管理流程提升沟通及管理效率。
● 项目亮点 与公司内部邮箱或通讯软件集成实现每步流程申请人和相关审批人邮件或消息通知。
与钉钉或企业微信的用户列表集成避免人员流动时频繁手动更新维护数据。
与作业平台集成当领导完成审批后直接调用作业平台API执行一系列自动化的操作。
在前端使用流程图方式展示整个操作的完成流程以及当前完成进度。
5. 告警平台
● 项目背景 为了保障业务稳定通常会采用多种监控服务实现告警通知但通常都存在告警复杂而凌乱无法将告警信息进行灵活分类缺乏统一管理的能力。这样就加大了运维人员对告警信息的判断难度进而无法快速的的定位到根因也就无法快速的解决问题。
传统的告警配置告警通知人员/通知组告警等级在创建告警时已配置不具备灵活将告警内容通知至值班人员和告警长期未处理告警严重性等级提升的功能。
● 项目亮点 告警统一收集汇总。将现有的Alertmanager、grafana、kibana、以及其他的脚本告警统一收集展示方便运维人员清楚知道当前系统存在的问题。并提供历史告警查询功能便于分析当前容易产生的告警促使不断优化改进降低告警产生。
灵活的分配策略。根据不同的应用选定不同的筛选条件将条件相结合让指定的告警通知到特定的人。并于现有的值班系统相结合使每条告警按不同的告警等级以微信、邮件、短信、电话的方式通知到值班人员和第一负责人。
当告警在指定的时间段内未恢复时启动告警升级策略。将告警通知至第二负责人以此类推。
与工单系统集成自动将告警事件指派给对应负责人并创建工单提示负责人及时处理故障。
6. 应用发布系统
● 项目背景 应用发布系统使用现有的Jenkins发布平台或者Gitlab CI均可。但是缺乏与现有的运维平台建立连接的能力。理想的应用发布系统应当是当开发人员提交申请单领导审批完成触发自动更新操作从发起到结束形成闭环。可以利用Jira、Gitlab的webhook功能以及Jenkins插件的灵活性实现应用发布系统与工单系统的紧密结合。为项目的敏捷开发、快速迭代提供运维保障支撑。
● 项目亮点 与工单系统紧密结合。当开发人员完成新功能开发后只需在工单系统提交新版本上线流程。待领导审批后执行自动化部署操作。
与Jenkins紧密结合。通过webhook自动化完成分支更改、部署发布流程减轻人工运维操作工作量。
与CMDB紧密结合。当完成版本发布后自动更新相关记录。
四、运维平台案例参考
1. 蓝鲸智云平台
https://bk.tencent.com/docs/
2. spug
https://spug.cc/docs/about-spug/
3.CODO
https://github.com/opendevops-cn/opendevops
五、常见运维场景自动化思路
1. 新建资源 2. 发布流程 3. 配置变更 4. 故障处理 六、学习资料视频推荐
1. python后端
python菜鸟教程适合有一定开发基础直接查看文档节省时间 https://www.runoob.com/python3/python3-tutorial.html
python黑马程序员视频适合从0开始学习入门 https://yun.itheima.com/course/542.html
django视频教程主要学会url view models admin https://www.bilibili.com/video/BV1jx41197Qv?p1
django文章专利目前已知国内研究django最深入的博主了 https://pythondjango.cn/django/basic-tutorials
flask教程(学会了django后学习flask直接参考文档即可) https://www.cainiaojc.com/flask/
DRF视频教程(学完DRF基础知识后跟着老师做一个项目就可以完全掌握了) https://space.bilibili.com/481846903
request爬虫(根据实际需求网上现查即可如果想系统学习推荐购买书籍) https://item.jd.com/13527222.html
2. 前端
html css视频教程(黑马的pink前端必须强烈推荐) https://www.bilibili.com/video/BV14J4114768?p1
JavaScript视频教程(推荐李南江自带二倍速的男人) https://www.bilibili.com/video/BV1rt4y1Q7wo?p1
jQueryajax(了解即可现在基本都是前后端分离开发) https://www.bilibili.com/video/BV17W41137jn?p1
echarts数据可视化(还是推荐黑马的pink) https://www.bilibili.com/video/BV1v7411R7mp?p1
vue视频教程(还是建议大家多看官方文档毕竟国人写的还是很容易理解) https://www.bilibili.com/video/BV1Zy4y1K7SH?p1
vue2 PC端项目实战(适合新人入门代码并没有高度组件化) https://www.bilibili.com/video/BV1eh411d7zD?p1
vue3 手机端项目实战(接近实际项目开发强烈推荐) https://www.bilibili.com/video/BV1YK4y1W7k5?p1
微信小程序(微信小程序入门较为简单主要参考官方文档即可) https://www.bilibili.com/video/BV1WP4y137EE
七、运维思考
1. 如何从0开始实现运维自动化
梳理目前手头的工作你会发现其中有一半的运维工作都存在重复性或者满足某些特定场景条件下触发且每次操作的步骤基本相同存在较少的意外情况发生。那么就对这些常见问题进行分类和梳理考虑能否将这些工作内容改造成自动化操作。起步初期不一定需要做多么完善的平台出来可以先着手于解决实际运维工作中的一个个具体的实际小问题并听取其他同事的意见帮助他们开发特定场景需求下的自动化工具积累开发经验。先从最基本的操作自动化做起逐步拓展到特定场景下的自动化处理再到最后实现智能化运维。
运维自动化不是一蹴而就的他是一个漫长的逐步演进的过程。通常都是遵循这样的演变运维人员手动支撑 运维标准规范化 运维工具化 平台自自动化。
2. 运维自动化与运维标准
要想解决运维自动化的问题前提是在运维团队内部已形成运维标准化/规范化。试想一下如果同样的一个nginx服务由不同的人操作部署。由于每个人操作习惯不同且没有运维标准必然会导致服务的部署方式、部署目录、启动用户五花八门。当你想开发一个工具管理所有nginx服务时你会发现有半数的工作量是要编写一堆if条件判断来适配各种各样的环境目录问题。
因此要想实现运维自动化的首要条件是避免差异性实现环境的统一。因为团队中每个人的习惯不同没有规范必将导致服务器配置差异这将在无形中大大增加了运维的难度。只有实现了运维标准规范化才能为后续的自动化打下坚实的基础。
但是需要注意的是在运维标准的实践过程中标准的制定很容易但是人为执行起来却很难。因此在规范制定之时应该要满足大多数人的风格习惯制定的规则简明扼要不要让理解规则成为负担最后是需要运维团队每个人需要明确规范的目的让运维规范成为大家的共识。才能让每个人在以后的运维工作严格的按规范去执行、不断的进行优化改进为自动化运维打下坚实的基础。
3. 运维思路转变
纵观整个IT技术岗位运维人员应该算是最为“苦逼”的一波人了没有经历过半夜被故障告警电话吵醒、通宵实施变更的运维职业生涯是不完整的。但是公司的管理者往往有些对技术了解并不深入。无论是出现网站访问缓慢还是系统各种错误管理层首先想到的第一件事就是找运维这个“救火员”。从一定意义上讲保障业务的稳定运行是运维人员的基本岗位职责但是不排除很多情况下是因为开发人员代码质量低导致运行出现问题然而有些开发人员未经自查便得出结论是系统环境的问题所以运维充当“背黑锅”是常事。不仅要承担别人犯下的错误还要拼死拼活地去解决可能非自身原因造成的问题。
但是随着IT规模越来越大、系统越来越复杂以故障事件驱动的“救火员”依靠人工检查处理的工作方式不仅会让自己的工作被动还效率低下。而且随着最近几年各家公有云厂商产品不断完善云计算对于运维人员来说既是机遇也是挑战。一方面云计算使得运维门槛越来越低运维人员不再需要关注机房、硬件、网络、系统这些底层的技术保障只需要在控制台web页面点点鼠标就能完成日常的运维操作遇到疑难问题也只需要提交客服工单即可解决但是只会提交工单的运维又怎么能为企业带来更高的价值呢
基于以上原因自动化运维应运而生。自动化运维的基本目标解决的是“能程序完成的事情尽量不要用人去干”具体来说就是把周期性、重复性、规律性的工作都交给工具去做最终达到提升运维效率的目的。简单来说就是运维思路的转变不再像以往那样仅仅是保证服务的正常稳定运行出现故障能第一时间修复的这种以事件为驱动的运维工作。而是要让自己的精力从底层简单的日常运维工作中解放出来做一些更具价值的事以建设一套完善的自动化的运维体系为目标充分发挥自己的核心竞争力毕竟没有哪个开发能比运维更懂运维自动化产品的需求。在运维自动化建设中每个运维人员即是优秀的产品经理也是产品的开发者和使用者。
原文链接
浅谈运维工程师的开发能力的培养 https://www.cuiliangblog.cn/detail/article/39
