大数据运维平台(大数据智能运维平台)

本文目录：

• 1、什么是环保大数据平台的综合运维管理系统？
• 2、大数据运维岗位是干什么的
• 3、大数据运维工程师的具体职责描述
• 4、大数据运维工程师的基本职责
• 5、志翔科技参展数博会 大数据技术驱动工业和安全领域数智化升级
• 6、求大神答：国内常见的IT运维管理平台有哪些？

什么是环保大数据平台的综合运维管理系统？

所谓环保大数据平台的综合运维管理系统就是为各进驻单位与环保局业务协作，提高环保部门的工作效率和管理水平。智慧指间科技根据这个需求自主研制了环保综合运维管理系统。

该系统以流程处理为方向，实现各进驻单位的业务协作，帮助环保局将系统、人力和业务融合到一个适应性强、灵活性高且高度自动化统一的业务流程中，实现信息采集、加工、处理、存储、检索等环节的自动化，最大限度地提高信息的共享程度，提高环保部门的工作效率和管理水平

大数据运维岗位是干什么的

大数据运维指互联网运维，通常是属于技术部门。其职责：负责大数据平台的稳定性和性能优化；大数据项目的运维工作；针对业务的需求制定运维解决方案；完善监控报警系统，对业务关键指标进行监控和报警通知；负责大数据的方案架构及方案的落地；负责集群网络架构及机器的管理等

大数据运维工程师的具体职责描述

大数据运维工程师需要负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化。下面是我为您精心整理的大数据运维工程师的具体职责描述。

大数据运维工程师的具体职责描述1

职责：

1、负责数据平台的运维管理工作(部署、监控、优化、故障处理);

2、负责Hadoop/Spark/Flink/Elasticsearch/Kafka等系统的架构审核、容量规划、成本优化;

3、负责大数据平台的用户管理、权限分配、资源分配;

4、参与数据挖掘、机器学习的平台的设计、并给出可执行的运维方案;

5、参与数据平台的相关工具开发(包括自动化部署、监控、ETL等);

6、深入理解数据平台架构，发现并解决故障隐患及性能瓶颈;

7、ETL工具、调度工具、关系型数据库的运维。

任职资格：

1、本科以上学历，计算机软件相关专业;

2、1年以上大数据相关组件运维经验(hadoop/yarn/hbase/hive/spark/kafka等)，1年以上的CDH或HDP维护经验，3年以上系统运维相关经验;

3、深入理解Linux系统，能独立部署开源软件，熟练掌握一门以上脚本语言(shell/perl/python等)，熟悉python开发语言优先;

4、逻辑思维能力强，做事有条理，责任心强，工作积极主动，执行力强，有良好的团队协作意识。

大数据运维工程师的具体职责描述2

职责

1. 负责大数据ETL系统，运维及保障服务稳定可用;

2. 负责数据采集交换方案以及联调测试;

3. 负责采集交换任务的评审和上线;

4. 负责及时排除ETL流程故障，形成知识库，完善运维文档;

5. 负责监控和优化ETL的性能,持续性地提出改进自动化运维平台建议

技能要求

1. 计算机科学或相关专业本科及以上学历;

2. 熟悉Linux系统,熟练编写shell/perl/python一种或多种脚本语言;

3. 熟悉Hive、Hadoop、MapReduce集群原理，有hadoop大数据平台运维经验者优先;

4. 熟悉数据库的性能优化、SQL调优，有相应经验;

5. 抗压能力强，有强烈的责任心，良好的沟通能力、学习能力及团队合作能力。

大数据运维工程师的具体职责描述3

职责：

1、负责分布式大数据平台产品的运维和运维开发，保证其高可用和稳定性;

2、负责大数据系统架构的可运维性设计、容量规划、服务监控，持续优化服务架构、集群性能;

3、通过技术手段控制和优化成本，通过自动化工具及流程提升大数据平台运维效率;

4、为项目开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;

任职资格：

1、三年以上大数据运维相关工作经验，有大型互联网公司工作经验者优先，全日制本科及以上学历;

2、熟练掌握至少一门开发语言，有Java或Python语言开发经验优先;

3、精通Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;

4、熟悉Mysql等常用关系数据库，熟练编写SQL语句，有分布式nosql数据库应用、性能调优经验优先;

5、熟悉Linux环境，能够熟悉使用shell脚本;

6、对大数据技术有强烈兴趣，有志于往大数据方向深层次发展;

7、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;

8、具备较好的沟通能力、主动性及责任感。

大数据运维工程师的具体职责描述4

职责：

1、负责大数据集群的日常维护、监控、异常处理等工作，保障集群稳定运行;

2、负责大数据批处理管理以及运维;

3、负责大数据集群的用户管理、权限管理、资源管理、性能优化等;

4、深入理解数据平台架构，发现并解决重大故障及性能瓶颈，打造一流的数据平台;

5、跟进大数据前沿技术，不断优化数据集群;

6、有华为大数据平台运维经验优先;

岗位要求：

1、1年以上大数据运维或开发经验;

2、有良好的计算机和网络基础，熟悉linux文件系统、内核、性能调优，TCP/IP、HTTP等协议;

3、熟悉大数据生态，有相关(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的运维及开发经验;

4、熟练使用shell、python等脚本语言开发相关运维管理工具;

5、良好的文档撰写习惯;

大数据运维工程师的具体职责描述5

　 　职责：

1、负责公司内部及项目中大数据集群的构建，任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;

2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守，参与大数据基础环境的架构设计与改进;

3、深入研究大数据业务相关运维技术，探索新的运维技术及发展方向。

任职要求：

1、熟悉Linux基础命令操作，能够独立编写Shell脚本开展日常服务器的运维;

2、熟悉Hadoop生态圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安装与调优;

3、熟悉软硬件设备，网络原理，有丰富的大数据平台部署，性能优化和运维经验;

4、工作认真负责，有较强的学习能力，动手能力和分析解决问题的能力;

5、能够利用各种开源监控工具、运维工具，HA、负载均衡软件完成工作任务;

6、熟悉JVM虚拟机调优;

大数据运维工程师的基本职责

大数据运维工程师需要处理公司大数据平台各类异常和故障，确保系统平台的稳定运行。下面是我为您精心整理的大数据运维工程师的基本职责。

大数据运维工程师的基本职责1

职责:

1、技术保障各底层支撑系统的可靠性与稳定性;

2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;

3、负责技术文档手册编写，更新，经验总结沉淀，培训分享;

4、负责对新技术和方案进行调研，评估和引进，用技术去提升运维生产效率

任职资格:

1、熟悉常见的应用服务部署和调优(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、负载均衡集群的规划与搭建;

2、熟练使用Linux、TCP/IP网络协议栈，了解常用的Troubleshooting手段和常见性能指标

3、具有车联网平台运维的经验，精于容量规划、架构设计、性能优化;

4、熟悉主流PaaS云产品的使用，具有运维平台开发经验者、参与过开源产品的开发者优先;

5、优秀的沟通能力，出色的学习与钻研能力，良好的问题分析与解决能力;

6、对行业技术敏感度高且细致，善于思考，乐于发现，对解决具有挑战性问题充满激情。

　 　大数据运维工程师的基本职责2

职责：

1、负责维护服务器的运行，包括巡检、故障排除、数据备份等业务，保证服务器高质量、高效率运行状态;

2、负责服务器漏洞整改及补丁升级;

3、负责hadoop运维相关工作;

4、负责大数据平台的日常部署、升级、扩容、迁移;

5、负责高并发，大存储和实时流的Hadoop/spark大数据平台规划，运维，监控和优化工作。

任职资格：

1、2年左右服务器运维经验;

2、对linux基础运维命令熟悉，shell,python至少精通一种，如会scala语言可优先考虑;

3、熟悉Linux的维护和管理，熟悉bat及Shell脚本开发，能看懂Python/Scala优先;

4、做过大规模hadoop集群优先;

5、大数据项目：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大数据生态的平台搭建，监控，运维，调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。

大数据运维工程师的基本职责3

职责:

1、负责Hadoop平台搭建，运维，管理，故障处理。

2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。

3、对平台的Hadoop，Hbase，Kafka，Hive等进行优化。

4、建立Hadoop集群管理和维护规范，包括版本管理和变更记录等。

岗位要求:

1、有丰富的Hadoop生态系统的运维经验，了解Hadoop、Storm、Spark、Kafka这些组件的原理，具备部署、实施、维护hadoop 及相关组件的能力;

2、至少精通 Perl/Python/Shell脚本语言中的一种;

3、掌握Linux操作系统的配置，管理、优化以及各种常用命令，能够独立排查及解决操作系统层的各类问题;

4、分析问题能力优秀，善于从各种系统、应用日志中寻找出问题的原因。

5、有独立分析问题和解决问题的能力，能出差。

　 　大数据运维工程师的基本职责4

职责：

1.负责Hadoop、spark、hbase、oozie、hive等平台运营和优化工作，保障平台服务运行稳定、高效。

2.负责大数据方案架构及方案落地;

3.开发Hadoop大数据管理平台与监控建设;

3.负责hadoop平台部署、维护;生产问题、告警、故障处理及服务器维护、日常值班;

4.负责集群网络架构、机器管理等。

任职资格：

1. 全日制本科以上学历，三年以上后台系统运营工作经验;

2. 熟悉hadoop原理，具有Hadoop平台应用及管理经验，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等开源项目及部署、维护、调优;

3. 熟悉linux操作系统及调优;熟悉sql编程，熟悉Shell/Python/Java/Perl语言的一种或多种，有开发经验优先， 熟悉nagios,cacti,ganglia,zabbix,zenoss优先;

4. 对大数据和自动化运维开发有浓厚兴趣，有大规模hadoop运维经验者优先;有hadoop/hbase/spark/hive 开发经验者优先。

　 　大数据运维工程师的基本职责5

职责：

1. 负责大数据平台的稳定性和性能优化;

2. 负责大数据项目的运维工作;

3. 针对业务需求制定统一的运维解决方案;

4. 完善自动监控报警系统，对业务层面关键指标进行监控与报警通知;

任职要求：

1、熟练掌握hadoop平台搭建、维护，有平台优化经验;

2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等组件的原理，有阅读源码能力者优先;

3、熟悉腾讯云产品，有腾讯云EMR使用经验者优先考虑;

志翔科技参展数博会 大数据技术驱动工业和安全领域数智化升级

北京志翔 科技 股份有限公司(以下简称“志翔 科技 ”)利用大数据技术 探索 出一套数智化转型解决方案：结合智能电能表的回传 历史 数据，以及电表设备计量相关的信息数据，进行监测和分析。在此基础上先进行小规模的抽样和建模研判，而后再进行大规模抽检，进而有效判断出相应区域的失准器具，精准更换失准设备。

5月26日至28日，志翔 科技 的工业大数据和大数据安全技术产品将亮相中国国际大数据产业博览会(以下简称“数博会”)，围绕“数智变 物致新”主题展示最新技术应用成果。

大数据技术为企业节省数十亿元

志翔 科技 的智能电能表状态评价与更换产品，通过对智能电能表的在线监测、精准研判,对电力大数据检测实现从“定期检定”到“全程监控”的转变。大数据技术应用成果反映到财务数据中，志翔 科技 仅这一款产品，通过精准定位和更换失准智能电表，每年就能为电力企业节约数十亿元费用。

随着智能电表覆盖率的提升，大数据分析在电力行业的重要作用日益凸显。根据国家电网数据显示，目前国网系统接入的终端设备超过5亿只，国家电网规划预计到2025年接入终端设备将超过10亿只，2030年接入的终端设备数量将达到20亿只。

海量的电力大数据具有多重属性。国家电网有限公司大数据中心副主任程志华表示，电力大数据具有覆盖面广、实时性强、真实性高、经济属性强、行业分类规范、数据基础相对理想等特点。电力大数据的复杂性，以及智能化需求不断升级，为管理工作带来挑战。

早在2016年，志翔 科技 就洞察到电力大数据领域的商机，并根据市场需求逐步孵化拓展出大数据运维平台、服务平台和终端产品三大业务。

开篇所述的失准智能电表分析，定位即为其大数据平台和运维产品线中的一个产品。除此之外，市场新趋势如新能源 汽车 的发展，也推动电力行业的新支撑性应用出现，志翔 科技 也根据电力企业的需求，将大数据分析异常发现、定位和报警等功能应用于关口表、充电桩和户变等方面。

如果说大数据平台和运维产品是利用新方法解决新问题，那么志翔 科技 的电力大数据服务平台则是应用新技术解决老问题发展到新规模的挑战，促进电力行业的精细化运营管理。典型的应用场景便是构建异常用电分析模型，实现智能化窃电诊断，以及利用线损分析模型自动诊断结合专家人工诊断，进行智能线损治理。

电力大数据终端产品则是更具未来感的业务，主要是通过端点部署，解决电力IoT的智能优化需求，数据可用于辅助居民、电力公司、机构政府等做出科学决策。

志翔 科技 高级副总裁伍海桑解释道，通过终端产品对用电数据的分析处理，能了解用户用电负荷类别及使用状态；分析功能可集成为模块与下一代电能表搭售，可用于环保监测、用电安全监测、碳计量等事关 社会 发展大方向的场景。目前志翔 科技 的一系列电力大数据分析产品和服务以及应用已经覆盖全国20多个省市，在电力行业积累了丰富的经验，随着电力产品的演进而不断优化，其大数据分析模型在实践验证中已经迭代到第四代。

清华系创始团队瞄准安全业务

2020年，志翔 科技 来自工业领域的大数据技术应用的收入已占据公司营收的重要部分。而最早，志翔 科技 将其这块业务定义为大安全，作为公司创业起步的方向——大数据安全中的一部分。

清华系的创始团队背景，让志翔 科技 甫一诞生便将技术根植于公司的基因中。公司创始人之一蒋天仪本科毕业于清华大学电子工程系，在美国完成博士学位后，曾服务过芯片企业Marvell；创始团队的许多成员包括伍海桑等也都毕业于清华电子系。目前，志翔 科技 团队中研发、产品相关人员占比达到60%，其中半数以上学历都在研究生以上。

数字经济时代，网络安全服务需求激增，催生了巨大的市场空间。赛迪顾问报告显示，2020年中国网络安全市场规模达到734.6亿元，同比增长20.8%。志翔 科技 自2014年开始聚焦大数据、云计算等一系列技术发展带来的安全问题，为集成电路设计、政府、金融等行业客户提供解决方案，开拓了紫光展锐、寒武纪、中兴、国家开发银行、中国农业银行等行业标杆客户。

公司的大数据安全产品基于“零信任”和“无边界”的理念，面向政法、金融、高 科技 行业数字化转型所面临的“上云”和“云上”的提供数据与业务安全等问题。2019-2020年，志翔 科技 的至明产品连续两年入选Gartner《云工作负载保护平台市场指南》。

高 科技 定位的公司和清华系创始团队，令志翔 科技 备受资本青睐。2014年8月成立的志翔 科技 ，在成立一年内即获得近千万元的天使轮投资和数千万元的A轮融资，2017年6月获得国家基金领投的B轮融资，并在2019年10月完成B+轮融资。

谈及未来发展方向，在伍海桑看来，公司所具有的服务能力不仅在纵深上可以向更多的电力行业企业拓展，进入电力系统中“发输变配用”各个环节，从广度上也能将服务延伸至太阳能发电、智能制造等其他能源领域和工业门类。在“2030年前碳达峰、2060年前碳中和”的目标下，大数据技术还将释放新红利。

求大神答：国内常见的IT运维管理平台有哪些？

天眼 Monitor可视化大数据运维平台，能够做到使Hadoop以及相关的大数据软件更容易使用，平台综合创建、管理、监视 Hadoop 集群，维度覆盖 Hadoop 整个生态圈，包括 Hive、Hbase、Sqoop、Zookeeper 及Spark等。

本文来源：https://www.yuntue.com/post/71461.html | 云服务器网，转载请注明出处！