职责描述： 1. 团队协作与培训： 与其他团队紧密合作，如开发、数据分析团队，提供技术支持；定期分享运维经验和有效实践，提升团队整体技术水平。 2. 技术升级与创新： 持续跟踪大数据领域的最新技术趋势，评估并引入新的工具和技术以优化现有架构，提高运维效率。 3. 集群管理与优化： 管理大规模分布式集群，进行容量规划、资源调度、性能监控和故障排查，确保集群的稳定运行和高效利用 。 4. 大数据平台运维： 负责Hadoop、HBase、Hive、Spark等大数据平台的规划、部署、监控、系统优化，确保平台的高可用性和扩展性。 5. 运维体系设计与优化： 设计并实施高效的大数据运维体系，包括但不限于自动化监控、故障预警、性能调优和数据备份恢复策略 任职要求： 1. 计算机、数学等专业本科或以上学历，8年以上大数据领域工作经验； 2. 必须具备Hadoop集群搭建、部署、维护能力。升入理解大数据相关框架和组件，如 Hadoop（HDFS、YARN）、Flink、Hbase、Hive、Spark、Zookeeper、Kafka、 Elasticsearch； 3. 具备大数据组件性能分析、debug、排障能力； 4. 有数据流处理、大规模集群管理的经验（不少于100台）； 5. 具备企业级大数据平台项目的架构、建设以及管理经验； 6. 熟练使用Java、Python、Scala中的至少两种 7. 关注大数据的技术发展趋势，对前沿的大数据技术有一定的了解 8. 良好的沟通能力和团队合作精神，能够清晰地与非技术背景的团队成员交流。