数据工程师 ETL

新加坡 4天前全职 网络
5.5万 - 8.2万 / 月
我们正在寻找一位技术娴熟且经验丰富的大数据工程师加入我们的团队。理想的候选人需至少有4年在大数据环境(如Cloudera数据平台)中管理数据工程工作的经验。成功的候选人将负责设计、构建、维护和支持大数据平台。 工作地点:MAS办公室,合同职位 • 职责 • 监督大数据平台的日常运营,以确保高可用性、可靠性和性能。 • 主动监控大数据平台服务、组件和集群,以识别潜在问题。根据需要采取纠正措施以维护平台健康。 • 管理大数据平台的配置、升级和补丁,确保所有服务都是最新的。 • 与主管部门的技术团队合作,确保新解决方案的顺利部署和采用,以支持数据摄取、处理和工作流。 • 维护平台配置、故障排除步骤和事件解决的清晰详细文档。 • 持续监控并解决平台安全漏洞。实施补丁策略以解决已识别的漏洞并维护安全环境。 • 开发自动化脚本以简化管理任务、平台健康并确保操作一致性。 • 确保IT解决方案的顺利运营和服务水平。 • 支持生产问题 我们寻找的条件 • Cloudera数据平台(如HDFS、YARN、HIVE、Spark、Impala、Ranger、操作系统、安全性和网络)的实际操作经验、知识和故障排除能力。 • 具有使用Cloudera Manager、Zabbix、Grafana、Splunk、SyslogNG等监控工具的实际经验。 • 熟悉中间件应用程序,如Informatica、Denodo和脚本语言,如bash、python或shell脚本用于自动化。 • 具有云技术经验,如AWS、Azure者优先。 • 能够解决从系统资源到应用程序堆栈跟踪的复杂问题。 • 在各个数据中心或混合云环境中实施高可用性、高性能、高安全性系统的记录将是一个额外的优势。 • Cloudera认证管理员或类似认证者优先。 • 优秀的沟通能力以与跨职能团队合作。 • 能够处理高压情况并管理关键事件。