高级数据工程师
我们正在寻找一位高技能的高级数据工程师加入我们的团队。
关于这个角色：
高级数据工程师将负责设计和构建强大的数据管道，以从IT基础设施、监控系统和云环境中摄取、转换和加载高容量、高速度的数据。
数据工程职责：
• 使用Apache NiFi、Spark、Airflow、Flink、Kafka、Talend等框架设计并构建ETL管道。
• 使用Python / Go / Java / Ruby开发批处理和实时数据流。
• 优化ETL作业以实现可扩展性、容错性和低延迟。
• 实施数据验证、清洗和标准化流程，以确保AI模型输入的一致性。
• 使用REST API或事件驱动架构与AIOps平台和机器学习管道集成。
• 开发和维护强大的数据管道，以从各种来源（如网络设备、应用程序、数据库、API、云存储）摄取、过滤、转换和加载数据。
应用程序和后端开发：
• 使用Python / Go / Java / Ruby设计并构建后端服务（微服务、API），以支持数据摄取、元数据服务和配置管理。
DevOps和编排：
• 使用Elastic Stack、Apache Airflow、Prefect或Dagster等工具调度和监控ETL作业。
• 实施CI/CD管道以部署ETL服务和全栈应用程序。
所需技能：
• 精通一种或多种编程语言，如Python、Ruby、Go、Java、JavaScript/TypeScript。
• 精通一种或多种数据工程工具，如ETL框架、编排工具、数据存储解决方案、流处理平台、数据湖/文件存储。
附加要求：
• 有与Splunk、Dynatrace、AppDynamics、New Relic、Elastic Stack等工具集成的经验。
• 熟悉ITSM系统（例如ServiceNow）和CMDB集成。
• 理解指标/日志/跟踪及其在AI驱动操作中的价值。 
新加坡