云工程师

纽约 2天前合同 网络
面议
角色:AWS 数据工程师 地点:新泽西州惠帕尼,现场工作 持续时间:6-12 个月(可延长) 职位概述: 我们正在寻找一位高技能的 AWS 数据工程师,具备 Python、Kafka、AWS Lambda 和 Kinesis 的强大专业知识。理想的候选人将设计和实施可扩展的实时数据管道,并确保在分析生态系统中可靠的数据摄取、转换和交付。 主要职责: • 使用 AWS 服务(Kinesis、Lambda、Glue、S3、Redshift 等)设计、构建和优化数据管道和流媒体解决方案。 • 开发和维护利用 Kafka 和 Kinesis 的实时数据摄取框架。 • 编写清晰、高效和可重用的 Python 代码用于 ETL 和数据转换。 • 使用 AWS Lambda 实现事件驱动和无服务器架构。 • 与数据科学家、分析师和应用团队合作,交付高质量的数据解决方案。 • 监控和排除生产环境中的数据流和性能问题。 • 确保数据质量、安全性以及符合企业标准的合规性。 所需技能与经验: • 5 年以上数据工程师或类似角色的经验。 • 对 AWS 云服务(Kinesis、Lambda、Glue、S3、IAM、Redshift)具有强大的实践经验。 • 精通 Python 用于数据工程和自动化任务。 • 具有 Apache Kafka 用于流媒体和消息管道的经验。 • 对数据建模、ETL 工作流和分布式数据系统有深入理解。 • 具备 SQL 和数据仓库概念的工作知识。 • 熟悉 CI/CD 管道和基础设施即代码(IaC),使用 CloudFormation 或 Terraform 者优先。