角色:AWS 数据工程师
地点:新泽西州惠帕尼,现场工作
持续时间:6-12 个月(可延长)
职位概述:
我们正在寻找一位高技能的 AWS 数据工程师,具备 Python、Kafka、AWS Lambda 和 Kinesis 的强大专业知识。理想的候选人将设计和实施可扩展的实时数据管道,并确保在分析生态系统中可靠的数据摄取、转换和交付。
主要职责:
• 使用 AWS 服务(Kinesis、Lambda、Glue、S3、Redshift 等)设计、构建和优化数据管道和流媒体解决方案。
• 开发和维护利用 Kafka 和 Kinesis 的实时数据摄取框架。
• 编写清晰、高效和可重用的 Python 代码用于 ETL 和数据转换。
• 使用 AWS Lambda 实现事件驱动和无服务器架构。
• 与数据科学家、分析师和应用团队合作,交付高质量的数据解决方案。
• 监控和排除生产环境中的数据流和性能问题。
• 确保数据质量、安全性以及符合企业标准的合规性。
所需技能与经验:
• 5 年以上数据工程师或类似角色的经验。
• 对 AWS 云服务(Kinesis、Lambda、Glue、S3、IAM、Redshift)具有强大的实践经验。
• 精通 Python 用于数据工程和自动化任务。
• 具有 Apache Kafka 用于流媒体和消息管道的经验。
• 对数据建模、ETL 工作流和分布式数据系统有深入理解。
• 具备 SQL 和数据仓库概念的工作知识。
• 熟悉 CI/CD 管道和基础设施即代码(IaC),使用 CloudFormation 或 Terraform 者优先。