AWS数据工程师 - 纽瓦克,新泽西州 - 全职永久 - 现场
客户:TCS
职位描述
技能:AWS数据工程师
- AWS Glue, Lambda, Athena, Pyspark, Redshift, EMR, AWS RDB, AWS DynamoDB, AWS Glacier, Python。
- 至少5年的数据集成和管理专业经验。
- 3年以上AWS Glue、Lambda函数、AWS Athena、Redshift、Pyspark的实际开发经验。
- 拥有AWS GLUE ETL工具的实际工作经验,并对任何ETL工具(如Informatica cloud, Talend等)有良好的了解。
- 必须具有SQL和数据库(例如:Postgres, Redshift)实现数据模型的工作经验。
- 精通Python语言和Apache Spark。
- 具有参与这些项目的工作经验。
- 对AWS分析服务有较强的实际操作经验,特别是Lambda、Step functions、EMR、Athena、Glue、Data-Pipelines。
- 理解并具备AWS服务(如EC2, S3)的技术知识。
- 应在之前执行的项目中使用过这些技术。
- 在数据ETL/管道/集成/自动化工作方面具有丰富的AWS开发经验。
- 应对BI和分析解决方案开发生命周期有深刻理解。
- 完全灵活于AWS云开发和分析自动化。
- 应对AWS服务(Redshift, Glue, Lambda, Athena, S3, EC2)、Visual Studio、SQL Server、SSIS、Matillion;Python有深刻理解。
- 在实时可扩展工作流实施方面有丰富经验。
职责:
- 开发人员将成为专注于Sprint敏捷实施的敏捷开发团队的一员。
- 开发人员将使用各种服务开发来自异构源(如数据库、文件、API、Kafka流等)的数据摄取管道。
- 开发人员可能会被分配从AWS数据平台交付数据以用于不同的消费用例和服务。
- 开发人员可能会参与同行评审,以确保代码的准确性和良好的架构设计和实施。
- 开发人员可能会被要求进行客户演示或其他项目演示。
- 开发人员必须积极主动地升级影响问题,并具备寻找替代方案的资源。
- 开发人员有时可能需要在紧迫的时间表下工作。
地点
纽瓦克,新泽西州