角色描述
职位:亚马逊 ETL 开发人员 / AWS 云 ETL 开发人员 - L5/L6
地点:美国
职位概述 -
我们正在寻找拥有 10 年以上经验的亚马逊 ETL 开发人员,负责设计、开发和维护 ETL(提取、转换、加载)流程,以管理亚马逊云服务(AWS)中的数据管道。
主要职责和技术技能:
技术技能:
• ETL 工具:Talend(最好有)
• 数据库:Snowflake、Oracle、亚马逊 RDS(Aurora、Postgres)、DB2、SQL Server 和 Cassandra,
• 大数据和亚马逊服务:Apache Sqoop、AWS S3、Hue、AWS CLI、亚马逊 EMR、亚马逊 MSK、亚马逊 Sagemaker、Apache Spark
• 数据建模工具:Archimate(非强制 - 次要/优选)、Erwin、Oracle 数据建模器(次要/优选)
• 调度工具:Autosys、SFTP、AirFlow(优选。任何资源都可以学习如何使用它)
注意:(黄色高亮的技能是强制性的)未高亮的,即使没有,也应在入职后学习。
主要职责:
• 设计、构建和自动化使用 AWS 服务(如 Apache Sqoop、AWS S3、Hue、AWS CLI、亚马逊 EMR、亚马逊 MSK、亚马逊 Sagemaker 和 Apache Spark)的 ETL 流程。
• 开发和维护数据管道,将来自不同来源的数据移动和转换到数据仓库或数据湖中。
• 通过验证、清理和监控 ETL 流程确保数据质量和完整性。
• 优化 ETL 工作流,以提高 AWS 环境中的性能、可扩展性和成本效率。
• 解决与数据处理和 ETL 工作流相关的问题。
• 实施和维护数据管道和基础设施的安全措施和合规标准。
• 记录 ETL 流程、数据映射和系统架构。
• 实施 IAM 角色和访问控制等安全措施。
• 诊断和解决与 AWS 服务、基础设施和应用程序相关的问题。
• 精通大数据工具和 AWS 服务:包括与数据存储和处理相关的 Apache Sqoop、AWS S3、Hue、AWS CLI、亚马逊 EMR、亚马逊 MSK、亚马逊 Sagemaker、Apache Spark。
• 强大的 SQL 技能:用于查询数据库和在转换过程中操作数据。
• 编程和脚本能力:主要使用 Python,自动化任务,开发自定义转换,并通过 SDK 和 API 与 AWS 服务交互。
• 数据仓库和建模专业知识:理解数据仓库概念、维度建模和模式设计,以优化数据存储和检索。
• 具有 ETL 工具和技术的经验:Talend。
• 数据质量管理技能:确保整个 ETL 过程中的数据准确性、完整性和一致性。
• 熟悉 DevOps 实践:包括 CI/CD 管道和基础设施即代码。
• 具有保险领域的经验。
所需工作经验 - 10 年以上
资格:
• 至少具有 10 年以上软件开发工作经验的人。
• 教育资格:来自知名大学的任何学位。
所需认证:
• Talend、Snowflake、AWS 认证解决方案架构师或 AWS 数据分析师。
关于 Mphasis
Mphasis 应用下一代技术帮助企业在全球范围内转型。以客户为中心是 Mphasis 的基础,体现在 Mphasis 的 Front2Back 转型方法中。Front2Back 利用云和认知的指数力量,为客户及其最终客户提供超个性化的数字体验(C=X2C2TM=1)。Mphasis 的服务转型方法通过在企业的遗留环境中应用数字技术,帮助“缩小核心”,使企业能够在变化的世界中保持领先。Mphasis 的核心参考架构和工具、速度和创新以及领域专业知识和专业化是与知名客户建立强大关系的关键。
平等机会雇主:
Mphasis 是一个平等机会/积极行动的雇主。我们为申请者和现有员工提供平等的就业机会,并在评估合格候选人时不考虑种族、性别、国籍、血统、年龄、肤色、宗教信仰、婚姻状况、遗传信息、性取向、性别身份、性别表达、性别(包括怀孕、母乳喂养和相关医疗条件)、心理或身体残疾、医疗状况、军事和退伍军人身份或任何其他受适用联邦、州或地方法律、政府法规和行政命令保护的状态或条件。查看法律海报中的 EEO,查看法律补充中的 EEO。要查看薪酬透明度反歧视条款,请点击查看 E-Verify 发布信息,请点击。
Mphasis 致力于为残疾人士提供合理的便利。如果您因残疾需要合理的便利以搜索和申请职业机会,请发送电子邮件至 accomodationrequest@mphasis.com 并告知我们您的联系信息和请求的性质。