Iris的客户，全球最大的跨国投资银行和金融服务公司之一，正在寻找一名高级AWS云数据工程师，为长期机会提供职位。
工作地点：安大略省密西沙加
职位描述：
资深级别的云数据工程师，具有AWS的专业知识，特别是Amazon EMR和EKS，以及Python、Spark和Hive的熟练程度。理想的候选人将负责开发、维护和优化用于在云环境中处理和分析大型数据集的脚本和查询。候选人还将在创建和管理ETL流程方面发挥重要作用，以实现无缝数据集成，确保最佳性能并符合数据安全法规要求。
职责：
• 开发、维护和优化Python、Spark和Hive脚本和查询，用于在云环境中处理和分析大型数据集，主要在Amazon EMR和EKS上。
• 使用Spark、Hive和相关工具设计和实现高效的ETL流程，用于将数据提取、转换和加载到基于云的数据存储和分析平台。
• 配置和管理Amazon EMR和EKS集群，确保可扩展性和高性能的数据处理能力。
• 与跨职能团队合作，将来自各种云和本地源的数据整合到统一的基于云的数据生态系统中。
• 对Spark和Hive工作负载、Python代码和云资源进行微调和优化，以改善性能和成本效益。
• 通过实施适当的数据安全措施，确保符合相关云安全和数据隐私法规，如GDPR。
• 利用AWS Glue和Amazon Data Pipeline等云ETL工具和服务，简化数据处理工作流程，提高整体数据管理效率。
• 利用GIT等版本控制系统管理代码库，并促进开发团队之间的无缝协作。
资格：
计算机科学、数据工程或相关领域的学士学位；优先考虑硕士学位。
在云平台上具有实践经验，包括AWS、Amazon EMR和EKS。
在云环境中，使用Python、Spark和Hive进行大规模数据处理和分析的专业知识。
对ETL流程和数据整合技术有扎实的理解，并具有在云环境中实施此类流程的实际经验。
熟练配置和管理Amazon EMR和EKS集群，以实现最佳性能和可扩展性。
熟悉数据安全和合规标准，包括GDPR，并能够实施适当的安全措施。
具有使用AWS Glue和Amazon Data Pipeline等云ETL工具和服务的经验。
熟悉版本控制系统，尤其是GIT，用于管理代码库和促进协作开发。
较强的解决问题的能力，能够在跨职能团队环境中有效工作。
优秀的沟通技巧，能够将复杂的技术概念有效传达给非技术利益相关者。
关于Iris Software Inc.
Iris Software拥有4000多名员工，并在印度、美国和加拿大设有办事处，提供技术服务和解决方案，帮助客户完成快速而广泛的数字转型，实现业务目标。作为财富500强和其他顶级金融服务和许多其他行业的公司的战略合作伙伴，Iris提供价值驱动的方法 - 高技能专家、软件工程专业知识、尖端技术和灵活的参与模式的独特融合。高客户满意度转化为与许多客户的长期关系和首选合作伙伴地位，他们依靠我们30多年的技术和领域专业知识来未来保护他们的企业。Iris的员工致力于支持关键应用程序，工作场所文化在过去几年中赢得了众多奖项，包括印度认证的最佳工作场所；IT和IT-BPM领域的前25名GPW；Ambition Box最佳工作场所，在IT/ITES领域排名第三；以及美国新泽西州最佳工作场所。 
多伦多