Informatica数据工程师
Informatica数据工程师将在Hadoop到Snowflake迁移项目上工作和支持。
职位描述/职责:
• 构建数据管道,将数据从Hadoop迁移到Snowflake。
• 与数据分析师和业务终端用户密切合作,使用最佳技术和方法实施和支持数据平台。
• 分析系统运营数据(SLA、客户满意度、交付质量、团队效率等),以识别可持续改进的可行趋势。
• 与数据平台团队密切合作,构建系统化流程和服务,支持将数据集有效引入和管理到数据虚拟化层。
• 设计和实施可扩展的数据管道和数据服务模块,以满足业务用户不断增长的需求。
必备技能
• Informatica BDM
• Hadoop(HDFS、Hive、Impala)
• SQL
• Python
• Shell脚本
要求:
• 计算机科学、计算机工程或相关专业的学士学位。
• 在大数据领域拥有至少5年的数据工程师工作经验。
• 具备实施ETL管道的扎实工作知识,使用Informatica BDM(DEI)在数据仓库和大数据平台上,如RDBMS、Hadoop、Snowflake。
• 熟悉与Oracle、MS-SQL或MySQL等RDBMS的应用集成。
• 具备Oracle和MS-SQL的工作知识将是一个加分项。
• 具备在Linux(或类Unix操作系统)上使用作为开发环境的实际经验,并熟悉Linux/Unix环境中的Shell脚本和命令行工具。
• 具备以下技术的接触和知识将是一个优势:大数据平台:Snowflake、Hadoop(Spark、Hive、Impala、HDFS)编程和脚本:Python、Shell脚本SQL数据库:Oracle、MS-SQL AWS服务:S3、EMR
• 熟悉系统开发生命周期实施方法论(SDLC)和/或敏捷方法论,如Scrum和Kanban。
• 理解并应用代码版本控制、测试、CICD工作流和代码文档的良好行业实践。
• 良好的团队合作精神,具备较强的分析能力,并喜欢通过创新思路解决复杂问题。
• 具备与数据分析师、业务终端用户和供应商进行设计和开发解决方案的强大沟通/人际技巧。
• 擅长处理细节,对运营工作非常细致。
良好的技能:
• 对Oracle和MS-SQL的工作知识
• Snowflake
• AWS服务(S3)请将您的简历发送至
关于公司
U3 Infotech是一家技术解决方案、托管服务和人才管理解决方案公司,自2002年以来在亚太地区拥有超过20年的经验。我们的客户包括财富100强、跨国公司、领先的区域组织、政府机构和初创企业。我们与银行、保险、生物科学、制药、医疗保健、工程、产品和供应链领域的客户合作。
我们通过价值创造、解决复杂问题和应对客户业务机会的方式迅速增长。我们通过在各个层面上的深度承诺、创业心态、结果导向的方法和财务资源来区别于众多公司。