职位概要
客户正在寻找一名高级数据工程师,以支持工具启用功能的现代化。此角色负责在Snowflake云数据存储中设计、建模、开发和管理数据仓库对象,利用ETL管道(Talend、Informatica)和API。理想的候选人是一个自我驱动的战略思考者,能够在协作环境中茁壮成长,并在Snowflake、数据工程和分布式系统方面具有深厚的技术专长。
主要职责
- 使用Snowflake设计、实施和管理可扩展的数据解决方案,以优化存储和处理。
- 将现有数据域/流从关系数据库迁移到Snowflake云数据存储。
- 识别、优化和实施新的/现有的数据工作流和完整性实践。
- 将数据治理和数据科学工具与Snowflake生态系统集成。
- 开发数据模型和ETL流程,以确保高质量地导入到Snowflake。
- 与团队成员合作设计和实施有效的数据工作流和转换。
- 维护和优化Snowflake环境以提高性能和降低成本。
- 为概念验证计划、文档和数据管理与治理的最佳实践做出贡献。
- 参与代码审查,并提供建设性反馈以改进交付成果。
- 使用Talend/Informatica设计和开发数据导入管道,遵循行业最佳实践。
- 编写高效的SQL和Python脚本,用于大数据集分析和端到端自动化。
- 使用Snowflake REST API设计和实施数据分发层。
- 支持在Snowflake和Power BI中开发语义模型(优先)。
资格要求
- 需要计算机科学、软件工程、信息技术、MIS或相关领域的学士学位;优先考虑硕士学位。
- 7-10年在Snowflake中进行数据分析、数据对象开发和建模的经验。
- 拥有Snowflake REST API的实际操作经验。
- 拥有Informatica和Talend的强大ETL经验。
- 精通SQL查询开发和Python脚本,用于自动化和分析。
- 具备在分布式系统环境中工作的能力。
- 对关系数据库(如DB2)和数据转换实践有深入了解。
- 优秀的问题解决能力和协作、团队导向的心态。
- 强大的数据建模概念和关系型及云数据存储的架构设计能力。
- 有效的沟通技能(口头和书面),能够在全球范围内与IT和业务团队合作。
- 熟悉数据可视化工具如Tableau和Power BI者优先。
- 具备与数据科学家合作将机器学习模型集成到Snowflake中的经验。
工作条件
- 企业技术环境中跨职能的IT和业务单元协作。
- 快节奏的角色,需要战略思维、技术专长和适应能力。