我们正在寻找一位动手能力强的高级数据工程师，具备构建和管理流式及批处理数据管道的深厚专业知识。理想的候选人将拥有在 AWS、Databricks 或 Snowflake 等云平台上操作大规模数据系统的丰富经验。此角色还涉及与超大规模云服务提供商和数据平台供应商的紧密合作，以评估和记录现代数据平台的概念验证（PoC），并有效地与组织内的高级利益相关者进行互动。
主要职责：
• 使用现代数据工程工具和框架设计、开发和维护流式和批处理数据管道。
• 处理大量结构化和非结构化数据，确保高性能和可扩展性。
• 与云服务提供商和数据平台供应商（例如 AWS、Microsoft Azure、Databricks、IBM、Snowflake）合作，进行数据平台解决方案的 PoC。
• 评估 PoC 结果并提供全面的文档，包括架构、性能基准和建议。
• 与架构主管、企业架构师、产品负责人和安全团队等关键利益相关者互动，以使数据平台计划与业务和技术战略保持一致。
所需经验和技能：
• 作为数据工程师的证明经验，重点关注流式和批处理。
• 在 AWS、Databricks、IBM、Snowflake 等云数据平台方面的动手经验。
• 精通 Python、Scala 或 Java 的编程技能。
• 具有数据建模、ETL/ELT 过程和数据仓库的经验。
• 有与超大规模云服务提供商或数据平台供应商进行 PoC 的经验。
优先资格：
• AWS、Azure 或 Databricks 的认证。
• 有 Snowflake、IBM DataStage 或其他企业数据工具的经验。
• 熟悉 CI/CD 管道和基础设施即代码（例如 Terraform、CloudFormation）。
• 了解数据治理框架和合规标准。 
