我们正在寻找一位具有深厚专业知识的实战型数据工程师，专注于构建和管理流式及批量数据管道。理想的候选人应具备在云平台（如 AWS 和 Databricks）上操作大规模数据系统的丰富经验。此角色还涉及与超大规模云服务商和数据平台供应商密切合作，以评估和记录现代数据平台的概念验证（PoCs），同时有效地与组织内的高级利益相关者进行沟通。
主要职责：
• 使用现代数据工程工具和框架设计、开发和维护流式及批量数据管道。
• 处理大量结构化和非结构化数据，确保高性能和可扩展性。
• 与云服务提供商和数据平台供应商（如 AWS、Microsoft Azure、Databricks）合作，进行数据平台解决方案的概念验证。
• 评估概念验证结果，并提供全面的文档，包括架构、性能基准和建议。
所需经验与技能：
• 作为数据工程师的证明经验，重点关注流式和批处理。
• 在基于云的数据平台（如 AWS / Databricks）上的实际经验。
• 精通 Python、Scala 或 Java 编程。
• 具备数据建模、ETL/ELT 过程和数据仓库的经验。
• 具有与超大规模云服务商或数据平台供应商进行概念验证及文档记录的经验。
优先资格：
• 持有 AWS、Azure 或 Databricks 的认证。
• 具备 Snowflake、IBM DataStage 或其他企业数据工具的经验。
• 了解 CI/CD 管道和基础设施即代码（如 Terraform、CloudFormation）。 
