Dice是技术专家在其职业生涯各个阶段的领先职业目的地。我们的客户Tekcel8正在寻求以下职位。请通过Dice申请！
职位概要
我们正在寻找一位具有8年以上设计和交付大规模数据平台实际经验的资深数据工程师。理想的候选人将领导稳健数据管道的设计，推动数据架构决策，并在AWS和Azure云环境中工作时指导初级工程师。
主要职责
- 架构、设计和实施可扩展、容错的数据管道（批处理和流处理）
- 使用Python、SQL、Spark/PySpark领导ETL/ELT框架的开发
- 设计和优化数据湖、湖仓和数据仓库
- 在AWS和Azure上构建和管理云原生数据解决方案
- 优化数据平台的性能、成本和可扩展性
- 定义并执行数据工程标准、最佳实践和治理
- 确保数据质量、数据沿袭、安全性和合规性要求
- 与数据架构师、分析师、数据科学家和业务利益相关者合作
- 指导初级数据工程师并进行代码审查
- 排查复杂数据问题并推动根本原因分析
- 支持数据系统的CI/CD管道和基础设施即代码
必备资格
- 计算机科学、工程或相关领域的学士学位（或同等经验）
- 8年以上数据工程或相关角色的经验
- 精通Python和SQL
- 拥有Apache Spark / PySpark的丰富实践经验
- 拥有丰富的AWS经验（S3、Glue、Redshift、EMR、Lambda、Kinesis等）
- 拥有丰富的Azure经验（ADF、Synapse、Databricks、ADLS、Event Hubs等）
- 深刻理解数据建模和仓库设计
- 拥有编排工具的经验（Airflow、Prefect、Azure Data Factory）
- 拥有关系型、NoSQL和大数据技术的丰富经验
优先资格
- 拥有Databricks Lakehouse架构的经验
- 拥有实时/流数据管道的经验
- 拥有Docker、Kubernetes和容器化数据工作负载的实践经验
- 拥有Terraform或云原生IaC工具的经验
- 接触过数据治理、元数据管理和目录工具
- 在敏捷/Scrum环境中工作的经验
加分项
- 支持企业BI平台（Power BI、Tableau、Looker）的经验
- 了解机器学习数据管道
- 在大规模或受监管企业环境中的经验
- 良好的沟通和利益相关者管理技能
