职位概述
高级数据工程师负责设计和领导可扩展的数据架构和数据管道,以支持分析和商业智能。此角色专注于数据优化、工作流程自动化,并确保在云环境中可靠的数据操作。
最低资格要求
8年以上IT经验,其中5年以上在以下领域:
Python、PySpark和SQL进行大数据处理
数据湖(Iceberg格式)、ETL(Informatica)和数据质量
AWS服务:S3、Glue、Redshift、Lambda、EMR、Airflow、Postgres
BASH/Shell脚本
具有医疗保健数据经验和领导数据团队的能力
敏捷开发经验
强大的问题解决和沟通能力
职责
设计和维护可扩展的数据管道和架构
领导数据项目并确保最佳实践
跨团队协作以满足数据需求
优化数据系统以进行分析和报告
确保生产环境中的数据质量和系统可靠性