Dice是技术专家在其职业生涯各个阶段的首选职业目的地。我们的客户Pantheon正在寻找以下职位。今天通过Dice申请吧！
概述
高级数据工程师将领导可扩展的云和本地数据基础设施的设计、开发、自动化和优化，以支持企业应用程序、高级分析和AI/ML工作负载。在敏捷环境中运作，该角色需要与软件工程、基础设施和数据科学团队密切合作，以交付符合企业标准的安全、可靠和高性能的数据系统。
职责
- 使用Databricks、Delta Lake、Python、SQL和相关数据工程技术设计、构建和优化可扩展的ETL/ELT管道。
- 展示在PySpark和Databricks Lakehouse架构方面的专家级熟练程度，包括模式演变、ACID事务、数据质量执行以及对大型复杂数据集的成本和性能优化处理。
- 通过实施基于Lakehouse的青铜/白银/黄金架构、通过优化技术减少处理时间、执行如Great Expectations的数据质量框架以及增强存储和检索模式来提高数据生态系统效率。
- 与跨职能团队的数据科学家、工程师、产品负责人和业务利益相关者合作，将业务需求转化为支持AI/ML启用、特征工程、实时分析和生产级数据工作流的强大技术设计。
- 通过自动化、版本控制、测试框架以及数据管道和平台组件的可扩展部署模式加强CI/CD和数据治理实践。
资格
在Azure、Snowflake、Delta Lake、Databricks和CI/CD自动化方面有扎实背景，具备组织集成企业级数据架构所需的跨云、治理导向和自动化驱动的工程方法。
前三大技能：
- Azure
- Snowflake、Delta Lake和Databricks的数据知识
- CI/CD
