首席数据工程师 - R01560587
首席数据工程师
主要技能
- Snowflake数据架构和数据工程
- ETL基础知识、零拷贝克隆、SQL、SQL(基础+高级)、Python、数据仓库、Snowflake数据交换、时间旅行和安全保障、Snowpipe、SnowSQL、现代数据平台基础知识、数据建模基础、PLSQL、T-SQL、存储过程
职位要求
经验范围:12-15年经验,包括在Snowflake数据架构和数据工程方面的显著实践经验
主要职责:
- 设计和实施可扩展的Snowflake数据架构,以支持企业数据仓库和分析需求
- 通过高级调优、仓储策略和高效的数据共享解决方案优化Snowflake性能
- 使用Python和DBT开发稳健的数据管道,包括建模、测试、宏和快照管理
- 实施并执行安全最佳实践,如RBAC、数据掩码和跨云数据平台的行级安全
- 架构和管理基于AWS的数据解决方案,利用S3、Redshift、Lambda、Glue、EC2和IAM进行安全可靠的数据操作
- 使用Apache Airflow编排和监控复杂的数据工作流,包括DAG设计、操作符配置和调度
- 利用Git等版本控制系统管理代码库并促进协作数据工程工作流
- 使用Apache生态系统工具(如Spark、Kafka和Hive)集成和处理大容量数据,了解Hadoop环境
必备技能:
- 具有Snowflake的高级实践经验,包括性能调优和仓储策略
- 精通Snowflake安全功能,如RBAC、数据掩码和行级安全
- 熟练掌握用于数据工程任务的高级Python编程
- 深入了解DBT的数据建模、测试、宏和快照管理
- 拥有丰富的AWS服务经验,包括S3、Redshift、Lambda、Glue、EC2和IAM
- 具有设计和管理Apache Airflow DAGs和调度工作流的广泛经验
- 熟练使用Git进行协作开发的版本控制
- 具有Apache Spark、Kafka和Hive的实践经验
- 对Hadoop生态系统有扎实的理解
- 精通SQL(基础和高级),包括SnowSQL、PLSQL和T-SQL
- 强大的需求理解、演示和文档编写能力;能够将业务需求转化为清晰、结构化的功能/技术文档,并有效地向利益相关者展示。
优先技能:
- 具有Salesforce数据云集成经验
- 熟悉Alation等数据编目工具
- 接触过实时流架构
- 有在多云环境中工作的经验
- 了解DevOps或DataOps实践
- 数据云技术认证
期望资格:
- 计算机科学、信息技术、工程或相关领域的学士或硕士学位
- 具有Snowflake、AWS或数据工程技术的相关认证者优先
薪资:每年140-150美元