首席数据工程师 – R01560587

圣弗朗西斯科 2天前全职 网络
面议
首席数据工程师 - R01560587 首席数据工程师 主要技能 - Snowflake数据架构和数据工程 - ETL基础知识、零拷贝克隆、SQL、SQL(基础+高级)、Python、数据仓库、Snowflake数据交换、时间旅行和安全保障、Snowpipe、SnowSQL、现代数据平台基础知识、数据建模基础、PLSQL、T-SQL、存储过程 职位要求 经验范围:12-15年经验,包括在Snowflake数据架构和数据工程方面的显著实践经验 主要职责: - 设计和实施可扩展的Snowflake数据架构,以支持企业数据仓库和分析需求 - 通过高级调优、仓储策略和高效的数据共享解决方案优化Snowflake性能 - 使用Python和DBT开发稳健的数据管道,包括建模、测试、宏和快照管理 - 实施并执行安全最佳实践,如RBAC、数据掩码和跨云数据平台的行级安全 - 架构和管理基于AWS的数据解决方案,利用S3、Redshift、Lambda、Glue、EC2和IAM进行安全可靠的数据操作 - 使用Apache Airflow编排和监控复杂的数据工作流,包括DAG设计、操作符配置和调度 - 利用Git等版本控制系统管理代码库并促进协作数据工程工作流 - 使用Apache生态系统工具(如Spark、Kafka和Hive)集成和处理大容量数据,了解Hadoop环境 必备技能: - 具有Snowflake的高级实践经验,包括性能调优和仓储策略 - 精通Snowflake安全功能,如RBAC、数据掩码和行级安全 - 熟练掌握用于数据工程任务的高级Python编程 - 深入了解DBT的数据建模、测试、宏和快照管理 - 拥有丰富的AWS服务经验,包括S3、Redshift、Lambda、Glue、EC2和IAM - 具有设计和管理Apache Airflow DAGs和调度工作流的广泛经验 - 熟练使用Git进行协作开发的版本控制 - 具有Apache Spark、Kafka和Hive的实践经验 - 对Hadoop生态系统有扎实的理解 - 精通SQL(基础和高级),包括SnowSQL、PLSQL和T-SQL - 强大的需求理解、演示和文档编写能力;能够将业务需求转化为清晰、结构化的功能/技术文档,并有效地向利益相关者展示。 优先技能: - 具有Salesforce数据云集成经验 - 熟悉Alation等数据编目工具 - 接触过实时流架构 - 有在多云环境中工作的经验 - 了解DevOps或DataOps实践 - 数据云技术认证 期望资格: - 计算机科学、信息技术、工程或相关领域的学士或硕士学位 - 具有Snowflake、AWS或数据工程技术的相关认证者优先 薪资:每年140-150美元