数据架构师
芝加哥或密歇根州 本地需求
长期
合同
数据架构师负责设计、构建和优化我们的现代数据生态系统。理想的候选人应具备丰富的 AWS 云服务、Snowflake 和 dbt 的经验,并对可扩展的数据架构、ETL/ELT 开发和数据建模最佳实践有深入理解。
________________________________________
主要职责
• 使用 AWS、Snowflake 和 dbt 架构、设计和实施可扩展、可靠和安全的数据解决方案。
• 开发支持分析、机器学习和商业智能需求的端到端数据管道(批处理和流处理)。
• 领导传统数据系统向云原生架构的现代化和迁移。
• 定义并执行数据工程最佳实践,包括编码标准、CI/CD、测试和监控。
• 与数据分析师、数据科学家和业务利益相关者合作,理解数据需求并将其转化为技术解决方案。
• 通过查询调优、仓库大小调整和成本管理来优化 Snowflake 性能。
• 在数据平台上建立和维护数据治理、安全性和合规性标准。
• 指导和培养初级数据工程师,提供技术领导和方向。
________________________________________
所需技能与资格
• 12 年以上数据工程经验,其中至少 3 年在云原生数据环境中工作。
• 在 AWS 服务(如 S3、Glue、Lambda、Step Functions、Redshift 和 IAM)方面具备实际操作经验。
• 在 Snowflake 数据建模、仓库设计、性能优化和成本治理方面有丰富经验。
• 具备 dbt(数据构建工具)模型开发、文档编写和部署自动化的成功经验。
• 精通 SQL、Python 和 ETL/ELT 管道开发。
• 具备 CI/CD 管道、版本控制(Git)和工作流编排工具(Airflow、Dagster、Prefect 等)的经验。
• 熟悉数据治理和安全最佳实践,包括基于角色的访问控制和数据脱敏。
• 对数据建模技术(Kimball、Data Vault 等)和数据架构原则有深入理解。
________________________________________
优先资格
• AWS 认证(例如,AWS 认证数据分析专家、解决方案架构师)。
• 强大的沟通和协作能力,在敏捷环境中有成功的工作记录。
Munesh
CYBER SPHERE LLC