职位:GCP云架构师
地点:多伦多,安大略省
工作模式:混合(每周4天)
职位描述:
角色概述:
我们正在寻找一位经验丰富的GCP云架构师,具备在Google Cloud Platform上设计和实施可扩展数据解决方案的专业知识。理想的候选人应具备使用Spark Serverless和Spark on GKE构建ETL工作流的实践经验,并熟悉GCP原生服务用于数据处理、监控和治理。
主要职责:
架构和设计解决方案:
- 在GCP上开发和实施云原生架构以进行数据处理和分析。
- 设计ETL工作流,利用Spark Serverless和Spark on GKE构建大规模数据管道。
数据管理和分析:
- 使用BigQuery和CloudSQL优化数据存储和查询。
- 确保所有数据平台的强大数据治理、质量和数据血统。
监控和日志记录:
- 使用Cloud Logging、Cloud Monitoring和Stackdriver等工具实施基于GCP的日志记录和监控解决方案。
- 为数据工作流和基础设施建立警报和可观测性实践。
安全和合规:
- 在GCP环境中执行数据安全、合规和治理的最佳实践。
协作与领导:
- 与数据工程师、分析师和业务利益相关者紧密合作,提供可扩展和可靠的解决方案。
- 为团队成员提供GCP最佳实践的技术指导和指导。
所需技能和资格:
技术专长:
- 拥有丰富的Google Cloud Platform架构和服务经验。
- 具有使用Spark Serverless和Spark on GKE进行ETL工作流的实践经验。
- 熟练掌握BigQuery、CloudSQL、Cloud Functions、Cloud Run和GCP原生数据服务。
数据治理和质量:
- 了解GCP中的数据治理、数据质量和数据血统的框架和工具。
监控和日志记录:
- 具备实施Cloud Logging、Cloud Monitoring和相关可观测性工具的经验。
其他技能:
- 较强的问题解决和分析能力。
- 出色的沟通和利益相关者管理能力。
优先资格:
- 拥有GCP专业云架构师认证。
- 具备容器编排(Kubernetes)和CI/CD管道的经验。
- 熟悉数据安全和合规标准(GDPR、HIPAA等)。