职位：GCP 数据工程师（Snowflake） - TI190925
主要职责
• 设计、开发和优化可扩展的数据管道和 ETL 工作流，使用 Google Cloud Platform（GCP），特别是利用 Big Query、Dataflow、Dataproc 和 Pub/Sub。
• 设计和管理涉及 Snowflake 和 Big Query 的安全、高效的数据集成。
• 编写、测试和维护高质量的 Python 代码，用于数据提取、转换和加载（ETL）、分析和自动化任务。
• 使用 Git 进行协作版本控制、代码审查和管理数据工程项目。
• 使用 Pulumi 实施基础设施即代码的实践，以管理和自动化 GCP 环境中的云资源。
• 应用清洁室技术设计和维护安全的数据共享环境，以符合隐私标准和客户要求。
• 与跨职能团队（数据科学家、业务分析师、产品团队）合作，提供数据解决方案，排除问题，并确保数据在整个生命周期中的完整性。
• 优化批处理和流式数据管道的性能，确保可靠性和可扩展性。
• 维护流程、数据流和配置的文档，以实现操作透明度。
所需技能
• 对 GCP 核心数据服务有强大的实践经验：Big Query、Dataflow、Dataproc 和 Pub/Sub。
• 精通使用 Python 进行数据工程开发。
• 深入了解 Snowflake——数据建模、安全数据共享和高级查询优化。
• 有使用 Git 进行源代码管理和协作开发的证明经验。
• 在使用 Pulumi（或类似的基础设施即代码工具）进行云基础设施的部署和支持方面表现出能力。
• 对云数据仓库中的清洁室概念有实际理解，包括隐私/合规考虑。
• 在数据管道和云环境中调试复杂问题的能力强。
• 有效的沟通和文档编写技能。
#J-18808-Ljbffr 
