该职位要求混合办公，每周在本地办公室工作2到3天。
职责
- 参与将遗留数据仓库迁移到基于谷歌云的数据仓库
- 与数据产品经理、数据架构师合作，设计、实施并交付成功的数据解决方案
- 帮助为基础数据仓库和数据集市架构数据管道
- 在谷歌云数据环境中设计和开发非常复杂的ETL管道
- 我们的遗留技术栈包括Teradata，新技术栈包括GCP云数据技术如BigQuery和Airflow，语言包括SQL、Python
- 维护详细的工作文档和更改记录，以支持数据质量和数据治理
- 支持QA和UAT数据测试活动
- 支持向更高环境的部署活动
- 确保解决方案的高运营效率和质量，以满足SLA并支持对客户（数据科学、数据分析团队）的承诺
- 积极参与和倡导敏捷/敏捷实践，以确保团队的健康和流程改进
基本资格
- 4到8年以上在非常复杂环境中开发大型数据管道的数据工程经验
- 非常强的SQL技能，能够在Google BigQuery环境中使用自定义ETL框架构建非常复杂的转换数据管道
- 接触过Teradata并能够理解复杂的Teradata BTEQ脚本
- 精通Python编程技能
- 强大的Airflow作业构建和调试问题技能
- 能够优化BigQuery中的查询
- 拥有谷歌云数据技术（GCS、BigQuery、Dataflow、Pub/Sub、Data Fusion、Cloud Function）的实践经验
优先资格
- 具有云数据仓库技术BigQuery的经验
- 具备GCP（GCS、Data Proc、Pub/Sub、Data Flow、Data Fusion、Cloud Function）等云技术经验者优先
- 有Teradata经验者优先
- 具有使用Airflow等作业编排工具的丰富经验，并能够构建复杂作业
- 使用自定义ETL框架编写和维护大型数据管道
- 能够使用Python自动化作业
- 熟悉数据建模技术和数据仓库标准方法和实践
- 具有使用Github等代码版本控制库的丰富经验
- 良好的脚本技能，包括Bash脚本和Python
- 熟悉Scrum和敏捷方法论
- 具有强烈的细节关注和优秀的分析和沟通能力的问题解决者
- 能够在现场/离岸模式下工作并能够领导团队
职位描述
数据工程师负责构建可靠且可扩展的数据基础设施，使组织能够获得有意义的洞察力，做出数据驱动的决策，并释放其数据资产的价值。
职位描述 - 等级特定
涉及领导和管理数据工程师团队，监督数据工程项目，确保技术卓越，并促进与利益相关者的合作。他们在推动数据工程计划的成功和确保交付可靠且高质量的数据解决方案以支持组织的数据驱动目标方面发挥关键作用。
Capgemini是一家由AI驱动的全球业务和技术转型合作伙伴，提供切实的业务价值。我们通过AI、技术和人员想象组织的未来并将其变为现实。凭借近60年的强大传统，我们是一个在50多个国家拥有42万名团队成员的负责任且多元化的集团。我们利用在战略、技术、设计、工程和业务运营方面的能力，通过深厚的行业专业知识和强大的合作伙伴生态系统，提供端到端的服务和解决方案。集团报告2024年全球收入为221亿欧元。
让它成为现实 | www.capgemini.com
