职位描述：地点：多伦多/蒙特利尔混合工作类型：全职我们正在寻找一位才华横溢的Hadoop专家加入我们的团队！您未来的职责和责任：作为一名Hadoop专家，您在我们的Hadoop生态系统的演进中起着重要作用。您的职责包括：•评估现有的Hadoop生态系统，包括HDFS、MapReduce和相关组件。•与架构和数据工程团队合作，定义迁移目标和要求。•与云工程师密切合作，在Google Cloud上建立可比较的存储解决方案，如Google Cloud Storage。•制定一套详细的策略，将数据从HDFS迁移到GCS，确保最小的停机时间和数据一致性。•利用Google Cloud Storage Transfer Service或自定义脚本等工具，简化数据传输过程。•协助重新平台化或重构现有的Hadoop应用程序和作业，以与GCP服务（包括BigQuery、Dataprep或Dataflow）无缝集成。•根据需要将迁移的数据和工作流与其他GCP服务集成，如Pub/Sub、BigQuery等。•对数据管道进行端到端单元测试，确保数据一致性和完整性。成功承担这一角色所需的资格：•教育程度：学士学位或相关经验。•双语能力：英语和法语熟练（优先考虑）。•关键能力：•对Hadoop组件（包括HDFS、MapReduce、Hive、HBase等）进行深入评估。•证明能够与架构和数据工程团队合作进行迁移规划。•与云工程师合作，在Google Cloud上建立可比较的存储解决方案，如Google Cloud Storage。•制定从HDFS到GCS的数据迁移策略，确保最小的停机时间和数据一致性。•利用Google Cloud Storage Transfer Service或自定义脚本等工具，进行高效的数据传输。•在重新平台化或重构现有的Hadoop应用程序和作业方面具备专业知识，以与GCP服务（如BigQuery、Dataprep或Dataflow）兼容。•将迁移的数据和工作流与其他GCP服务（如Pub/Sub、BigQuery等）无缝集成。•对数据管道进行全面的端到端单元测试，确保数据一致性和完整性。技术熟练程度：•Apache Hadoop、HDFS、MapReduce、Hive、HBase、Spark、Sqoop、Flume、Kafka•Google Cloud Storage、BigQuery、Dataprep、Dataflow、Pub/Sub•Google Cloud Storage Transfer Service•自定义脚本用于数据传输•Slack、Microsoft Teams等沟通工具用于团队协作•Git用于版本控制和跟踪变更•端到端测试的单元测试框架•GitLab技能：·Hadoop Hive您可以从我们这里期待什么：可以采取行动的见解虽然技术是我们客户数字化转型的核心，但我们明白人才是商业成功的核心。当您加入CGI时，您成为了一名值得信赖的顾问，与同事和客户合作，提供有意义且可持续的成果。我们将员工称为“成员”，因为他们是CGI的股东和业主，他们享受共同工作和成长的乐趣，共同建设我们引以为豪的公司。这是我们自1976年以来的梦想，也使我们成为了全球最大的独立IT和商业咨询服务提供商之一。在CGI，我们认识到多样性带来的丰富性。我们努力创造一个所有人都能参与并与客户合作建设更具包容性社区的工作文化。作为一家平等机会雇主，我们希望赋予所有成员成功和成长的能力。如果您在招聘过程中需要任何帮助，请告诉我们。我们将很乐意提供帮助。准备成为我们成功故事的一部分了吗？加入CGI，您的想法和行动将产生巨大影响。 
伦敦