高级数据工程师(Apache Spark)

15个月前合同
Apex Systems

Apex Systems

location 多伦多
unsaved
高级数据工程师(Apache Spark) 我们正在寻找一位技术娴熟的数据工程师,具备Google Cloud Platform和Hadoop的专业知识,加入我们的团队。理想的候选人应具备数据管道开发、数据建模、数据仓库和ETL处理方面的经验。候选人应能够从零开始设计、构建和维护可扩展且高效的数据解决方案。 客户:顶级跨国零售企业 合同条款:1年合同,可延长,每周工作37.5小时 地点:混合办公,两天在现场,Mississauga(401号公路和Mississauga Road交汇处) 项目: • 最近迁移到GCP • 从零开始设计、构建和维护可扩展且高效的数据解决方案 职责: • 设计和实施基于GCP的数据解决方案,以满足业务需求。如果候选人没有GCP经验,则需要有学习意愿和其他云平台的经验。 • 开发和维护数据管道、数据模型和数据仓库 • 优化数据处理和数据存储,提高系统性能和可靠性 • 开发ETL流程,将来自各种来源的数据加载到GCP中进行转换和加载 • 实施数据安全和治理的最佳实践 • 解决与数据相关的问题 强制要求: • 计算机科学、工程或相关领域的学士学位 • 至少3年的GCP数据工程经验 • 精通Apache Spark和Scala • 精通GCP服务,如BigQuery、Cloud Storage、Dataflow、Pub/Sub、DataProc。但也接受其他云平台,如Azure和AWS。 强烈推荐: • 熟练掌握Python或Java编程技能 • 熟悉SQL和NoSQL数据库 • 掌握Git等版本控制工具 • 出色的问题解决和分析能力 • 良好的沟通和协作能力 首选资格: · 有使用Kubernetes等容器化和编排工具的经验 EEO雇主 Apex Systems是一家平等机会雇主。我们不会因种族、肤色、宗教、信仰、性别(包括怀孕、分娩、哺乳或相关医疗状况)、年龄、性取向、性别认同、国籍、血统、公民身份、基因信息、已注册的同居伴侣身份、婚姻状况、残疾状况、犯罪受害者身份、受保护的退伍军人身份、政治隶属、工会会员身份或法律规定的其他特征而歧视或允许歧视。Apex将根据适用法律的要求,以一种与之一致的方式考虑有犯罪记录的合格申请人。如果您访问我们的网站以寻找就业机会或申请职位,并且您需要在搜索或申请过程中使用我们的网站时获得帮助,请联系我们的员工服务部门,电子邮件地址为employeeservices@apexsystems.com,电话号码为844-463-6178。