数据工程师(合同转正)- ETL/SQL/Python/Azure/Hadoop

多伦多 24个月前合同 网络
面议
OnX Canada正在为政府领域的渥太华本地客户招聘本地数据工程师/ETL开发人员,该人员可以设计、构建和维护支持高效提取、转换和加载(ETL)来自各种来源的数据的数据基础设施。您将作为数据管理、集成和处理方面的专家,促进可靠且可扩展的数据平台的创建,以支持明智的决策。 • **此职位需要联邦清关(任何级别),因此OWP(和在加拿大居住不满5年的PR)不符合此职位。 • **请不要直接向招聘人员发送私信。只有申请过的候选人才会被考虑,并且将联系入围候选人进行进一步讨论和接纳。 地点:渥太华现场(Fairmont Ave)-不可远程/必须致力于常规混合模式 持续时间:最初为6个月的合同,非常有可能转为永久全职 暂定开始日期:2023年12月至2024年2月之间 每周工时:40小时(周一至周五的白班) 必备要求(一般): •能够定期在渥太华办公室工作(轮换混合模式) •具有有效的联邦安全许可证(任何级别),或在加拿大政府机构工作的经验,或具备安全许可证的资格(在加拿大超过10年,无犯罪记录,加拿大公民身份) •承诺进行技术筛选和技术面试(可能在现场进行) •承诺在初始合同后转为永久/全职 •信息技术、计算机科学、计算机工程或相关学科的4年大学学位 必备要求(技术): •必须具备:在数据分析环境中具有5年以上工作经验,并在工程角色中承担逐步增加的技术责任 •必须具备高级SQL/ SQL查询开发能力 •强大的数据仓库/数据建模能力(逻辑和物理数据模型) •强大的ETL流程、数据管道和工作流的技术专业知识。 •必须具备良好的Python编程技能(用于自动化和故障排除管道和数据处理) •Streamsets-具备经验或快速学习和适应能力 •与云计算平台(Azure)合作,并熟悉设置和管理基于云的数据存储和计算环境。 •与Apache Kafka或Streamsets等流处理框架合作 知识、技能和熟练程度 设计和实施: •实时数据处理管道 •使用MySQL、PostgreSQL或SQL Server等技术的数据库解决方案。 设计和创建: •利用Apache Spark、Hadoop和其他大数据技术等工具。 •设计、构建和支持数据仓库、数据中心和其他数据存储和处理系统。 •在数据管理系统、数据完整性和安全方面支持项目实施分析和支持。 •使用SQL、Python、Java、Scala、shell脚本、JavaScript等编程语言开发脚本、应用程序和API,自动化数据处理任务 •机器学习概念和工具(R、Python、Jupyter Notebook)。 •英语-口语、阅读和写作完全流利。 •数据仓库和数据建模原则和实践。 •记录数据管道流程、数据模型和数据字典。 •设计、构建和支持数据仓库、数据中心和其他数据存储和处理系统。 •Windows和Linux操作系统及其命令,本地和云环境。 •编程语言,如Python、Java、Scala、shell脚本、JavaScript。 •虚拟平台、MS Office套件,包括使用虚拟平台进行会议和/或演示 •了解数据安全和隐私规定,以支持实施适当的安全措施保护数据 •了解数据分析开发生命周期/方法,如敏捷或其他快速应用程序开发方法 •熟悉数据和统计方法、工具和操作分析模型的知识 主要职责: •设计、构建和维护支持从各种来源高效提取、转换和加载(ETL)数据的数据基础设施。 -通过改变业务流程和/或数据清洗技术,开发提高数据可用性的方法 -使用Streamsets、Apache Spark、Hadoop和其他大数据技术等工具开发和维护数据管道和ETL流程。 -开发和维护数据基础设施,包括数据仓库和其他数据存储解决方案,以支持业务智能和报告需求 -设计和实施数据安全措施,保护敏感数据。 -开发和维护数据质量控制流程,以确保数据的准确性、可靠性和可访问性对所有利益相关者。 -监控计划的ETL批处理和流式数据处理的系统性能,并确保所有系统以可接受的标准运行,并且数据管道是可扩展、可重复和安全的。 -在开发、UAT和生产系统之间执行数据迁移,并计划和协调这些数据迁移。 -快速分析和解决技术问题,与内部ITS部门和软件供应商合作(如果需要)。 •作为数据管理、集成和处理方面的专家,促进可靠且可扩展的数据平台的创建,以支持明智的决策。 -支持数据获取/处理的业务需求转化,并向最终用户提供详细规格说明 -积极识别分析机会,并提供改进数据分析过程的建议,增加组织的分析能力。 -创建数据工程活动和数据字典的文档,以支持数据系统的最终用户。 -保持对数据工程、数据科学和数据隐私法规的当前趋势和最佳实践的了解。 •与跨职能团队合作,使成员和社区能够访问准确、可靠和及时的数据。 -与数据分析师和数据科学家合作,确保数据结构正确并可供分析。 -与警务服务的各个利益相关者合作,设计和实施种族数据收集策略。 -积极建立合作伙伴关系,识别机会并提出增加组织和社区分析能力的建议。 -为组织中的分析师、研究人员和其他人员提供监督、指导和培训。 期望的资格: •流利的法语能力 •具有Power BI桌面、移动和服务提供的经验,或其他类似的商业智能工具。 •使用ArcGIS平台进行地理空间分析的经验