OnX Canada正在为政府领域的渥太华本地客户招聘本地数据工程师/ETL开发人员,该人员可以设计、构建和维护支持高效提取、转换和加载(ETL)来自各种来源的数据的数据基础设施。您将作为数据管理、集成和处理方面的专家,促进可靠且可扩展的数据平台的创建,以支持明智的决策。
• **此职位需要联邦清关(任何级别),因此OWP(和在加拿大居住不满5年的PR)不符合此职位。
• **请不要直接向招聘人员发送私信。只有申请过的候选人才会被考虑,并且将联系入围候选人进行进一步讨论和接纳。
地点:渥太华现场(Fairmont Ave)-不可远程/必须致力于常规混合模式
持续时间:最初为6个月的合同,非常有可能转为永久全职
暂定开始日期:2023年12月至2024年2月之间
每周工时:40小时(周一至周五的白班)
必备要求(一般):
•能够定期在渥太华办公室工作(轮换混合模式)
•具有有效的联邦安全许可证(任何级别),或在加拿大政府机构工作的经验,或具备安全许可证的资格(在加拿大超过10年,无犯罪记录,加拿大公民身份)
•承诺进行技术筛选和技术面试(可能在现场进行)
•承诺在初始合同后转为永久/全职
•信息技术、计算机科学、计算机工程或相关学科的4年大学学位
必备要求(技术):
•必须具备:在数据分析环境中具有5年以上工作经验,并在工程角色中承担逐步增加的技术责任
•必须具备高级SQL/ SQL查询开发能力
•强大的数据仓库/数据建模能力(逻辑和物理数据模型)
•强大的ETL流程、数据管道和工作流的技术专业知识。
•必须具备良好的Python编程技能(用于自动化和故障排除管道和数据处理)
•Streamsets-具备经验或快速学习和适应能力
•与云计算平台(Azure)合作,并熟悉设置和管理基于云的数据存储和计算环境。
•与Apache Kafka或Streamsets等流处理框架合作
知识、技能和熟练程度
设计和实施:
•实时数据处理管道
•使用MySQL、PostgreSQL或SQL Server等技术的数据库解决方案。
设计和创建:
•利用Apache Spark、Hadoop和其他大数据技术等工具。
•设计、构建和支持数据仓库、数据中心和其他数据存储和处理系统。
•在数据管理系统、数据完整性和安全方面支持项目实施分析和支持。
•使用SQL、Python、Java、Scala、shell脚本、JavaScript等编程语言开发脚本、应用程序和API,自动化数据处理任务
•机器学习概念和工具(R、Python、Jupyter Notebook)。
•英语-口语、阅读和写作完全流利。
•数据仓库和数据建模原则和实践。
•记录数据管道流程、数据模型和数据字典。
•设计、构建和支持数据仓库、数据中心和其他数据存储和处理系统。
•Windows和Linux操作系统及其命令,本地和云环境。
•编程语言,如Python、Java、Scala、shell脚本、JavaScript。
•虚拟平台、MS Office套件,包括使用虚拟平台进行会议和/或演示
•了解数据安全和隐私规定,以支持实施适当的安全措施保护数据
•了解数据分析开发生命周期/方法,如敏捷或其他快速应用程序开发方法
•熟悉数据和统计方法、工具和操作分析模型的知识
主要职责:
•设计、构建和维护支持从各种来源高效提取、转换和加载(ETL)数据的数据基础设施。
-通过改变业务流程和/或数据清洗技术,开发提高数据可用性的方法
-使用Streamsets、Apache Spark、Hadoop和其他大数据技术等工具开发和维护数据管道和ETL流程。
-开发和维护数据基础设施,包括数据仓库和其他数据存储解决方案,以支持业务智能和报告需求
-设计和实施数据安全措施,保护敏感数据。
-开发和维护数据质量控制流程,以确保数据的准确性、可靠性和可访问性对所有利益相关者。
-监控计划的ETL批处理和流式数据处理的系统性能,并确保所有系统以可接受的标准运行,并且数据管道是可扩展、可重复和安全的。
-在开发、UAT和生产系统之间执行数据迁移,并计划和协调这些数据迁移。
-快速分析和解决技术问题,与内部ITS部门和软件供应商合作(如果需要)。
•作为数据管理、集成和处理方面的专家,促进可靠且可扩展的数据平台的创建,以支持明智的决策。
-支持数据获取/处理的业务需求转化,并向最终用户提供详细规格说明
-积极识别分析机会,并提供改进数据分析过程的建议,增加组织的分析能力。
-创建数据工程活动和数据字典的文档,以支持数据系统的最终用户。
-保持对数据工程、数据科学和数据隐私法规的当前趋势和最佳实践的了解。
•与跨职能团队合作,使成员和社区能够访问准确、可靠和及时的数据。
-与数据分析师和数据科学家合作,确保数据结构正确并可供分析。
-与警务服务的各个利益相关者合作,设计和实施种族数据收集策略。
-积极建立合作伙伴关系,识别机会并提出增加组织和社区分析能力的建议。
-为组织中的分析师、研究人员和其他人员提供监督、指导和培训。
期望的资格:
•流利的法语能力
•具有Power BI桌面、移动和服务提供的经验,或其他类似的商业智能工具。
•使用ArcGIS平台进行地理空间分析的经验