OnX Canada正在为政府领域的渥太华本地客户招聘本地数据工程师/ETL开发人员,他们可以设计、构建和维护支持从各种来源高效提取、转换和加载(ETL)数据的数据基础设施。您将作为数据管理、集成和处理的专家,促进可靠和可扩展的数据平台的创建,以支持明智的决策。
• **此角色需要联邦许可(任何级别),因此OWP(和在加拿大居住不满5年的永久居民)不符合此角色的资格。
• **请不要直接向招聘人员发送私信。只有申请的候选人将被考虑,并将与入职进一步讨论和接洽的候选人联系。
地点:渥太华现场(Fairmont Ave)-不能远程/必须致力于定期的混合模式
持续时间:最初为6个月的合同,很有可能最终转为永久全职
预计开始日期:2023年12月至2024年2月之间
每周工作时间:40小时(星期一至星期五的白班)
必备要求(一般):
•能够定期在渥太华办公室工作(轮换混合模式)
•具有有效的联邦安全许可(任何级别),或曾在加拿大政府组织工作的经验,或证明有资格获得安全许可(在加拿大超过10年,无犯罪记录,加拿大公民身份)
•承诺进行技术筛选和技术面试(可能在现场进行)
•承诺在初始合同后转为永久/全职
•信息技术、计算机科学、计算机工程或相关学科的4年大学学位
必备要求(技术):
•必须具备:在数据分析环境中具有5年以上工作经验,并在工程角色中具有逐渐增加的技术责任
•必须具备高级SQL/SQL查询开发能力
•强大的数据仓库/数据建模(逻辑和物理数据模型)
•强大的ETL流程、数据管道和工作流的技术专业知识。
•必须具备良好的Python编码技能(用于自动化和故障排除管道和数据处理)
•Streamsets-有经验或能够快速学习和适应
•使用云计算平台(Azure)并熟悉设置和管理基于云的数据存储和计算环境。
•使用Apache Kafka或Streamsets等流处理框架
知识、技能和熟练度
设计和实施:
•实时数据处理流水线
•使用MySQL、PostgreSQL或SQL Server等技术的数据库解决方案。
设计和创建:
•利用Apache Spark、Hadoop和其他大数据技术等工具。
•设计、构建和支持数据仓库、数据中心和其他数据存储和处理系统。
•在环境业务系统中进行项目实施分析和支持,以及数据管理系统、数据完整性和安全性。
•使用SQL、Python、Java、Scala、shell脚本、JavaScript等编程语言开发脚本、应用程序和API,自动化数据处理任务
•机器学习概念和工具(R、Python、Jupyter Notebook)。
•英语-口语、阅读和写作完全流利。
•数据仓库和数据建模原则和实践。
•记录数据管道流程、数据模型和数据字典。
•设计、构建和支持数据仓库、数据中心和其他数据存储和处理系统。
•Windows和Linux操作系统及其命令,在本地和云环境中。
•编程语言,如Python、Java、Scala、shell脚本、JavaScript。
•虚拟平台、MS Office套件,包括使用虚拟平台进行会议和/或演示
•了解数据安全和隐私法规,以支持实施适当的安全措施保护数据
•了解数据分析开发生命周期/方法,如敏捷或其他快速应用程序开发方法
•对数据和统计方法、工具以及操作分析模型有深入了解
主要职责:
•设计、构建和维护支持从各种来源高效提取、转换和加载(ETL)数据的数据基础设施。
-通过业务流程变更和/或数据清洗技术开发提高数据可用性的方法
-使用Streamsets、Apache Spark、Hadoop和其他大数据技术等工具开发和维护数据管道和ETL流程。
-开发和维护数据基础设施,包括数据仓库和其他数据存储解决方案,以支持业务智能和报告需求
-设计和实施数据安全措施,保护敏感数据。
-开发和维护数据质量控制流程,以确保数据的准确性、可靠性和可访问性对所有利益相关者。
-监控计划的ETL批处理和流式数据处理的系统性能,并确保所有系统以可接受的标准工作,数据管道可扩展、可重复和安全。
-在开发、UAT和生产系统之间执行数据迁移,并计划和协调这些数据迁移。
-快速分析和解决技术问题,与内部ITS部门和软件供应商合作,必要时解决技术问题。
•作为数据管理、集成和处理的专家,促进可靠和可扩展的数据平台的创建,支持明智的决策。
-支持数据获取/操作的业务需求转化,并向最终用户提供详细的规格说明
-积极识别分析机会,并提出改进建议,改善数据分析过程的所有要素,并增加组织的分析能力。
-创建数据工程活动和数据字典的文档,以支持数据系统的最终用户。
-保持对当前趋势和最佳实践的了解,尊重数据工程、数据科学和数据隐私法规。
•与跨职能团队合作,使成员和社区能够访问准确、可靠和及时的数据。
-与数据分析师和数据科学家合作,确保数据结构正确并可供分析。
-与警察部门的利益相关者合作,设计和实施种族数据收集策略。
-积极建立合作伙伴关系,识别机会并提出建议,增加组织和社区的分析能力。
-为组织中的分析师、研究人员和其他人提供监督、指导和培训,以进行数据分析。
期望的资格:
•流利的法语能力
•熟练使用Power BI桌面、移动和服务产品,或其他类似的商业智能工具。
•使用ArcGIS平台进行地理空间分析的经验