ETL Developer/ Data Engineer (contract-to-perm/Ottawa)- SQL/Python/Azure/Hadoop

18 months agoContractor
OnX Canada

OnX Canada

location Toronto
unsaved
OnX Canada正在为政府领域的渥太华本地客户招聘本地数据工程师/ETL开发人员,他们可以设计、构建和维护支持从各种来源高效提取、转换和加载(ETL)数据的数据基础设施。您将作为数据管理、集成和处理的专家,促进可靠和可扩展的数据平台的创建,以支持明智的决策。 • **此角色需要联邦许可(任何级别),因此OWP(和在加拿大居住不满5年的永久居民)不符合此角色的资格。 • **请不要直接向招聘人员发送私信。只有申请的候选人将被考虑,并将与入职进一步讨论和接洽的候选人联系。 地点:渥太华现场(Fairmont Ave)-不能远程/必须致力于定期的混合模式 持续时间:最初为6个月的合同,很有可能最终转为永久全职 预计开始日期:2023年12月至2024年2月之间 每周工作时间:40小时(星期一至星期五的白班) 必备要求(一般): •能够定期在渥太华办公室工作(轮换混合模式) •具有有效的联邦安全许可(任何级别),或曾在加拿大政府组织工作的经验,或证明有资格获得安全许可(在加拿大超过10年,无犯罪记录,加拿大公民身份) •承诺进行技术筛选和技术面试(可能在现场进行) •承诺在初始合同后转为永久/全职 •信息技术、计算机科学、计算机工程或相关学科的4年大学学位 必备要求(技术): •必须具备:在数据分析环境中具有5年以上工作经验,并在工程角色中具有逐渐增加的技术责任 •必须具备高级SQL/SQL查询开发能力 •强大的数据仓库/数据建模(逻辑和物理数据模型) •强大的ETL流程、数据管道和工作流的技术专业知识。 •必须具备良好的Python编码技能(用于自动化和故障排除管道和数据处理) •Streamsets-有经验或能够快速学习和适应 •使用云计算平台(Azure)并熟悉设置和管理基于云的数据存储和计算环境。 •使用Apache Kafka或Streamsets等流处理框架 知识、技能和熟练度 设计和实施: •实时数据处理流水线 •使用MySQL、PostgreSQL或SQL Server等技术的数据库解决方案。 设计和创建: •利用Apache Spark、Hadoop和其他大数据技术等工具。 •设计、构建和支持数据仓库、数据中心和其他数据存储和处理系统。 •在环境业务系统中进行项目实施分析和支持,以及数据管理系统、数据完整性和安全性。 •使用SQL、Python、Java、Scala、shell脚本、JavaScript等编程语言开发脚本、应用程序和API,自动化数据处理任务 •机器学习概念和工具(R、Python、Jupyter Notebook)。 •英语-口语、阅读和写作完全流利。 •数据仓库和数据建模原则和实践。 •记录数据管道流程、数据模型和数据字典。 •设计、构建和支持数据仓库、数据中心和其他数据存储和处理系统。 •Windows和Linux操作系统及其命令,在本地和云环境中。 •编程语言,如Python、Java、Scala、shell脚本、JavaScript。 •虚拟平台、MS Office套件,包括使用虚拟平台进行会议和/或演示 •了解数据安全和隐私法规,以支持实施适当的安全措施保护数据 •了解数据分析开发生命周期/方法,如敏捷或其他快速应用程序开发方法 •对数据和统计方法、工具以及操作分析模型有深入了解 主要职责: •设计、构建和维护支持从各种来源高效提取、转换和加载(ETL)数据的数据基础设施。 -通过业务流程变更和/或数据清洗技术开发提高数据可用性的方法 -使用Streamsets、Apache Spark、Hadoop和其他大数据技术等工具开发和维护数据管道和ETL流程。 -开发和维护数据基础设施,包括数据仓库和其他数据存储解决方案,以支持业务智能和报告需求 -设计和实施数据安全措施,保护敏感数据。 -开发和维护数据质量控制流程,以确保数据的准确性、可靠性和可访问性对所有利益相关者。 -监控计划的ETL批处理和流式数据处理的系统性能,并确保所有系统以可接受的标准工作,数据管道可扩展、可重复和安全。 -在开发、UAT和生产系统之间执行数据迁移,并计划和协调这些数据迁移。 -快速分析和解决技术问题,与内部ITS部门和软件供应商合作,必要时解决技术问题。 •作为数据管理、集成和处理的专家,促进可靠和可扩展的数据平台的创建,支持明智的决策。 -支持数据获取/操作的业务需求转化,并向最终用户提供详细的规格说明 -积极识别分析机会,并提出改进建议,改善数据分析过程的所有要素,并增加组织的分析能力。 -创建数据工程活动和数据字典的文档,以支持数据系统的最终用户。 -保持对当前趋势和最佳实践的了解,尊重数据工程、数据科学和数据隐私法规。 •与跨职能团队合作,使成员和社区能够访问准确、可靠和及时的数据。 -与数据分析师和数据科学家合作,确保数据结构正确并可供分析。 -与警察部门的利益相关者合作,设计和实施种族数据收集策略。 -积极建立合作伙伴关系,识别机会并提出建议,增加组织和社区的分析能力。 -为组织中的分析师、研究人员和其他人提供监督、指导和培训,以进行数据分析。 期望的资格: •流利的法语能力 •熟练使用Power BI桌面、移动和服务产品,或其他类似的商业智能工具。 •使用ArcGIS平台进行地理空间分析的经验