职位概述：
负责设计、构建并领导企业数据与人工智能平台的可靠数据摄取和转换管道的开发。高级数据工程师将确保来自多个来源的数据被摄取、管理、安全，并根据NP的数据架构和治理框架向分析、人工智能和业务使用提供可用数据。
这是一个为期两年的合同职位，隶属于数字服务与技术办公室。
工作内容：
• 设计、构建并领导结构化和非结构化数据（Excel、MSSQL、Postgres、API、SharePoint、PDF等）的摄取管道的开发。
• 使用Delta Lake和Delta Live Tables架构并优化铜、银、金层之间的转换工作流。
• 定义并实施数据质量框架（模式、去重、血缘、元数据增强），并与治理团队合作以执行标准。
• 与安全工程师合作，确保敏感数据字段被加密、标记或掩盖。
• 优化Spark/Databricks作业以提高性能和成本效率。
• 领导数据任务的冲刺计划并进行代码审查。
• 驱动根本原因分析并实施长期解决方案。
• 使用PowerBI和DataBricks开发仪表板。
• 配置Power BI DirectQuery连接到Databricks SQL仓库。
• 开发后端API并处理后端数据库。
我们寻找的候选人：
• 计算机科学、信息系统、工程或相关技术领域的学位。
• 良好的人际交往和合作/高管领导能力。
• 2-4年数据工程经验。
• 有云数据平台（Databricks、Snowflake、BigQuery、Synapse、Redshift）的相关经验者优先。
• 有大规模摄取和转换管道的经验者优先。
技能与认证：
• 认证（优先）：
• Databricks认证数据工程师助理。
• 云认证，如Azure数据工程师助理、AWS数据分析专家或GCP数据工程师。
• 技术技能：
• PySpark、SQL和Python编程。
• Delta Lake、Delta Live Tables、Databricks工作流经验者优先。
• API和JDBC/ODBC连接器。
• 版本控制（Git）和数据管道的CI/CD。
• 理解奖章架构、数据质量框架和编排（Airflow、Prefect或同类工具）。
个人特质：
• 注重细节且有条理。
• 具备解决问题的能力，注重绩效。
• 适应性强，能在跨职能团队中协作。
• 沟通能力强，能够与数据、治理和业务利益相关者有效合作。
关于义安理工学院：
义安理工学院的九个学术学院为超过15,000名不断增长的学生群体提供40多个全日制文凭。作为一所公立高等教育机构，因其学术卓越和紧密的行业联系而享有国际声誉，NP以拥有一支专业的教学团队和世界一流的校园设施而自豪。
作为一所高等学府，义安理工学院相信为每位学生提供丰富的学习体验，并为每位员工提供建立有意义职业的机会。
如果您是一个具有创新思维的自我驱动者，一个具备全面卓越动力的多才多艺的人，以及一个与我们愿景和价值观一致的团队合作者，我们邀请您加入我们充满灵感的团队。 
