领先数据工程师

无个税15个月前全职
15K - 20K AED G42

G42

location 阿布扎比
unsaved
概述 机会核心 42是阿联酋的全国级云计算和生成式人工智能推动者,将G42集团在多个技术领域的专业知识融合到一个平台上,以实现公共部门和大型企业的转型。在我们作为主权云和高性能计算专家的基础上,我们提供生成式人工智能、网络安全、专业和托管服务的专业知识,以支持跨行业的全国级项目部署。 职责 您的主要职责 技术领导和战略 制定并实施全面的数据战略,引导项目的技术方向,与组织的长期目标保持一致。指导和团队发展 指导初级数据工程师,培养团队内持续学习和发展的文化。数据管道架构和开发 设计、构建、安装、测试和维护高度可扩展的数据管道,重点关注机器学习模型和分析。 数据集成 与数据科学家、机器学习工程师和利益相关者密切合作,确保数据对于正在进行的项目是可访问、一致和可靠的。API和数据服务 开发和维护用于数据访问和操作的API,并根据需要与外部数据服务进行集成。数据存储 管理和优化数据存储解决方案,包括关系数据库、搜索引擎(如Elasticsearch和NoSQL数据库),以支持机器学习模型的需求。了解数据引擎和结构,以有效地设计事务、分析和搜索目的的解决方案。数据质量和治理 实施监控数据质量的流程,确保生产数据始终准确可靠,对关键利益相关者可用。性能优化和可扩展性 确保数据系统具有高性能和可扩展性,以满足不断增长的数据需求。 协作和支持 与机器学习工程师合作,协助解决与数据相关的技术问题,并提供架构指导和解决方案。安全和合规确保符合数据安全和隐私政策。文档维护清晰和最新的文档,包括数据字典、元数据和架构图。研究和创新了解数据工程领域的新兴技术和趋势,并整合创新解决方案,增强数据处理和分析能力。 项目管理和交付从开始到完成领导数据工程项目,确保按时交付、预算遵守和质量标准。利益相关者管理和报告与关键利益相关者合作,了解他们的数据需求,提供有深度的报告和分析,支持决策。资格要求成功的技能和特点计算机科学、工程学、数学或相关领域的学士学位;或者具有同等工作经验。 3年以上数据工程角色的经验。熟练掌握SQL和Python、Java和Scala等编程语言。具有Hadoop、Spark和Flink等大数据技术的实际经验。熟悉TensorFlow、PyTorch或类似的机器学习框架。对数据仓库概念、ETL过程和数据建模有深入了解。 具有API开发和与数据服务集成的经验。 具有像AWS、GCP这样的云平台经验。具备DevOps、CI/CD方法和Docker或Kubernetes等容器化技术的知识。 具有实时数据处理经验。技术堆栈编程 语言: Python、Java、Scala、SQL、Bash大数据技术: Hadoop、Spark、Flink数据库: MySQL、PostgreSQL、MongoDB、Cassandra、HBase、Redis云平台: Azure、AWS API开发:RESTful API、GraphQL、OpenAPI数据服务: Kafka、RabbitMQ容器: Docker、Kubernetes监控: Prometheus、Grafana、ELK、云原生监控工具。我们寻找的特质如果您是一个以绩效为驱动的、好奇心旺盛的人,有适应不确定性的敏捷性,那么您将适应得很好。您应该渴望探索与利益相关者建立有意义的合作机会,并努力创造独特的以客户为中心的解决方案。行动偏好和对征服人工智能领域新领域的激情是核心 42社区的核心。 在Core 42工作的机会 文化:一个开放、多元和包容的环境,具有全球视野,鼓励个人成长,并专注于开创性的行业首创创新。 职业:通过结构化培训计划和创新的高科技项目,提供出色的学习、发展和增长机会。 工作与生活:一个混合工作政策,以在办公室和家庭之间取得完美平衡。 回报:竞争力的薪酬福利套餐,包括医疗保健、教育支持、休假福利等。 #J-18808-Ljbffr