概述：
机会
Core42是阿联酋的国家级云计算和生成式人工智能推动者，将G42集团在多个技术领域的专业知识融合到一个平台上，为公共部门和大型企业的转型提供支持。在我们作为主权云和高性能计算专家的基础上，我们提供生成式人工智能、网络安全、专业和托管服务方面的专业知识，以支持各行各业的国家级项目部署。
职责：
您的主要职责
数据管道架构和开发
•设计、构建、安装、测试和维护高度可扩展的数据管道，重点关注机器学习模型和分析。
数据集成
•与数据科学家、机器学习工程师和利益相关者密切合作，确保数据对于进行中的项目是可访问、一致和可靠的。
API和数据服务
•开发和维护用于数据访问和操作的API，并根据需要与外部数据服务进行集成。
数据存储
•管理和优化数据存储解决方案，包括关系数据库、搜索引擎（如Elasticsearch）和NoSQL数据库，以支持机器学习模型的需求。
•了解数据引擎和结构，以有效设计事务、分析和搜索目的的解决方案。
数据质量和治理
•实施过程以监控数据质量，并确保生产数据始终准确可用于关键利益相关者。
协作和支持
•与机器学习工程师合作，协助解决与数据相关的技术问题，并提供架构指导和解决方案。
安全性和合规性
•确保符合数据安全和隐私政策。
文档
•保持清晰和最新的文档，包括数据字典、元数据和架构图。
资格：
成功所需的技能和特质
•计算机科学、工程学、数学或相关领域的学士学位；或具有同等工作经验。
•在数据工程角色方面拥有5年以上的经验。
•精通SQL和Python、Java和Scala等编程语言。
•具有Hadoop、Spark和Flink等大数据技术的实际经验。
•熟悉TensorFlow、PyTorch或类似的机器学习框架。
•对数据仓库概念、ETL流程和数据建模有深入理解。
•具有API开发和与数据服务集成的经验。
•具有像AWS、GCP这样的云平台经验。
•具备DevOps、CI/CD方法和Docker或Kubernetes等容器化技术的知识。
•具有实时数据处理经验。
技术栈
•编程语言：Python、Java、Scala、SQL、Bash
•大数据技术：Hadoop、Spark、Flink
•数据库：MySQL、PostgreSQL、MongoDB、Cassandra、HBase、Redis
•云平台：Azure
•API开发：RESTful API、GraphQL、OpenAPI
•数据服务：Kafka、RabbitMQ
•容器：Docker、Kubernetes
我们寻找的人才
如果您是一个以绩效为驱动的、好奇心旺盛的人，有适应不确定性的敏捷性，那么您将完全适应。您应该渴望探索与利益相关者建立有意义的合作关系的机会，并努力创造独特的以客户为中心的解决方案。行动偏好和在人工智能领域征服新领域的激情是Core42社区的核心。
在Core42工作的优势
文化：一个开放、多元和包容的环境，具有全球视野，鼓励个人成长，并专注于开创性的、行业首创的创新。
职业：通过结构化培训计划和创新的高科技项目，提供卓越的学习、发展和成长机会。
工作与生活：采用混合工作政策，以在办公室和家庭之间取得完美的平衡。
回报：竞争力的薪酬待遇和一系列福利，包括医疗保健、教育支持、休假福利等。
如果您能自信地证明您符合上述标准，请尽快与我们联系。 
阿布扎比