Java和Spark工程师

伦敦 26天前全职 网络
面议
Java 和 Spark 工程师 12个月合同 混合工作模式 - 伦敦(每周3天在办公室) IR35 内部 AM Analytics 提供一个可扩展的、机器学习就绪的平台,用于快速开发和部署投资组合模型。它结合了数据治理、大数据和人工智能(包括生成式AI功能),以提升阿尔法生成、增强客户服务并确保合规性,同时提高数据质量和成本效率。 加入一个强大的浦那/美国团队,从IaaS大数据平台迁移到Azure原生Databricks。职责包括: - 使用Databricks优化技术迁移和优化500多个作业, - 管理12 TB的数据, - 使用Java Spark和Delta表调整Azure模型, - 通过库版本更新解决漏洞。 当前技术栈: Python、数据科学、生成式AI(GPT、嵌入、文档智能)、Java Spark- ETL、PostgreSQL、Cassandra、服务总线、AKS(Azure Kubernetes)、Terraform、Gitlab CICD、Autosys 您的专业技能 您喜欢作为团队的一部分进行协作贡献,并因您的贡献而受到认可,并且您对挑战有务实的态度。您能够倾听他人并提供建议和指导。您紧跟行业的技术发展,并渴望学习和发展。 - 计算机科学、信息技术或相关领域的学士或硕士学位 - 理想情况下,作为软件工程师工作8年以上 - 具有Java编程语言的经验 - 熟练掌握Spark、Databricks、ETL工具和流程以及API - 精通SQL,具有数据建模和数据库设计的经验 - 熟悉Microsoft Azure,例如SQL、ADF、ADLS、APIM、Functions - 具备较强的沟通和协作能力