您的新公司
为一家知名金融服务机构工作
您的新角色
我们正在寻找一位高级数据工程师，负责设计和交付可扩展的本地高质量数据解决方案，以支持分析和业务洞察的低/高层次数据平台。这是一个适合拥有强大数据工程和大数据专业知识的人的实践角色，最好是在金融服务业中获得的。加入领先的大宗商品、金属、交易和交易所集团，您将支持一个战略金属计划，专注于降低本地平台成本和现代化旧的ETL流程。
您将帮助设计和构建一个与金属战略一致的新本地数据平台，同时开发和维护可扩展的数据管道和分析基础设施。使用Hadoop、大数据和Spark技术，您将通过自动验证、监控和测试来确保数据质量。您还将实现数据仓库和数据湖之间的无缝集成，贡献于一个强大、可扩展和弹性的企业数据生态系统。
您成功所需的条件
- 广泛的数据工程专业知识与大数据技术。
- 设计和构建本地数据平台的经验，从高层架构到详细技术设计。
- 配置多节点Hadoop集群的实践经验，包括资源管理、安全性和性能调优。
- 使用Apache Airflow、Spark、dbt、Kafka和Hadoop生态系统工具的强大大数据工程背景。
- 了解RDBMS系统（PostgreSQL、SQL Server）并熟悉NoSQL/分布式数据库如MongoDB。
- 交付流式管道和实时数据处理解决方案的证明。
- 通过Apache Spark优化和开发提高工作效率并减少运行时间。
- 具备一些容器化（Docker、Kubernetes）和CI/CD管道的经验。
- 交付流式管道和实时数据处理解决方案。
- 具有用现代数据工程管道和平台构建替代旧ETL工具（如Informatica）的经验。
- 在金融服务环境中工作的证明背景。
您将获得的回报
提供灵活的工作选项。
您现在需要做的
如果您对这个角色感兴趣，请点击“立即申请”以转发您最新的简历，或立即给我们打电话。
Hays Specialist Recruitment Limited作为永久招聘和临时工供应的就业业务的招聘代理。申请此职位即表示您接受可在hays.co.uk找到的条款和条件、隐私政策和免责声明。
