高级大数据基础设施工程师 - G-Research招聘

高级大数据基础设施工程师地点：德克萨斯州达拉斯这是一个混合角色，位于G-Research在达拉斯的办公室。 G-Research是欧洲领先的量化金融研究公司。我们聘请世界上最聪明的人才来解决金融领域的一些重大问题。我们将这种专业知识与机器学习、大数据和一些最先进的技术相结合，以预测金融市场的走势。达拉斯办公室于2022年开设，是一个关键的基础设施中心，在这里我们在先进的环境中使用最新的技术。职位描述 G-Research正在寻找一位以DevOps为重点的基础设施工程师，具有深入的HDFS、YARN和Hadoop生态系统经验，加入其不断发展的大数据平台工程团队。大数据平台工程管理着一个重要的分布式Cloudera HDFS存储规模，最近采用了Airflow，并开始探索其他开源解决方案，如Ozone。此外，团队内还存在技术支持的重叠，涉及Trino、Spark、Grafana、Hive、Nifi和HBase等产品。作为一名高级大数据基础设施工程师，您将帮助我们在现有的混合云平台上提供自动化、功能增强和最佳实践安全性，并探索与我们生态系统中的其他开源产品的集成。配置管理、容器编排、基础设施即代码（IaC）和持续集成/持续交付（CI/CD）是重点关注的领域。作为回报，您将在一个注重创新、个人发展和培训的前瞻性公司中接触到最新的硬件和软件技术。该职位的主要职责包括： • 在Hadoop生态系统中开发、部署和维护大数据解决方案，如HDFS、YARN、Ranger和Hive。 • 提供可扩展、稳定、高性能和运营高效的工程解决方案 • 提供指标、文档和自助式基础设施，以帮助我们的客户快速工作并充分利用平台 • 积极识别和解决系统性能瓶颈、安全漏洞和改进空间，确保系统稳定和健壮 • 部署和维护Airflow • 参与非工作时间值班，为我们在大数据生态系统中的关键系统提供支持和维护我们在寻找什么样的人？无论您的技术背景如何，良好的编码能力对于这个职位至关重要。理想的候选人应具备以下技能和经验： • 熟悉HDFS、YARN和Hadoop生态系统，最好是Cloudera Distribution，但也包括OSS Distribution • 出色的编码能力，最好是Python • 有使用CI/CD流水线的经验，如Jenkins和ArgoCD • 有使用配置管理工具的经验，如Ansible和Terraform • 熟悉Linux、硬件和网络知识 • 有在Docker和Kubernetes上部署和运行应用程序的经验，包括创建Helm图表 • 有分布式系统工作经验非常理想但不是必需的： • 有使用Ozone的经验 • 有使用其他大数据技术的经验，如Spark、Trino、Hive、Airflow、Ranger、Oozie等 • 数据工程经验（Spark应用程序开发、SQL） • 团队领导经验为什么应该申请？ • 行业领先的薪酬和年度奖金 • 非正式的着装规定和良好的工作/生活平衡 • 优厚的带薪休假福利 • 病假、军事休假、家庭和医疗休假 • 丰厚的401(k)计划 • 16周全薪产假 • 医疗和处方药、牙科和视觉保险 • 人员援助和健康计划 • 丰厚的搬迁津贴和支持 • 丰富的办公室零食和热饮冷饮选择 • 内部健身房和停车场 G-Research致力于培养和保持一个包容的工作环境。我们是一个以理念驱动的企业，非常重视经验和观点的多样性。我们希望确保申请者能够获得一个能够让他们发挥最佳水平的招聘体验。如果您有残疾或特殊需求需要提供帮助，请在相关部分告知我们。