数据管道工程师

渥太华 2天前全职 网络
面议
职位名称 数据管道工程师 – Ribbon Analytics(全职) 关于Ribbon Communications Ribbon Communications是实时通信的全球领导者,为全球消费者和企业转变网络以确保IP和基于云的架构。了解更多信息请访问 机会 Ribbon Communications正在寻找一名数据管道工程师,以支持基础设施、数据管道和分析应用程序,这些应用程序为Ribbon Analytics提供动力,Ribbon Analytics是一款大数据安全和网络智能产品。您将与容器平台合作;设计分布式数据管道,并帮助扩展机器学习能力,以应对现实世界的电信用例。 Ribbon Analytics是一款大数据网络分析和安全产品,收集、处理并响应从网络收集的大量数据,利用机器学习和其他技术分析数据中的趋势和异常,并采取行动以减轻客户网络中的安全威胁、欺诈和其他问题。 我们正在寻找一位自我驱动的候选人,具有强烈的职业道德,并专注于创建可扩展的数据管道和分析解决方案。 地点 加拿大安大略省渥太华,每周两天在我们的渥太华办公室工作,从2025年1月开始每周三天 您的工作内容:(职责) - 使用Hadoop、Apache Trino/Impala、Flink和Airflow等技术设计和开发大规模、分布式数据处理管道。 - 为结构化和非结构化数据设计高效的数据摄取和转换解决方案。 - 参与代码审查、设计讨论和技术决策。 - 与架构师、数据科学家和软件开发人员合作,使用最新技术设计和开发ML工作流和分析数据管道。 - 优化数据工作流的性能、可靠性和可扩展性。 - 关注数据工程趋势,并参与代码审查和设计讨论。 我们需要看到的:(资格) - 计算机科学、电气工程、计算机工程或相关领域的学士学位。 - 优先考虑计算机科学、电气工程或计算机工程的硕士学位。 - 优先考虑数据科学或机器学习的专业化。 - 四年或以上相关职位的工作经验。 - 具有分布式数据管道和数据仓库框架的经验,如Apache Flink、Spark、Kafka、Hadoop等。 - 在Python、Java和SQL编程方面具有很强的技能,尤其是在机器学习、数据科学和ML框架方面。 - 能够快速掌握新工具和技术,以帮助快速原型设计。 脱颖而出的方式(优先技能) - 具有Apache Kafka和Flink等流处理系统的经验。 - 对数据库技术(SQL和NoSQL)有深入理解。 - 具有AI/ML概念或框架的经验。 - 具有微服务架构和框架的经验 - Kubernetes、Docker和OpenShift。 - 具有云平台和分布式计算环境中NLP任务的经验,如AWS、Google Cloud或Azure。 请注意: “所有合格的申请人将不分种族、年龄、性别、肤色、宗教、性取向、性别认同、国籍、受保护的退伍军人身份、残疾或其他受适用法律保护的特征而获得就业考虑。”