大数据工程师

15个月前全职
Bloomberg

Bloomberg

location 纽约
unsaved
高级大数据软件工程师 - 信息安全 纽约,纽约 发布于2022年4月20日 - 申请编号88166 我们是谁:彭博以数据为基础。 数据是我们的业务和产品。从最大的银行到最顶尖的对冲基金,金融机构需要及时准确的数据来捕捉机会并评估动态市场的风险。 为了提供这种服务水平和所需的安全保护,安全数据平台团队提供了一个平台,将结构化和非结构化数据(如文本、时间序列和事件)转化为可机器读取的知识,为众多安全相关应用提供动力。 这就是你的任务所在。在一个才华横溢的多学科团队中工作,你将负责研究、开发和稳定一个新的信息安全数据平台。 这个角色提供了创新和发明的能力,帮助定义这个重要平台的技术基础。 我们的平台建立在现代容器编排、流处理和数据存储平台上,并提供一个工作基础,信息安全工程师可以快速进行分析并构建他们需要确保基础架构安全的工具。 我们的团队:安全数据平台团队是一个新团队,成立的目的是构建一个支持彭博信息安全组织数据和分析需求的平台。 作为这个新团队的成员,您将在与我们的信息安全团队合作的情况下,在构建现代化平台以提供监控/警报、异常检测和实时分析基础设施的各个方面发挥重要作用。 无论是向上推动错误修复、开发新功能、在会议和聚会上发表演讲,还是与行业领导者合作,开源都是这个团队的核心。 这不仅仅是我们在业余时间做的事情,而是我们的工作方式。对你来说有什么好处:您将有机会做出关键的技术决策,将这个平台引向未来。 您将能够应用您现有的知识,同时从与流处理、Kubernetes、Hadoop和信息安全专家合作中获得经验。 您将有机会对整体信息安全能力产生有意义的影响。我们会信任您:+领导自动化运维、安装和监控我们基础架构堆栈中的系统组件+与信息安全人员合作,了解他们的软件和数据需求,并设计解决方案来摄取、理解和呈现与安全相关的数据+收集需求并综合软件解决方案以满足需求+生成开发人员和运维文档,并解决运行时问题+为集群提供性能分析和容量规划 您需要具备:+在敏捷环境中具备强大的软件开发技能和多任务处理能力+5年以上Java、Scala、Python编程经验+5年以上使用HDFS、Hadoop、Spark、Hive、HBase、Druid等大数据技术的经验。 +5年以上使用Apache Kafka或其他消息队列系统的经验+优秀的沟通技巧和在快节奏环境中跨团队合作、管理竞争目标和变化优先事项的能力+计算机科学、电气工程或相关技术领域的学士、硕士、博士学位 我们希望看到:+在使用Docker、Kubernetes、Swarm、Rancher、Mesos等容器化环境中工作的经验+使用OSQuery、Santa、sysmon的经验+编写半结构化和非结构化内容的解析器/模式的经验+使用Elasticsearch、Solr、Cassandra和其他数据库技术的经验+使用Kerberos和LDAP等身份验证和授权系统的经验+开源参与,如精心策划的博客、被接受的贡献或社区影响力+将机器学习应用于安全用例如果这听起来像你,那就申请吧!您还可以通过以下链接了解更多关于我们工作的信息:+loomberg. com / company / announcements / open-source-bloomberg-solr-work-enhance-enterprise-search / +loomberg.com / company / announcements / open-source-at-bloomberg-expanding-our-engagement-with-solr / +loomberg. com / company / announcements / building-a-real-time-news-search-engine / +lax.co.uk / blog / 2016 / 03 / 08 / helping-bloomberg-build-real-time-news-search-engine / +outube. com / watch?v IOL-6ns7M8k+outube.com / watch?v oMOV7DB4gnA+outube.com / watch?v M7BKwJoh96s+outube.com / watch?v bbbtVQCezaUBloomberg是一家平等机会的雇主,我们重视公司的多样性。 我们不以种族、宗教、肤色、国籍、性别、性取向、年龄、婚姻状况、退伍军人身份或残疾身份来歧视任何人。 最后更新时间:2024年1月7日