工作描述
Insight Global正在寻找Hadoop开发人员,为我们最大的金融客户之一提供服务,可以在BOA中心之一进行混合工作。这些大数据平台开发人员/工程师将帮助构建新的数据流水线,识别现有数据缺口,并提供自动化解决方案,以提供先进的分析能力和丰富的数据给支持运营团队的应用程序。资源将支持数据和工程分析团队的2024个项目。
日志和监控实施一个网络安全的日志和监控策略,标准化GIS使用的基础设施/应用程序/安全日志。信号情报自动化ETL和丰富以减轻并主动识别和描述对手行为、基础设施、技术和能力的规模、速度和深度,这是目前现有基础设施和计算能力所无法实现的。
技能和要求
强大的SQL技能,其中之一是MySQL、HIVE、Impala、SPARK SQL
从消息队列、文件共享、REST API、关系型数据库等进行数据摄取的经验,以及对json、csv、xml等数据格式的经验
有使用SPARK结构化流处理的经验者优先
有Hadoop/大数据和分布式系统的工作经验
有管理/生产支持/调试的工作经验
有使用Spark、Sqoop、Kafka、MapReduce、HBase、SOLR、CDP或HDP、Cloudera或Hortonworks、Elastic Search、Kibana等NoSQL数据库的工作经验
至少具有Scala、Python、PHP或Shell脚本等一种编程语言的实际编程经验
具有Spark/MapReduce和/或SQL作业的性能调优经验
具有Linux操作系统的经验是必须的
具有近实时和批处理数据流水线的端到端设计和构建过程的经验
具有在敏捷开发过程中工作的经验,并对软件开发生命周期的各个阶段有深入的理解
具有使用SVN、Git、Bit Bucket等源代码和版本控制系统的经验
具有使用Jenkins和Jar管理的经验
能够在最少的监督下工作,并能够与技能多样的团队合作的自我启动者
能够理解客户的需求并提供正确的解决方案
具有解决复杂问题的强大分析能力
愿意解决问题并深入研究潜在问题的愿望
具有适应并继续学习新技术的能力是重要的
我们致力于创造多样化和包容性的工作环境,让员工每天都能全情投入工作。我们是一家平等就业机会/积极行动的雇主,认为每个人都很重要。合格的候选人将获得不受种族、肤色、民族、宗教、性别(包括怀孕)、性取向、性别认同和表达、婚姻状况、国籍、血统、遗传因素、年龄、残疾、受保护的退伍军人身份、军人或制服服务成员身份或任何其他受适用法律、法规和条例保护的身份或特征的平等就业机会。如果您在申请或招聘过程中需要协助或合理的适应措施,请发送请求至HR@insightglobal.com。