混合职位:高级数据/解决方案架构师

15个月前合同
120K - 150K USD / 年 Script2IT

Script2IT

location 纽约
unsaved
作为数据平台解决方案架构师,您将负责交付我们数据平台的核心功能和战略解决方案。这包括开发可重用的工具/ API、应用程序、数据存储和软件堆栈,以加速我们的关系型数据仓库、大数据分析和数据管理需求。该个人还将负责设计和开发利用大数据、云和其他现代技术的战略解决方案,以满足不断变化的业务需求。 职责包括: 日常管理几个小型开发团队,专注于我们的大数据平台和数据管理应用程序 根据业务需求和公司范围内的倡议,设计和推动Hadoop、云和其他新的相关数据技术的战略技术解决方案 与组织内部合作,讨论当前和未来的架构 与团队一起进行实际开发 与我们的DevOps团队、平台工程师和生产支持协调,确保我们的大数据平台的稳定性 所需技能: 10年以上适当的技术经验 在Python、Scala和Java中开发模块化解决方案的高级经验。 使用Spark进行数据处理的经验 高质量的软件架构和设计方法和模式 维护Cloudera Hadoop基础设施(如HDFS、YARN、Spark、Impala和边缘节点)的经验 在大型数据库平台上具有相应经验的强大SQL技能 完整的SDLC过程和敏捷方法论(Scrum) 良好的口头和书面沟通能力 期望技能: 构建基于Java的Web应用程序的经验 使用Apache NiFi、Apache Kafka和Talend进行数据摄取的经验 使用Apache Airflow进行调度/作业编排的经验 在AWS或Azure上开发基于云的大数据解决方案的经验 了解Snowflake或Databricks等云数据平台的经验 了解Dataiku、ElasticSearch等分析工具/平台的经验 具有数据联邦或虚拟化技术的经验 在其他应用类型(Web应用程序、批处理或流处理)的开发经验