作为数据平台解决方案架构师,您将负责交付我们数据平台的核心功能和战略解决方案。这包括开发可重用的工具/ API、应用程序、数据存储和软件堆栈,以加速我们的关系型数据仓库、大数据分析和数据管理需求。该个人还将负责设计和开发利用大数据、云和其他现代技术的战略解决方案,以满足不断变化的业务需求。
职责包括:
日常管理几个小型开发团队,专注于我们的大数据平台和数据管理应用程序
根据业务需求和公司范围内的倡议,设计和推动Hadoop、云和其他新的相关数据技术的战略技术解决方案
与组织内部合作,讨论当前和未来的架构
与团队一起进行实际开发
与我们的DevOps团队、平台工程师和生产支持协调,确保我们的大数据平台的稳定性
所需技能:
10年以上适当的技术经验
在Python、Scala和Java中开发模块化解决方案的高级经验。
使用Spark进行数据处理的经验
高质量的软件架构和设计方法和模式
维护Cloudera Hadoop基础设施(如HDFS、YARN、Spark、Impala和边缘节点)的经验
在大型数据库平台上具有相应经验的强大SQL技能
完整的SDLC过程和敏捷方法论(Scrum)
良好的口头和书面沟通能力
期望技能:
构建基于Java的Web应用程序的经验
使用Apache NiFi、Apache Kafka和Talend进行数据摄取的经验
使用Apache Airflow进行调度/作业编排的经验
在AWS或Azure上开发基于云的大数据解决方案的经验
了解Snowflake或Databricks等云数据平台的经验
了解Dataiku、ElasticSearch等分析工具/平台的经验
具有数据联邦或虚拟化技术的经验
在其他应用类型(Web应用程序、批处理或流处理)的开发经验