大数据架构师

16个月前全职
Hexaware Technologies

Hexaware Technologies

location 旧金山
unsaved
大数据架构师 地点:加利福尼亚州圣克拉拉(现场) 全职机会 Databricks架构师:10-12年使用Databricks构建解决方案的经验,可以是在Azure上或者在大数据、SQL数据和其他数据源上。 ·深入理解DataBricks架构,包括Lakehouse、性能调优、计算和存储。 ·有1-2个从Hadoop生态系统迁移到Azure Databricks及相关数据库的迁移项目经验,包括数据集成作业迁移。 ·对将关系型数据库从本地迁移到云端或者使用大数据/Azure Synapse/Databricks/Snowflake构建基于云的数据湖具有良好的知识和实际经验。 ·使用Azure服务构建数据平台的经验,如Azure Data Factory、ADLS Gen2、Databricks、Azure IaaS/PaaS数据库和Azure Synapse数据仓库/分析系统。 ·在开发和维护项目上都有工作经验,并遵循运营流程。 ·有亲自选择和集成任何与数据相关的工具和框架以提供所需功能的实际经验。 ·负责DataBricks在Azure上的端到端数据平台设计和架构。 ·具有编写和调优SQL查询的丰富经验。 ·在使用DataIQ进行数据虚拟化方面有深入的知识。 ·有一种或多种编程语言(PySpark、Python、Java、Scala)的3年以上编程经验。 ·优秀的书面和口头沟通能力。 ·具有敏捷过程方法论、CI/CD的经验。 ·在ETL/ELT工具(如FiveTran、Talend和Informatica Power Centre)方面有实际经验。 ·具备与云端或DataBricks(与数据相关的)认证将更受青睐。 ·了解Hadoop生态系统将是一个额外的优势。