大数据架构师

15个月前合同
Yochana IT Solutions INC

Yochana IT Solutions INC

location 洛杉矶
unsaved
大数据架构师 地点:科罗拉多州丹佛(首日现场) 经验:10年以上 项目类型:合同 现场工作 工作详情 • 在数据仓库、大数据和云数据平台上交付数据解决方案方面具有9年以上相关经验。 • 实施缓慢变化维度(类型1、类型2和类型3)等SCD技术。 • 使用分布式数据技术(例如Spark、Kafka等)构建高效、大规模的大数据流水线。 • 具有至少一种以下编程语言的扎实软件工程经验:PYspark、Python、Scala或等效。 • 在使用AWS S3和Snowflake云数据仓库方面具有经验。 • 在Redshift/Snowflake中转换/集成数据的经验。 • 处理来自AWS S3等各种来源的JSON、ORC、PARQUET、CSV文件等大型复杂数据集。 • 在Snowflake云架构和用于连续数据摄取的SnowSQL和SNOWPIPE方面具有良好的经验。 • 有实际经验将数据批量加载和卸载到Snowflake表中。 • 在Snowflake云数据仓库中编写复杂SQL脚本的经验,使用统计聚合函数和分析函数来支持ETL。使用COPY/INSERT、PUT、GET命令从内部、外部阶段加载数据到Snowflake表。 • 使用查询分析器、缓存和虚拟数据仓库扩展等优化SnowFlake数据仓库的性能。 • 在包括数据转换、数据源、映射、转换和加载的ETL过程中有丰富的经验。 • 有实际经验加载到Snowflake。 • 了解Redshift(最好有) • 了解AWS EC2、lambda • 强大的数据仓库经验 • 最好懂Python • 对SQL查询有很强的掌握能力 • Kafka不是必需的,最好有 祝好, Bharat Priyadarshan Gunti 客户关系经理 Yochana IT Solutions Inc. 23000 Commerce Dr, Farmington hills, MI-48335 联系方式:248-599-1102(分机) bharat@yochana.com || www.yochana.com 备注:这不是一封未经请求的邮件。如果您不希望收到我们的电子邮件,请回复主题为"Remove"的邮件。 哦!主啊,你是我的公义和我的骄傲  通过分享、赚取和赋权来加入Yochana的推荐革命!向我们询问有关我们丰厚的推荐计划的信息。