大数据架构师
地点:科罗拉多州丹佛(首日现场)
经验:10年以上
项目类型:合同
现场工作
工作详情
• 在数据仓库、大数据和云数据平台上交付数据解决方案方面具有9年以上相关经验。
• 实施缓慢变化维度(类型1、类型2和类型3)等SCD技术。
• 使用分布式数据技术(例如Spark、Kafka等)构建高效、大规模的大数据流水线。
• 具有至少一种以下编程语言的扎实软件工程经验:PYspark、Python、Scala或等效。
• 在使用AWS S3和Snowflake云数据仓库方面具有经验。
• 在Redshift/Snowflake中转换/集成数据的经验。
• 处理来自AWS S3等各种来源的JSON、ORC、PARQUET、CSV文件等大型复杂数据集。
• 在Snowflake云架构和用于连续数据摄取的SnowSQL和SNOWPIPE方面具有良好的经验。
• 有实际经验将数据批量加载和卸载到Snowflake表中。
• 在Snowflake云数据仓库中编写复杂SQL脚本的经验,使用统计聚合函数和分析函数来支持ETL。使用COPY/INSERT、PUT、GET命令从内部、外部阶段加载数据到Snowflake表。
• 使用查询分析器、缓存和虚拟数据仓库扩展等优化SnowFlake数据仓库的性能。
• 在包括数据转换、数据源、映射、转换和加载的ETL过程中有丰富的经验。
• 有实际经验加载到Snowflake。
• 了解Redshift(最好有)
• 了解AWS EC2、lambda
• 强大的数据仓库经验
• 最好懂Python
• 对SQL查询有很强的掌握能力
• Kafka不是必需的,最好有
祝好,
Bharat Priyadarshan Gunti
客户关系经理
Yochana IT Solutions Inc.
23000 Commerce Dr, Farmington hills, MI-48335
联系方式:248-599-1102(分机)
bharat@yochana.com || www.yochana.com
备注:这不是一封未经请求的邮件。如果您不希望收到我们的电子邮件,请回复主题为"Remove"的邮件。
哦!主啊,你是我的公义和我的骄傲
通过分享、赚取和赋权来加入Yochana的推荐革命!向我们询问有关我们丰厚的推荐计划的信息。