大数据工程师

15个月前全职
Wipro Limited

Wipro Limited

location 芝加哥
unsaved
关于Wipro:Wipro有限公司(NYSE:WIT,BSE:507685,NSE:WIPRO)是一家领先的技术服务和咨询公司,专注于构建创新解决方案,解决客户最复杂的数字化转型需求。我们利用我们在咨询、设计、工程、运营和新兴技术方面的全面能力组合,帮助客户实现他们最大胆的愿景,建立未来准备、可持续发展的业务。作为一家在全球范围内因其全面的服务组合、对可持续发展的坚定承诺和良好的企业公民行为而受到全球认可的公司,我们拥有超过25万名专职员工,为66个国家的客户提供服务。我们兑现了在不断变化的世界中帮助我们的客户、同事和社区繁荣的承诺。超过75年的骄傲历史FY22收入104亿美元我们在66个国家设有分支机构超过1400个活跃的全球客户职位名称:大数据工程师地点:温哥华,华盛顿州(美国)(现场)职位描述职责使用Spark、Python、SQL和其他在大数据/湖生态系统中流行的工具和语言设计和实施分布式数据处理流程。根据总体目标分析设计,并确定所需的编码、编程和集成活动。在现场和离岸地点代表供应商团队资源的交付物角色中担任技术主导角色。领导技术协调和业务知识过渡活动,向离岸团队传递。审查并评估设计和项目活动,以确保符合架构、安全和质量准则和标准编写和执行完整的测试计划、协议和分配给数据系统或组件的文档;确定代码问题和集成到数据系统架构中的解决方案与项目团队合作并就项目进展和问题解决与项目团队进行协作和沟通与数据工程团队合作完成更大型和更复杂的开发项目的各个阶段,并与外部用户就业务和技术需求进行互动与同行、工程师、数据科学家和项目团队进行合作通常每天/每周与高级个人贡献者、经理和项目团队进行互动您需要具备的技能:计算机科学、信息系统、工程或其他相关专业的学士或硕士学位4年以上相关经验,具有数据仓库技术架构、基础设施组件、ETL/ ELT和报告/分析工具的详细知识3年以上云数据仓库(如Redshift、Snowflake等)的经验3年以上的大数据分布式生态系统经验(Hadoop、SPARK、Unity Catalog和Delta Lake)3年以上的工作流编排工具(如Airflow等)的经验3年以上的大数据分布式系统经验,如Databricks、AWS EMR、AWS Glue等利用监控工具/框架(如Splunk、Grafana、CloudWatch等)使用容器管理框架(如Docker、Kubernetes、ECR等)的经验3年以上的多个大数据文件格式(Parquet、Delta Lake)的工作经验有经验使用CI/CD流程(如Jenkins、Codeway等)和源代码控制工具(如GitHub等)强大的Python、Scala和Java编程语言经验和技能熟练掌握基于关系的系统和编写复杂SQL的能力熟练掌握复杂、分布式和大规模并行系统具有表示复杂算法的软件能力强大的数据库技术和管理系统的理解强大的数据结构和算法的理解数据库架构测试方法,包括执行测试计划、调试和测试脚本和工具强大的分析和解决问题的能力具备的技能:使用PowerBI、Tableau等可视化工具的经验使用dbt等转换工具的经验具有构建实时流数据流水线的经验具有Kafka、Kinesis、Spark Streaming等发布/订阅流技术的经验我们是一家平等机会雇主。所有合格的申请人将获得平等的就业机会,不论种族、肤色、种姓、宗教、性别、婚姻状况、年龄、种族和国籍、性别认同、性别表达、性取向、政治取向、残疾状况、受保护的退伍军人身份或其他受法律保护的特征。#LI-AK7数据工程全栈