高级大数据工程师

16个月前全职
Tiger Analytics, LLC

Tiger Analytics, LLC

location 多伦多
unsaved
Tiger Analytics是一家快速发展的高级分析咨询公司。我们的顾问在数据科学、机器学习和人工智能方面拥有深厚的专业知识。我们是几家财富100强公司的可信分析合作伙伴,帮助他们从数据中创造商业价值。我们的商业价值和领导力得到了包括Forrester和Gartner在内的各种市场调研公司的认可。 我们正在寻找顶尖人才,因为我们继续建设全球最佳分析咨询团队。 数据工程师将负责架构、设计和实施高级分析能力。 合适的候选人应具备广泛的数据库设计技能,能够处理大型和复杂的数据集,有建立自助式仪表板的经验,熟悉使用可视化工具,并能够应用自己的技能生成帮助解决业务挑战的洞察。 我们正在寻找能够提出自己的愿景并在将公司的数据分析提升到新水平方面实施积极变革的人。 职责: 作为一个技术专家和工程师,能够适应新技术并亲自执行战略。 他们必须对现代AWS数据堆栈和敏捷交付模型有深入的理解,专注于构建业务数据流水线。 作为敏捷团队的高级成员,帮助推动一致的开发实践、工具使用、公共组件和模式。 指导确定并推荐适当的解决方案。 使用PySpark/Pandas/SQL、AWS Glue进行实际的设计和开发工作,使用Datasync、Parquet文件、仓库经验(最好是Snowflake和/或Redshift) 花费大量时间编写代码和进行测试。 ~8+年的行业经验,特别是在数据工程领域 ~5+年在生产环境中构建和部署大规模数据处理流水线的经验。 ~在Python、SQL和PySpark中构建ETL数据流水线和分析的强大经验 ~对数据工程概念、技术和最佳实践有深入了解。 ~使用Python等数据工程编程语言创建和优化复杂的数据处理和数据转换流水线 ~熟悉ETL工具和框架(如Apache NiFi、Talend、AWS Glue、Azure Data Factory)。 ~熟悉Snowflake、DBT、AWS Redshift、Postgres、MongoDB和Hadoop等大数据平台 ~具有数据流水线和工作流管理工具的经验 ~高级SQL知识和与关系数据库的工作经验,包括查询编写(SQL),以及对各种数据库的熟悉 ~了解数据仓库(DWH)系统,并从DWH迁移到数据湖/Snowflake ~了解ELT和ETL模式以及何时使用每种模式。了解数据模型和将数据转换为模型的过程 ~处理非结构化数据集的强大分析能力 ~云认证(AWS认证的大数据-Specialty、Microsoft认证:Azure数据工程师)是一个加分项。 ~构建支持数据转换、数据结构、元数据、依赖和工作负载管理的流程 ~在动态环境中支持和与跨职能团队合作的经验 随着公司的发展,存在着重大的职业发展机会。 这个职位提供了一个独特的机会,成为一个小而具有挑战性和创业精神的环境的一部分,具有很高的个人责任程度。