位置：加利福尼亚州尔湾市或德克萨斯州达拉斯市或美国远程
职位类型：工程
IQ Workforce是工程、分析和数据科学社区的领先招聘公司。
我们的客户是一家全球餐饮公司，致力于开发和运营一些世界上最知名的品牌。他们拥有超过30,000名员工，在150多个国家和地区经营超过50,000家餐厅。
他们的一家餐厅品牌正在寻求为其数据与分析团队新增一名高级数据工程师。该工程师将成为构建他们的Customer360数据管道的专家，以从内部和外部客户数据源中获取、分析和验证数据。您将与跨职能合作伙伴和第三方供应商合作，通过获取、组织和聚合来自各种来源的客户数据，为营销、定向媒体活动和分析/数据科学构建客户的完整和准确的360度视图。这个人必须能够在需要时在细节层面上工作，以识别问题、风险、根本原因，制定缓解策略和解决方案，并识别和跟踪行动以解决问题。
职责包括：
与数据产品经理、数据科学家、数据分析师和工程师合作，定义需求和数据规范
使用AWS、Airflow、Redshift、EMR等云技术开发、部署和维护数据处理管道
使用Event Bridge、Kinesis、AWS Lambda、S3和Glue等无服务器数据管道开发、部署和维护
构建基于云的数据基础设施解决方案，以满足利益相关者的需求
建立一个具有自动化、自愈能力和处理数据漂移能力的强大大数据摄取框架
处理来自多个内部/外部来源的实时数据流和API
编写批处理数据提取的ETL管道
提供可扩展的解决方案来管理大文件导入
采用自动化和手动测试策略，确保产品质量
学习和了解产品的工作原理，并帮助构建端到端的解决方案
维护详细的文档，以支持数据质量和数据治理
确保高操作效率和解决方案的质量，以满足SLA并支持对客户（数据科学、数据分析团队）的承诺
成为产品方法论的积极参与者和倡导者
担任专家角色，并就代码质量和及时性的标准提出建议
资格要求：
分析、统计学、工程、数学、经济学、计算机科学、信息技术或相关学科的学士学位
在大数据领域拥有5年以上的专业经验
具备使用现代大数据架构设计和交付大规模、24/7、关键任务的数据管道和功能的5年以上经验
熟练使用Python/Pyspark/Spark和SQL进行编码
具备AWS生态系统的经验，尤其是Redshift、Athena、DynamoDB、Airflow、AWS Lambda和S3
精通编写复杂SQL和ETL开发，有处理极大数据集的经验
熟练使用Hudi在S3数据湖上应用SCD类型
展示分析大数据集以识别差距和不一致性、提供数据洞察和推进有效产品解决方案的能力
具备使用API集成整合数据的经验
具备使用Kinesis Firehose、Kafka等流式技术整合数据的经验
具备从多个数据源和文件类型（如JSON、Parquet和Avro格式）整合数据的经验
具备在动态环境中支持和与跨职能团队合作的经验
具备较强的定量和沟通能力
加分项：
熟练使用pytest等工具进行自动化测试
具备使用Amperity和MarTech等客户数据平台的经验
具备参与全生命周期部署并专注于测试和质量的经验
具备数据质量流程、数据质量检查、验证、数据质量指标定义和测量的经验
具备使用Gitlab、Terraform等CI/CD工具的经验
具备使用Informatica DQ或Talend DQ工具的数据质量工具的经验 
洛杉矶