职位: 数据工程师(远程)
概述
摘要说明
数据工程师在跨职能项目团队中工作,负责自动化和产品化高级分析管道。他/她将与多种技术合作,包括生成性人工智能和我们专有的大图分析框架。
你将做什么
数据工程师的职责是在Lynx Analytics的多个客户中实施和部署数据分析管道。这包括参与:
• 深入理解我们通过分析解决方案试图解决的商业问题
• 通过与客户员工的持续咨询,发现与我们试图解决的问题相关的客户现有数据源。这包括与客户的IT团队、数据拥有者、未来的业务拥有者等进行讨论。
• 与客户的IT团队合作,定义我们要部署的分析解决方案的技术架构
• 实施数据摄取子系统:
这是负责将所有必要数据源移动到一个位置的系统,实际分析将在此进行
• 实施数据分析管道
• 将结果集成到Lynx开发的业务用户界面或现有客户软件系统中
技能和经验
你应该具备的技能:
• Airflow、dbt或其他编排工具
• Apache Spark、PostgreSQL、Big Query或其他SQL/NoSQL引擎
• Docker、Docker Compose、Terraform或其他基础设施即代码工具
• 主要云平台之一,如GCP、AWS或Azure
你可能还会使用的工具:
• CI/CD工具,如Git Hub Actions
• FastAPI或Flask用于服务端点
如果你是这样的候选人:
• 是一位在模糊中茁壮成长并喜欢解决问题的通才。
• 享受将大型、模糊和不熟悉的问题分解为具体行动。
• 重视务实而非完美:你寻求最小可行产品、迭代交付和快速反馈循环。
• 认为Dev Ops不是别人的工作——你乐于设置管道、修复不稳定的构建或调整反向代理配置。
• 能够迅速切换角色——从设置数据管道和爬取网站到调整SQL查询或调试后端服务器。
• 热衷于学习和应用不熟悉的技术和工具。
• 具备一些生成性人工智能(理想情况下是RAG)和数据科学/分析的先前经验。
• 对出国工作和旅行的机会感到兴奋!
你会喜欢这里的原因:
• 快速学习机会和多样化挑战
• 灵活的工作时间,远程友好的设置
• 一个重视实际成果的协作文化
• 扁平的组织层级,领导者的高可见性和可接触性
隐私和数据处理
当你在本网站申请职位时,你的申请中包含的个人数据将由Lynx Analytics Pte. Ltd.(“控制者”)收集,地址位于新加坡,邮政编码049712,Cecil Street 30号,Prudential Tower,19-08。你的个人数据将用于与招聘相关的活动,包括面试和测试、评估以及其他必要的招聘和雇用流程。根据欧盟第2016/679号条例第6(1)(f)条的规定,进行此类处理是控制者追求合法利益的合法行为。
你的个人数据将与位于美国的云服务提供商Greenhouse Software, Inc.共享,Greenhouse Software, Inc.作为处理者由控制者委托管理其招聘和雇用流程。如果你位于美国以外,你的个人数据将被转移到美国,以促进招聘流程,并采取保护措施和数据处理协议。
你的个人数据将保留至必要的时间,以评估你的申请。根据适用法律,你可能拥有访问、删除、修正的权利,以及在适用时撤回同意的权利。如对个人数据处理有疑问,请联系控制者。