地点：纽约
概述
设计、开发和维护可扩展的数据管道，用于摄取和处理物流和远程信息处理数据集。使用Python和Go构建和支持API，实现内部和外部系统之间的安全高效通信。将第三方平台（包括远程信息处理服务提供商（TSP）和运输管理系统（TMS））集成到Catenas生态系统中，以确保互操作性和数据保真度。应用高级实体解析技术以统一不同的记录，检测重复项，并在大型数据集中建立准确的关系。
设计反映现实世界供应链结构的数据模型，平衡规范化、非规范化和分析的可扩展性。使用Airflow或Prefect等工具贡献数据工作流的编排，以自动化ETL（提取、转换、加载）和ELT过程。使用Docker和Kubernetes在云环境中监控、部署和维护容器化应用程序。利用Kafka或Redpanda等流消息平台支持实时数据处理管道。
与首席技术官和其他工程团队成员合作，定义技术规范、代码审查标准和Dev Ops程序。编写技术文档并使用基于Git的工作流程和项目管理工具（如Jira或Plane）管理任务。执行分配的其他软件工程和数据集成任务。
职责
- 设计、开发和维护可扩展的数据管道，用于摄取和处理物流和远程信息处理数据集。
- 使用Python和Go构建和支持API，实现内部和外部系统之间的安全高效通信。
- 将第三方平台（包括TSP和TMS）集成到Catenas生态系统中，以确保互操作性和数据保真度。
- 应用高级实体解析技术以统一不同的记录，检测重复项，并在大型数据集中建立准确的关系。
- 设计反映现实世界供应链结构的数据模型，平衡规范化、非规范化和分析的可扩展性。
- 使用Airflow或Prefect等工具贡献数据工作流的编排，以自动化ETL和ELT过程。
- 使用Docker和Kubernetes在云环境中监控、部署和维护容器化应用程序。
- 利用Kafka或Redpanda等流消息平台支持实时数据处理管道。
- 与首席技术官和其他工程团队成员合作，定义技术规范、代码审查标准和Dev Ops程序。
- 编写技术文档并使用基于Git的工作流程和项目管理工具（如Jira或Plane）管理任务。
- 执行分配的其他软件工程和数据集成任务。
职位要求
计算机科学、数学、软件工程或相关领域的学士学位或其外国同等学历，以及2年作为软件工程师、数据工程师或相关职位/职业的经验。此外，所需的先前经验必须包括：
- 2年使用Python和SQL编程的经验。
- 2年使用Python框架构建API的经验。
- 2年使用开源编排工具（如Airflow、Prefect、Dagster或Astronomer）开发数据管道的经验。
- 2年应用数据建模原则设计关系和半结构化模式的经验。
- 2年使用Git和工具（如Jira或Plane）进行版本控制和问题跟踪的经验。
- 2年使用云特定和云无关数据库和服务的经验。
- 2年使用Docker和Kubernetes部署和管理容器化应用程序的经验。
- 2年使用Kafka、Solace或Redpanda等平台实施流数据管道的经验。
- 2年使用单体和面向服务架构设计系统的经验。
- 2年进行实体解析和集成第三方供应链和远程信息处理系统的经验。
申请请发送简历或CV至jobs并注明参考SE。
