工作职责
设计和优化可扩展的数据工作流，具备数据加载模式、数据架构等领域的专业知识。开发和维护支持实时和批处理的稳健数据管道。从各种来源提取和集成数据，在实时业务条件下开发和扩展模型。这包括在数据层和应用层之间通过API进行接口。利用SQL确保高效的数据转换和分析。实施数据建模最佳实践以支持AI/ML应用，包括模式设计、分区策略和索引以优化性能。将多样化的数据源（如结构化、半结构化和非结构化）整合到统一的数据架构中，为AI驱动的应用和洞察提供动力。训练适合业务使用的高级模型和算法——模型包括计算机视觉模型、预测模型、路线优化等。团队合作以确保数据准备、特征工程管道和实验的可重复性。通过实施验证、数据沿袭跟踪和合规标准来倡导数据质量和治理。担任数据工程师、软件工程师、云工程师和AI科学家多重角色。
职位要求
最低要求工程、经济学、数学、计算机科学或相关领域的学士学位。至少8到10年相关角色的数据处理工作经验。熟悉数据操作、统计分析和机器学习理论。这包括从各种来源提取和集成数据，在实时业务条件下开发和扩展模型。这包括在数据层和应用层之间通过API进行接口。理解软件工程实践（如版本控制）、容器化、CI/CD管道。具有使用TensorFlow、PyTorch等框架部署模型的经验，并且非常熟悉Azure、Databricks、Fabric等平台。精通SPARK、Python、Java、SQL、Pandas、Hugging Face、Open AI APIs。精通全栈软件工程和数据工程，具有丰富的Azure等工作经验。熟悉数据伦理和治理，包括数据安全管理的最佳实践。工作地点：60 Pioneer Road, Tuas。
