数据工程师(合同工)

香港 2天前合同 网络
面议
关于我们 EDPS Systems Limited成立于1974年,是香港领先的IT专业人员供应商,为广泛的客户提供创新解决方案。欲了解更多信息,请访问我们的网站。 关于职位 我们正在寻找一名数据工程师加入我们的AI业务发展团队,支持AI驱动平台和解决方案的开发。数据工程师将设计、构建和维护数据管道,以支持跨多个项目领域的机器学习模型开发和部署。 职责 数据管道开发 设计、开发和维护可扩展的ETL/ELT数据管道,以支持AI/ML工作负载 整合来自多种来源的数据,包括物联网设备、API、数据库和文档文件 设计和维护实体关系图(ERD)和数据模式 生成数据质量报告并实施数据验证框架 确保数据生命周期内的数据质量、一致性和可靠性 ML模型支持 与数据科学家合作,准备、清理和构建用于ML模型训练的数据集 使用SMOTE、欠采样和过采样等技术处理不平衡数据集 使用PCA、SHAP或因子分析方法进行特征工程和选择 支持模型评估和迭代(精确度、召回率、F1指标分析) 构建和维护特征工程管道以支持预测分析 协助将ML模型部署到生产环境并监控模型性能 云基础设施 使用AWS服务(S3、EC2、Redshift、Glue、Athena、Lambda)实施和管理基于云的数据解决方案 优化数据存储和处理以提高成本效益和性能 支持数据湖和数据仓库架构设计和维护 数据质量与治理 实施数据验证、监控和质量保证流程 维护数据模型、管道和系统架构的文档 确保遵循数据隐私和安全最佳实践 要求(必须具备的技能) 计算机科学、信息技术、数据工程或相关领域的学士学位 2-4年数据工程或相关角色的实际经验 熟练使用Python和SQL进行数据处理和分析 具备ETL工具和框架的经验(例如,Apache Airflow、AWS Glue、dbt) 熟悉云平台,最好是AWS(S3、EC2、Redshift、Lambda) 理解关系型和NoSQL数据库(PostgreSQL、MongoDB等) 具备设计数据模式和ERD文档的经验 强大的问题解决能力和对细节的关注 英语和粤语流利是必需的。 优选(加分技能) 具备NLP/文本处理经验用于文档解析(简历、职位描述提取) 熟悉数据不平衡处理技术(SMOTE、类别加权) 具备特征重要性分析和可解释性工具的经验(SHAP、LIME) 具备ML框架(TensorFlow、PyTorch、scikit-learn)或ML管道(SageMaker)的经验 理解REST API开发用于数据服务集成 熟悉数据可视化工具(Tableau、Power BI、QuickSight) 具备处理流数据(Kafka、Kinesis)或物联网传感器数据的经验 AWS认证(例如,AWS认证数据工程师助理)是有利的 理解CI/CD实践和版本控制(Git) 具备在敏捷/Scrum环境中以冲刺为基础的交付经验 薪资 具有竞争力的薪资,与资历和经验相称。 申请 请提交您的简历以及您当前和期望的薪资。收集的个人数据将被保密处理用于招聘目的。未在六周内收到面试邀请的候选人可视为申请未成功。 平等机会雇主 我们是一个平等机会雇主,鼓励所有合格候选人申请。收集的个人数据将由授权人员保密处理用于招聘相关目的。 地址 香港湾仔告士打道39号夏慤大厦12楼1202室。网站: