蚂蚁多模态认知团队简介

在蚂蚁集团各项业务中有丰富的多模态、图像、视频理解与生成的应用场景，例如支付宝生活/财富Tab的视频理解、搜索推荐、保险文档图像理解、网商遥感影像解译等，需要计算机视觉、自然语言处理、多模态多个技术专业领域的持续研发，包括多模态图文基础大模型、AIGC图像视频生成模型、通用遥感基础大模型等。团队成员包括国内外顶尖高校优秀学者和行业资深技术精英，在CVPR/ICCV/ECCV/ICML/IJCAI/AAAI/SIGIR/ACL/ACM’MM等顶级国际学术会议上发表数十篇论文，并在多项国际竞赛取得优秀成绩。

招聘岗位

校招/研究型实习生-多模态大模型算法工程师

职位描述

1. 研发原生多模态基础大模型，具备大模型结构设计，预训练任务和下游能力的建设有相关研发经验；
2. 应用落地，协同大模型系统工程技术，将多模数据理解、生成能力落地于数字生活、数字金融、安全等业务场景；
3. 跟踪、探索原生多模态预训练/大模型方向前沿技术，并适时进行技术分享、专利申请和学术文章发表。

职位要求

1. 计算机、数学、统计学或相关专业的博士或优秀硕士；
2. 优秀的工程实践能力，熟悉Pytorch/TensorFlow等深度学习框架，掌握大规模并行训练技术，熟悉现代分布式计算系统及应用研发；
3. 精通C++/Python/Java编程，熟练掌握基础数据结构；
4. 一作顶会/顶刊论文发表，包括不仅限于ICML, ICLR, NeurIPS, ACL, EMNLP, CVPR, ECCV, ICCV等；
5. 有跨领域工作经验，如CV、NLP等跨算法领域、工程与算法结合的工作经验等。

工作地点

杭州、北京、上海

社招-AIGC算法工程师/专家

职位描述

1、负责直播、短视频业务中通过AI辅助生产视频内容、提升内容生产效率的AI工具研发；
2、探索基于AI先进技术的视频生成、音乐生成和数字人方面的工作。

职位要求

1、计算机或数学专业硕士及以上，具有计算机视觉、多模态大模型、AIGC等领域相关专业知识；
2、在AIGC领域有相关的业务落地经验，3～5年以上工作经验，有数字人/文生图/文生视频相关经验者优先；
3、有AIGC领域的国际比赛获奖或有CVPR/NeurIPS/ICCV/ECCV/ACM MM/TIP等（会议或期刊）论文发表的候选人优先。

工作地点

杭州、北京

校招/研究型实习生-AIGC算法工程师

职位描述

1、 探索视频生成、音乐生成和数字人等领域的AIGC先进技术；
2、研发基于先进AIGC技术的图像、视频生成工具或方案，支撑灵活多样的应用场景。

职位要求

1、目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位；
2、熟练掌握一种或多种编程语言，包括但不限于Java,C/C ++ 、Python、JavaScript或Go，以及常见深度学习框架，如Pytorch、TensorFlow等；
3、有AIGC算法研发经验，或有CVPR/NeurIPS/ICCV/ECCV/ACM MM/TIP等（会议或期刊）相关领域论文发表的候选人优先。

工作地点

杭州、北京

社招-多模态大模型轻量化算法工程师/专家

职位描述

1、对多模态大模型、文生图、文生视频等模型进行模型加速，包括但不限于剪枝、蒸馏、网络结构优化、神经网络压缩、参数共享、采样优化，减少计算复杂度和提高token/图像/视频的生成的速度；
2、LLM优化注意力机制，包括简化计算、减小KV缓存，并提出有效的长上下文处理策略；
3、研究低比特量化与训练，与具体硬件结合以减少内存与推理耗时。

职位要求

1、具备计算机科学、人工智能或相关领域的硕士以上学位；
2、至少5年以上在深度学习模型性能优化方面的工作经验；
3、熟练掌握深度学习框架（如TensorFlow或PyTorch）和GPU编程（如CUDA）；
4、熟悉Transformer架构及其变种，熟悉扩散模型，并对它们的优化方式有深入理解；
5、能够证明过去在模型压缩、剪枝、量化等方面的成功项目经验；
6、具备优秀的分析和解决问题的能力，能够独立工作并与跨职能团队协作；
7、优先考虑发表过相关领域论文，以及在多GPU或云计算环境下部署和优化大模型的经验。

工作地点

北京

社招-遥感图像理解算法工程师/专家

职位描述

1、负责基于现代深度学习技术的遥感图像解译技术研发，以及在蚂蚁集团各个应用场景的落地；
2、负责面向多模态时空数据理解的能力沉淀和产品化建设；
3、跟踪学术前沿，协同业务创新。专利申请和学术文章发表，提高蚂蚁在遥感领域的的技术影响力。

职位要求

1、遥感/测绘/计算机视觉/机器学习相关专业硕士或博士，有交叉领域相关研究和实践经验者尤佳；
2、具备深度学习先进算法研发能力，熟悉深度学习开发平台，如Pytorch、Tensorflow等；
3、有扎实的代码功底和系统架构能力，精通C++/Java/Python等；
4、有领域顶级会议和期刊论文发表者、有高影响力开源贡献者优先；
5、具备良好的沟通与表达能力，自我驱动与结果导向。

工作地点

杭州、上海

研究型实习生-视频自监督预训练新范式研究

职位描述

通过设计合适的任务和损失函数，使得模型能够从视频序列中学习视频的时空属性和细粒度内容，为现有的视频理解和生成任务提供新的思路和方法。涉及如何在信息降维与扩散效率之间取得平衡，怎样处理时空信息的有效提取，如何处理复杂的长时间序列，以及如何维持视频中的物体跨时间帧的一致性等。

职位要求

1、目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位；
2、具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go；
3、具有上述研究领域的相关经验,包括行业经验或作为参与实验室研究；
4、优先录用：对技术研究充满热情,具有产生新思想和创新的能力，在自学,问题分析和解决方面表现出色，在国际会议上或核心期刊发表一份或多份出版物或论文；
5、至少3个月的全职工作。

工作地点

北京

支付宝终端视觉算法团队简介

支付宝存在大量的计算机视觉/多模态业务场景，团队在生物识别算法、AIGC应用算法、视觉交互算法等方面持续支撑、驱动、探索产品落地应用，旨在为用户提供方便、好用、有趣的各种功能，在过去几年，持续推出了例如支付宝刷脸支付/掌纹支付/声纹支付、扫一扫视觉交互、五福AI玩法、会员AI实验室、广告/商品AIGC提效等各类产品功能，目前也在跟随着多模态大模型技术的快速发展，持续探索下一代AI原生应用可能。团队成员包括国内外顶尖高校优秀学者和行业资深技术精英，在算法技术应用结合方面有深入的经验。

蚂蚁集团-视觉多模态算法专家-AI原生应用

职位描述

1、负责包括图像、视频在内的多模态内容理解，持续研发提升基础视觉算法能力。
2、支持多模态大模型相关业务应用需求，针对真实场景的用户需求，设计/创新合理的技术方案。
3、探索多模态大模型的高效微调技术和推理技术，保证大模型在业务场景中的快速适配和高效调用；

职位要求

1、在多模态大模型方向有一定经验，熟悉主流多模态大模型（LLaVA等)的基本原理和训练方法，对Pre-train、SFT等技术有较深入了解；
2、具备扎实的编程功底，熟悉 Pytorch 等主流深度学习框架，熟练使用 C ++/ Python 等至少一种编程语言，熟悉 Linux 开发环境；
3、对技术有热情，有良好的沟通表达能力和团队精神，自驱力强；对大模型应用、图像识别、用户意图识别有深入了解的优先；
4、在顶级会议或期刊上发表过有影响力的学术论文或在重要算法比赛中取得过优秀名次的候选人优先。

工作地点

北京、杭州

投递方式：