Advisory Researcher, Omni & Multimodal Interaction Researcher

LenovoBeijing, BeijingOn-siteFull-timeMid level, 2–5 yearsListed 3 hours ago

Apply now

About this role

We are Lenovo. We do what we say. We own what we do. We WOW our customers.
Lenovo is a US$83 billion revenue global technology powerhouse, ranked #153 in the Fortune Global 500, and serving millions of customers every day in 180 markets. Focused on a bold vision to deliver Smarter Technology for All, Lenovo has built on its success as the world’s largest PC company with a full-stack portfolio of AI-enabled, AI-ready, and AI-optimized devices (PCs, workstations, smartphones, tablets), infrastructure (server, storage, edge, high performance computing and software defined infrastructure), software, solutions, and services. Lenovo’s continued investment in world-changing innovation is building a more equitable, trustworthy, and smarter future for everyone, everywhere. Lenovo is listed on the Hong Kong stock exchange under Lenovo Group Limited (HKSE: 992) (ADR: LNVGY).
This transformation together with Lenovo’s world-changing innovation is building a more inclusive, trustworthy, and smarter future for everyone, everywhere. To find out more visit www.lenovo.com (https://www.lenovo.com), and read about the latest news via our StoryHub (https://news.lenovo.com/).

岗位职责

- 参与新一代 Omni 多模态大模型与智能交互技术研究,探索语音、视觉、文本等多模态信息的联合理解、融合推理与流式生成,提升多模态 Agent 在真实场景下的智能交互能力。

- 实时全双工多模态交互 :研究端到端语音及音视频交互、流式多模态理解与生成、语义判停(Turn-taking)、动态打断(Barge-in)及低延迟响应等关键算法,实现自然、连续的实时多模态交互。

- 低功耗常驻式多模态感知 :研究面向智能终端的 Always-On 感知技术,探索分层级联感知、事件触发、轻量化感知模型、模型动态路由及端云协同推理,优化感知效果、资源消耗及响应延迟。

- 真实世界多模态记忆 :研究连续音视频及环境感知信息的语义压缩、时序建模、记忆构建与高效检索,增强多模态 Agent 对历史事件、用户偏好及环境上下文的长期理解能力。

- 主动式多模态交互 :探索基于实时感知、历史记忆和用户意图的主动交互技术,研究交互时机判断、主动触发、行为决策及打扰度控制,提升多模态 Agent 的自然交互与个性化服务能力。

- 负责相关算法的研究、模型训练或后训练、实验验证、性能评测与工程化优化,推动研究成果在 AI PC、智能手机等产品场景中落地,并形成论文、专利、技术报告等技术成果。

任职要求

- 计算机科学、人工智能、电子信息等相关专业,硕士及以上学历;具有3年以上人工智能、深度学习、大模型或多模态算法相关研发经验。

- 熟悉 Transformer、LLM、VLM、Audio-LLM、Omni 等模型架构中的一种或多种,理解多模态表示学习、跨模态融合、大模型训练与推理等技术原理。

- 在以下技术方向中,至少具备一个方向的实际研发经验,能够独立完成相关算法的设计、验证与优化:

- Omni 多模态模型、端到端语音/音视频交互、流式全双工对话。

- 常驻式多模态感知、端云协同推理、低功耗模型优化。

- 多模态记忆、长上下文建模、语义压缩与检索。

- 主动式交互、用户意图理解、Agent 决策与工具调用。

- 熟练掌握 Python、PyTorch 等研发工具,具备模型训练、微调、推理优化或多模态 Agent 系统的实际研发经验。

- 具备良好的算法研究、实验设计与工程实践能力,能够独立分析和解决具体技术问题,推动算法研究成果在实际业务场景中落地。

加分项

- 具有原生 Omni、多模态端到端模型、Speech-to-Speech 或实时音视频大模型的训练、后训练或实际应用经验。

- 熟悉 SFT、RL、DPO、GRPO 等大模型后训练方法,具有多模态模型对齐、实时交互优化或 Agentic RL 经验。

- 在多模态记忆、Memory Compression、主动交互或个性化智能助手等方向具有相关研究或项目成果。

- 熟悉 DeepSpeed、Megatron、vLLM 等训练推理框架,具备低延迟推理、模型量化或端侧部署经验。

- 在 NeurIPS、ICML、ICLR、ACL、CVPR、ICASSP、Interspeech 等相关学术会议发表论文,或具有高质量开源项目、专利及技术报告。

- 具有 AI PC、手机、智能助手或其他智能终端多模态交互技术的产品落地经验。