Sr. Researcher, Omni & Multimodal Interaction Researcher

LenovoBeijing, BeijingOn-siteFull-timeStaff, 8–12 yearsListed 3 hours ago

Apply now

About this role

We are Lenovo. We do what we say. We own what we do. We WOW our customers.
Lenovo is a US$83 billion revenue global technology powerhouse, ranked #153 in the Fortune Global 500, and serving millions of customers every day in 180 markets. Focused on a bold vision to deliver Smarter Technology for All, Lenovo has built on its success as the world’s largest PC company with a full-stack portfolio of AI-enabled, AI-ready, and AI-optimized devices (PCs, workstations, smartphones, tablets), infrastructure (server, storage, edge, high performance computing and software defined infrastructure), software, solutions, and services. Lenovo’s continued investment in world-changing innovation is building a more equitable, trustworthy, and smarter future for everyone, everywhere. Lenovo is listed on the Hong Kong stock exchange under Lenovo Group Limited (HKSE: 992) (ADR: LNVGY).
This transformation together with Lenovo’s world-changing innovation is building a more inclusive, trustworthy, and smarter future for everyone, everywhere. To find out more visit www.lenovo.com (https://www.lenovo.com), and read about the latest news via our StoryHub (https://news.lenovo.com/).

岗位职责

- 主导新一代 Always-On Omni 多模态智能交互技术研究,围绕实时全双工交互、常驻式多模态感知、真实世界记忆与主动交互决策等核心方向,规划关键技术路线,探索具有创新性和产品差异化价值的多模态智能交互架构。

- 实时全双工多模态交互 :研究原生 Omni 模型与级联式多模态 Agent 的协同架构,探索多模态统一表征、音视频流式理解与生成、全双工交互及实时推理等前沿技术,突破多模态理解、推理、生成与工具调用协同中的关键技术问题。

- 低功耗常驻式多模态感知 :研究面向 AI PC、手机及智能终端的 Always-On 感知架构,探索分层级联感知、事件驱动推理、模型动态路由及端云协同机制,在感知能力、计算资源、设备功耗、响应延迟及隐私保护之间实现系统级优化。

- 真实世界多模态记忆 :研究连续音视频与环境感知信息的语义压缩、时序表示、分层记忆及动态检索机制,探索多模态记忆与大模型推理、Agent 任务执行及个性化服务的深度融合,构建面向长期连续交互的真实世界记忆能力。

- 主动式多模态交互 :研究基于实时感知、长期记忆、用户意图和环境上下文的主动交互与行为决策技术,探索交互时机建模、主动介入、静默决策及打扰度控制,并结合模型后训练与强化学习优化 Agent 的主动交互策略。

- 主导关键算法研究与技术架构设计,探索 Omni 模型、多模态感知、长期记忆与 Agent 决策的协同优化机制,建立涵盖模型效果、端到端延迟、资源消耗、记忆有效性及交互体验的数据、技术评测与优化体系。

- 推动核心研究成果从算法原型到实际产品能力的转化,与模型、端侧系统及工程团队协同解决跨模块技术问题,促进多模态交互技术在智能终端中的规模化应用。

- 跟踪 Omni、多模态基础模型、Agent Memory、Agentic RL 等前沿技术发展,主导具有创新性和前瞻性的研究课题,推动高质量论文、专利、开源项目及技术报告等成果产出,提升团队在多模态智能交互领域的技术影响力。

任职要求

- 计算机科学、人工智能、电子信息等相关专业,硕士及以上学历,博士优先;具有6年以上人工智能、大模型或多模态算法相关研发经验,并具有代表性技术成果或复杂研究项目主导经验,特别优秀者可适当放宽年限。

- 深入理解 Transformer、LLM、VLM、Audio-LLM、Omni 等模型架构与技术原理,熟悉多模态统一表示、跨模态融合、大模型训练与后训练、推理优化等主流技术路线,能够结合研究目标进行技术选型与架构创新。

- 在以下技术方向中,至少具备一个方向的突出研究深度与代表性成果,并具有跨技术方向的系统架构设计或协同优化能力:

- Omni 多模态模型、端到端语音/音视频交互、实时全双工模型。

- 常驻式多模态感知、端云协同推理、低功耗智能交互架构。

- 多模态长期记忆、连续感知信息压缩、Memory-Augmented Agent。

- 主动式多模态交互、用户意图建模、Agent 行为决策与强化学习。

- 具备扎实的算法理论基础和较强的科研创新能力,能够针对复杂技术问题提出具有创新性的算法或架构方案,并主导模型研究、实验验证、性能评估与持续优化。

- 熟悉 PyTorch 等深度学习框架,具备复杂多模态模型或智能体系统的核心研发经验,能够综合考虑模型效果、计算效率、实时性及实际部署约束。

- 具备较强的技术判断与研究规划能力,能够独立主导关键技术研究方向,指导研究人员开展技术攻关,推动跨团队技术协作及研究成果落地。