人民网
人民网>>陕西频道>>人民网看陕西

它来了,它来了!智能电子导盲犬“啪嗒啪嗒”走来了!

人民网记者 李志强
2024年03月20日20:01 | 来源:人民网-陕西频道
小字号

“啪嗒啪嗒......”一只电子导盲犬在街上迈着规律的步伐,拉着牵引绳的“盲人”,在它的带领下越过沿路障碍,平稳地行走着——这是西北工业大学李学龙教授团队在探索离线具身智能应用方面取得的阶段性进展。

具身智能,即具有物理实体,能够通过传感器和执行器与环境进行实时互动,执行相应指令或进行决策的智能机器。李学龙教授团队将机器狗搭载离线大模型,应用在智能导盲场景,开发出大模型离线具身智能导盲犬,并实现了其智能人机交互、智能乘梯引导、智能过街引导、智能室内引导等功能。

李学龙教授团队研发的大模型离线具身智能导盲犬。视频截图

记者从西北工业大学了解到,这项成果进一步展示了使用离线具身智能导盲犬代替传统导盲犬的可能性,验证了离线具身智能范式的可行性,使大模型具身智能机器人可以脱离互联网环境,应用在无网或网络信号不佳的工况环境。同时,也为视障人士一犬难求的问题提供了新的解决方案。

据团队介绍,近年来,随着机器人技术和SLAM导航技术的快速发展,针对电子导盲犬的探索也层出不穷。然而受制于自然语言处理技术的限制,上一代电子导盲犬仍然欠缺和人类“自由对话”的能力,也难以为视障人士提供情感陪伴。

大模型及具身智能技术的出现使电子导盲犬实现这种高级能力成为可能。但机器狗的低算力计算平台难以支撑大模型运行所需的海量计算资源,通常只能通过请求云服务的“在线具身智能”范式获得大模型的高级能力,这严重限制了电子导盲犬的场景应用范围。

为此,李学龙教授团队结合目前最新的大模型量化压缩和加速推理技术,成功将大模型部署至机器狗的低算力计算平台,验证了“离线具身智能”范式的可行性。

目前通过实验,团队开发的离线具身智能导盲犬已能够与视障人士流畅沟通指令,并带领其通过马路、楼梯、电梯等多样复杂环境,验证了离线具身智能导盲犬的智能人机交互能力、电梯弱网络环境下的智能乘梯引导能力、实时性要求较高的智能过街引导能力和智能室内引导能力等。

据了解,研究团队未来还将进一步优化具身智能导盲犬技术方案,与大模型相结合,探索在线与离线相融合的分布式异构具身智能方案,进一步拓宽离线具身智能导盲犬及更多智能机器人平台的应用场景,有效赋能工业生产智能化。(视频由西北工业大学提供)

(责编:李志强、吴超)

分享让更多人看到

返回顶部