📰 正文
Meta发布了一个令人惊喜的开源项目:Unity-SpatialLingo。
用于在 Meta Quest(AR/VR头显) 上开发混合现实(MR)语言学习体验。
通过 现实世界物体识别 + 自然语言 AI 交互 的方式,用户能够在真实的物理空间中,与AI一起练习语言。
也就是不用担心没有语言环境了。
无论你身处卧室、办公室还是客厅,Spatial Lingo 都能识别你周围的物品(如椅子、桌子、电脑),并在虚拟空间中为它们贴上对应语言的单词。
你可以听AI发音、跟读练习、得到即时评分,还能与虚拟语言导师互动。
它能识别你房间里的物体,比如看到“桌子”就会说:“这在法语里叫 la table。”
你可以跟它对话,它会听你的发音并打分,能学习不同语言。
有个可爱的虚拟角色 “Golly Gosh” 带着你边看实物边学语言。
还能用手势或控制器操作,完全沉浸式学习。
你不再对着屏幕背单词,而是——当你看到桌子、书本或咖啡杯时,AI会告诉你它们在不同语言中的名称,并和你进行语音互动。
这不是游戏,而是一种“空间语言学习体验”。
学习方式:AI + 现实空间 = “沉浸式语言练习”
🏡 “用真实环境学语言”
Spatial Lingo 让语言学习不再停留在书本或屏幕上。 当你环顾四周,系统会识别出房间中的物体并显示对应外语名称。 例如:
当看到“书”时,系统显示 book;
当识别到“灯”时,会提示 lamp,并播放标准发音。
这种视觉与空间记忆结合的学习方式,帮助你用真实场景强化记忆。
主要功能
玩法与体验方式
🎮 单人体验(Single User) 玩家独自与虚拟角色互动,通过“语言任务”学习新词。
🏠 Roomscale 模式 需要你在有一定空间的现实环境中移动,让系统识别不同的物体。
✋ 支持多种输入方式
手势识别(Hand Tracking)
语音交互(Voice)
控制器操作(Touch Controllers)
💬 实时反馈机制 说错发音时,AI 会实时指出问题,并播放标准发音。
核心技术
GitHub:https://github.com/oculus-samples/Unity-SpatialLingo
有设备的可以体验:https://www.meta.com/en-gb/experiences/spatial-lingo-language-practice/24846121391731831/