当前位置: 首页 » 资讯 » 新药研发 » 把图像转换成音乐,让盲人“看见”

把图像转换成音乐,让盲人“看见”

放大字体  缩小字体 发布日期:2012-07-11  来源:药品资讯网  浏览次数:23

     感官替代装置(SSD)使用声音或者触摸的方式,来帮助视障人士感知周围的视觉场景。理想的SSD不仅有助于感知环境,还能协助执行日常活动。例如:准确得触到咖啡杯,或者握手。

       在一项新的研究中,科学家们训练蒙住眼睛的受试者,让他们使用一种叫做“Eyemusic”的感官替代装置进行快速准确的动作。他们的研究结果发表在Restorative Neurology and Neuroscience.


       Eyemusic由耶路撒冷希伯来大学的一个研究小组开发。使用愉快的音调和音阶来帮助视障人士“看见”音乐。这种非侵入性SSD把图像转换成音符组合和音乐场景。


       该装置是资深教授Amir Amedi 和他的团队在埃德蒙和莉莉·萨夫拉脑科学中心(ELSC)和希伯来大学的以色列加拿大医学研究所共同开发。Eyemusic扫描图像,用高亢的音符表现图像,多种组合下听起来令人愉悦。

       图像从左到右连续扫描,并在开始处标记上听觉讯号。音符相对听觉讯号的时间提示像素的水平位置(离听觉讯号的时间越靠后,图像上的位置越靠右),声音的响度提示图像的亮度。Eyemusic的算法为5种颜色使用不同的乐器:白色(声乐),蓝色(小号),红色(雷盖风琴),绿色(合成(http://www.chemdrug.com/article/8/)簧片),黄色(小提琴),静音表示黑色。

       这项研究测试了18个被蒙住眼睛的受试者,在简短的熟悉模块中,他们学着去确认单个物体(白色方体)的位置,或者两个相邻对象(一白一蓝方体)。测试模块中,受试者使用数码笔来指出白色方体。一项实验中他们被蒙住眼睛(SSD模式),通过Eyemusic得到反馈;另一项中,则将胳膊放在不透明的遮盖物下,这样他们能看到屏幕却不能直观得看到来自手的视觉反馈(VIS模式) 。手的末端位置用一个蓝色方体标记。结果证明人们能根据听觉创造一个相对准确的立体空间。

       Amedi教授提到:“演奏音符横跨5个八度,音乐家们精心挑选过,经过短期培训(某些情况下,甚至不到一个半小时),这种装置能很快学会。

       大脑中空间的意向并不依赖于空间信息的接收方式,这项研究为此假说提供了证据。或许有一天,视障人士有可能在农产品(http://www.chemdrug.com/invest/)过道上准确得到达红苹果而不是绿色所在的位置,或者玩Kinect/Xbox游戏。

 
 
[ 资讯搜索 ]  [ 加入收藏 ]  [ 告诉好友 ]  [ 打印本文 ]  [ 关闭窗口 ]

 
0条 [查看全部]  【把图像转换成音乐,让盲人“看见”】相关评论

 
推荐图文
推荐资讯
点击排行