-
MIT新技术:从静音视频中提取声音 从物品振动复原现场声音
关键字: 科技前沿MIT声学算法学家图像算法声波振动音频信号静音视频新技术一组由麻省理工学院(MIT)、微软和 Adobe 组成的图像、声学算法学家等开发出了一种新的算法,能够通过静音视频中的物品微小的振动幅度,提取复原出当时场景中的声音!
该团队已经测试了该技术:测试者在房间内对话,房间内放置一个薯片袋;房间外一台摄像机隔着隔音玻璃对着这个薯片袋进行拍摄。研究人员从这段完全无声的视频中复原出了测试者在房间内的对话!
摄像机隔着隔音玻璃拍摄薯片袋,测试者在房间里对话
其他测试对象还包括铝箔、水面,甚至一盆植物的叶子……团队都能够通过算法,从这些视频中的材质表面微震中提取出有效的音频素材。该团队将会在今年的国际顶级计算机图像峰会 Siggraph 大会上呈现研究成果。
其中一位成员Abe Davis是来自MIT的机电工程和计算机科学研究生。“声波接触到物品的时候,会导致物品发生振动——即便是最微小的振动。这种振动人眼几乎识别不了,人们不知道从这种振动中能够提取出信息。”
团队成员还包括 Frédo Durand、Bill Freeman,两位 MIT 的计算机科学教授;Neal Wadhwa,MIT 的另一名研究生;Michael Rubinstein 博士,来自微软研究院;Gaytham Mysore,来自 Adobe 研究院。
不过,不用太担心普通的摄像头拍下的视频能够被用于提取音频信号。该研究团队使用了能够拍摄每秒 2000 到 6000 帧素材的高速摄像机——已经非常快,但并没有目前世界顶尖的商业级高速摄像机快,后者能够拍摄高达 10 万帧每秒的视频。
但这并不意味着普通的摄像机达到不了效果。该团队解释,使用 60 帧每秒的摄像机拍摄的素材,通过算法仍然能够提取出一些音频信号,虽然可能完全听不清说的是什么,不过能够判别出讲话者的个数、讲话者的性别,甚至讲话者的声学特性——用以判断讲话者的身份。
研究团队对着一个正在播放摇滚乐的耳机进行拍摄,通过算法重现出一个音频文件,然后播放给猜歌软件 Shazam。后者完美地识别出了最一开始播放的这首歌……
- 责任编辑:邱荔
-
刺激消费,全民“发钱”这招可行吗? 评论 240美国申诉后夺铜,罗马尼亚彻底怒了 评论 258“去过中国30次,反对中美敌对”,共和党猛攻他亲华 评论 191“阿克萨洪水策划人”辛瓦尔被选为哈马斯领导人 评论 338“中国为我们所做的一切,都是美国做不到的” 评论 157最新闻 Hot
-
韩国教练哭了:20年了,每次都输给中国队
-
美议员声称担心中企当“间谍”,密歇根州州长已读不回
-
澳大利亚奥运选手涉嫌在巴黎购买可卡因被捕
-
马杜罗:WhatsApp见鬼去吧,建议改用微信…
-
日本长崎拒绝邀请以色列,G7另外六国不干了
-
美国申诉后夺铜,罗马尼亚彻底怒了
-
他欲召集拉美17国开会讨论委局势,还请求美国支持
-
共和党人一看,觉得自己又行了
-
“他建议我主修中文,这真的改变了我的生活”
-
他遭美司法部逮捕,被控受伊朗指使欲雇凶刺杀特朗普
-
“去过中国30次,反对中美敌对”,共和党猛攻他亲华
-
“跟随欧洲盟友步伐,他计划访华”
-
乌军突入俄境内7公里,俄称击退进攻
-
“中巴合作不应满足于现状,加入‘一带一路’是根本措施”
-
员工曝波音工厂乱象,“换问题舱门像换内裤一样频繁”
-
“阿克萨洪水策划人”辛瓦尔被选为哈马斯领导人
-