罗切斯特理工大学研究员获Facebook眼动追踪挑战赛冠军
时间:2019-10-28 23:56:12 热度:37.1℃ 作者:网络
来源:映维网 作者 广州客
一组罗切斯特理工大学的研究人员赢得了Facebook研究院的OpenEDS Challenge挑战赛。Facebook希望通过这项大赛来鼓励社区开发先进眼动追踪解决方案,而由三名罗切斯特理工大学Chester F. Carlson Center for Imaging Science的博士生领衔的团队赢得了第一名。
眼动追踪功能可以帮助虚拟现实系统进一步实现更具沉浸感的体验。所以,眼动追踪必须准确,稳定,支持所有人和所有环境。
来自尼泊尔的成像科学博士生、论文作者之一Aayush Chaudhary表示:“目前的眼动追踪主要是通过检测瞳孔并将2D或3D模型拟合到数据。OpenEDS Challenge挑战赛的总体目标是分离眼睛图像中的虹膜,瞳孔和巩膜,从而令2D模型和3D模型适配一个紧凑模型。”
为了帮助扩展眼动追踪的用例,Facebook研究院提出了一项挑战:创建一个能够实时工作的强大计算机模型。他们要求制胜的解决方案必须准确,强大且具有高能效。
来自印度的成像科学博士生Rakshit Kothari指出:“当我们谈论在智能手机等设备进行眼动追踪时,你需要可以实时运行的小型模型。你需要能够拿出手机并立即使用,无需进行大量的计算。”
在顾问老师的支持下,Kothari, Chaudhary,以及另一位来自尼泊尔的成像科学博士生Manoj Acharya用一个月的时间开发了所述的解决方案。他们运行了无数的模型,不断完善自己的方法,并在比赛的最后一天赢下了比赛。 一路走来,他们克服了一系列意料之外的困难,并最终构建出一个实用的模型。
Acharya说道:“图像有时会出现我们从未料到的情况,而我们的模型必须智能地处理它们。例如,如果你正在训练这个模型利用无任何眼妆的图像来寻找特征,然后突然之间有人花化了眼妆。你需要一个足够聪明和智能的模型来解决所述问题。”
这实际上是罗切斯特理工大学各实验室和学院之间的跨学科合作项目。这三位博士生与其他合著者进行了合作,其中包括来自印度的计算机科学研究生Nitinraj Nair和来自尼泊尔的成像科学博士生Sushil Dangi。他们同时与Jeffrey Pelz教授,Gabriel Diaz助理教授,Christopher Kanan助理教授,以及Reynold Bailey教授等顾问老师进行了紧密的合作。
研究在四个罗切斯特理工大学实验室进行,包括Multidisciplinary Vision Research Laboratory (MVRL), PerForM (Perception for Movement) Lab, Machine and Neuromorphic Perception Laboratory (kLab) ,以及Computer Graphics and Applied Perception Lab。
团队成员将于11月2日在韩国首尔举行的2019 OpenEDS Workshop中展示他们的解决方案。
团队获得了5000美元的奖金,而他们将会把奖金捐赠给新成立的illem “Bill” Brouwer Endowed Fellowship,从而支持Chester F. Carlson Center for Imaging Science中的学生研究。