 微软研究院大约12名实习生和研究人员发明了一种自动图像字幕软件系统。以上图为例。新系统可以自动为一张照片加上标题如“一个女人拿着相机在人群中”诸如此类。 不仅仅该项目的工作方式让你惊讶，对于预打印的结果也足够令我们自豪的了。你可以将字幕系统作为机器翻译系统，一种从像素到英语等语言的转变。机器翻译专家使用BLEU指标与人工翻译进行比较。BLEU把字幕分按长度分块(1 - 4字)，然后测算系统和人工翻译之间的重合度。 为了测试BLEU的最高分数，我们将人工手写的标题(假想的“系统”)和其他四种进行测试，我很高兴告诉你， BLEU击败了我们人类! BLEU 评分达到21.05%，而人类“系统”得分只有19.32%。 当然BLEU超人的成绩有很多的局限性，这在机器翻译社区是众所周知的。我们也尝试与 METEOR指标进行比较，结果是表现略低于人工“系统”(20.71% vs 24.07%)。 真正的严格标准是进行盲测，问测试者哪个标题更好。我们使用亚马逊Turk机器人来比较双字幕，问参与测试者哪一个更好，或者他们等同吗？其中有23.3%的测试图像，人们认为系统标题等同或优于人工标题。 |
