Cortana 背后用到了哪些 Bing 技术？

微软 Build 2014 宣布了个人数字助理 Cortana。相比苹果 Siri 和 Google Now，微软 Cortana 是晚来者，但在技术积累方面微软早已有全盘计划 – Cortana 是微软 Bing 平台和微软研究院投入的重要成果，也不会局限于 Windows Phone 8.1。

在发布会上，微软宣布 Cortana 由 Bing 驱动，至于具体用到了哪些技术，我们可以先来看看 3 个 Cortana 使用场景和 1 段 Cortana 解说视频：

• 场景 1：我计划前往西雅图，航空公司给我发送了一封航班的确认邮件。
  – Cortana 会把邮件中的这些关键词（航班号、出发地、目的地、日期和时间等信息）识别为结构化数据
  – 再通过 Bing 平台识别为航班类别，返回到手机询问我是否将其设置为航班提醒
  – Bing 数据流处理系统会主动监控该航班的状态
  – 在登机前 2 小时，Cortana 给我发送提醒：航班状态、交通路线、机场室内地图
• 场景 2：我希望到家后提醒我倒垃圾。
  – 我的语音被传输到云端，被语音识别系统转换成文字
  – 识别过程中通过深度神经网络技术理解自然语言序列
  – 文字被传输到推理系统来判断用户意图，并生成“如果……就……”的条件规则
  – 规则返回到手机后，Cortana 会根据位置提醒我的命令（由于之前的交互，Cortana 知道家的位置）
• 场景 3：我想知道明天上海是不是寒冷。
  – 和场景 2 一样，我的语言命令被识别为文字
  – 自然语言处理系统会将“寒冷”关联为天气，并从 Bing 知识库中查找上海的天气信息
  – 从天气信息的数据源获取明天的上海的天气，返回到 Cortana 显示
  

Cortana 背后极大地依赖 Bing 信息平台的服务和数据，以及微软研究院的技术研究，上述的任务都由一系列不同技术组合完成。Cortana 的设计理念是基于“最顶尖的机器学习和数据挖掘算法”，自然语言处理、语义分析、语音技术、Bing Satori 知识库和自学习系统等都是其中的核心技术。

• 自然语言处理/语义分析技术
  将自然语言文字处理为计算机系统可处理的信号，并加以分析、理解，从而理解用户意图。微软自然语言计算组成立于 1998 年，专长于翻译、输入法、问答、社交文本挖掘、搜索引擎、口译、手语翻译等。
• 语音技术
  将用户的语音识别为文字，将文字合成为语音。微软的语音技术研究始于 1993 年，大家熟知的 Tellme 是 07 年微软花 10 亿美元买下了语音识别技术公司。目前微软 Bing 语音平台整合于微软各产品线：Windows 和 WP 操作系统、Kinect、车载系统等。
• 深度神经网络技术
  微软研究院利用深度神经网络（Deep Neural Network）技术，通过模拟人脑的自然语音模式来辅助语音识别，成果就是提高语音识别精度和速度。曾经的两个演示：实时语音机器翻译和WP8 语音识别改进。
  

• 数据流处理技术
  追踪数亿级别的实时事件信息，比如追踪全球航班信息、交通流量/路况、新闻、赛事信息，从中匹配条件调用需要的信息推送给用户。
• 用户相关性信息技术
  识别和用户个体相关的位置、爱好、关注点、联系人（Cortana 在 Notebook 中存储用户的个人兴趣点和信息），并加入机器学习算法，不断增强对用户的了解，并改进数据挖掘的相关性。
• Bing 知识库（代号 Satori）
  Bing 知识库是微软必应 2012 年推出的“实体”数据库，这里的实体是指真实世界中的人物、地点、事件等，Bing 存储着这些实体的信息和关系，并在不断增长索引量。目前我们可以在 Bing.com 右边栏看到 Bing 知识库的信息。
• 对话管理理解技术
  负责人与机器上下文的对话，用户可以分多次完成一个查询，或者说是追加命令或问题，Cortana 同时会考虑整个对话的内容。
• Bing 可扩展性计算/数据平台
  并行处理用户的数亿各类查询，包括上面提到的知识库、数据流，信息的推送。
  

接下来，微软的愿景是将 Cortana 扩展到更多平台、更多领域的信息，更多人机交互方式 – 在现有的语音、文本之外，还有手势、体感等。（参考来源 Ars Technica、TechNet、MSR）