NLP极具挑战性,其中的原因之一语言的“不可理喻”,比如某年《重庆晨报》刊登停电通知,上面赫然印着“停电范围包括沙坪坝区的犀牛屙屎和犀牛屙屎抽水”,其中“犀牛屙屎”和“犀牛屙屎抽水”都是地名!可以想象,要有多么强大的模型才能正确识别这种地名!!

此外,还有使用上的灵活性,如下面两个场景:


帮我将空调调到25度。

麻烦将冷气调高一点。

空调不要太冷。

空调太冷啦!

空调能热一点吗?


请安静。

麻烦大家安静下来。

不要吵啦!

吵什么吵!

老师来了~


显然,场景1的每一句话都可以表达“将空调温度调高”的意图,而场景2的每一句话都可以表达“该安静下来”的意图,但这些句子之间差异比较大,要将它们一致看待并处理,这就是NLP中的“归一”问题。最后,还有一个原因是场景的复杂性,比如


P:帮我订明天广州到北京的机票

AI:请问要几点的?

P:明天那儿的天气怎样?

AI:明天北京一天都很晴朗。

P:那就订九点的吧


AI:请问要点什么菜?

P:都有些什么菜?

AI:XXX、XXX、...

P:最便宜的招牌菜是哪个?

AI:...


这两个场景则表明,人们在跟“人工智能”进行交流的时候,很有可能跳出预先设定的场景,比如左边的订机票场景,机器人问“请问要几点的?”时,本来期望的回答是一个时间点,但人却转到天气的查询(也许需要天气的信息辅助决策)。右边的点餐场景也是类似的,我们往往不按流程走,但是从对话的角度看,我们又没有“超纲”,这就是NLP中的主题迁移问题。

因此,真正的人工智能必须去面对这些问题,这是无法回避的。也正因为有了这些复杂性,难以有一个统一的、漂亮的模型来完成大量的NLP问题。

标签: nlp, 词语, AI

添加新评论