本文主要关注SemEval-2020常识验证与解释部分

Task4: Commonsense Validation and Explanation (常识验证和解释)

Subtask1 Commonsense Validation

给出两句有相似结构的陈述，任务就是检验哪句陈述相对符合常识，哪句不符合常识。E.g. (A: He put a turkey into the fridge) vs.(B: He put an elephant into the fridge). 正确答案：A相对符合，B相对不符合。
分析：这一个题目

Subtask2 Commonsense Explanation (Multi-Choice)

从subtask1承接而来。给出不符合常识陈述的标签，并给出三个候选原因，选择出最能够解释不符合常识那个陈述出错的原因。E.g.不符合常识的陈述：(He put an elephant into the fridge) 三个候选原因：(A: an elephant is much bigger than a fridge), (B: elephants are usually gray while fridges are usually white), and (C: an elephant cannot eat a fridge)。正确答案:A.

Subtask3 Commonsense Explanation(Generation)

也从subtask1承接而来。给出不符合常识的陈述，并要求生成解释其不符合常识的原因。训练集、开发集和测试集中每个例子都会提供三条正确原因，以供训练、开发和测试。比赛中结果以BLEU值来衡量，最终结果会以人工评价的方法衡量。E.g.不符合常识的陈述：(He put an elephant into the fridge) 三条正确原因：(A: an elephant is much bigger than a fridge), (B: a fridge is much smaller than an elephant), and (C: an elephant cannot fit in a fridge)。

总结

与传统的NLI任务文本蕴含关系识别相比，文本蕴含识别中的contradiction, neutral, entailment是两个句子之间的矛盾，然而仅仅知道它们是矛盾的并不能得出他们的对错。
在这里的Commonsense Validation中，两个句子固然是矛盾的，这一点并没有办法用于选出哪个合理。
在Explanation中，陈述和回答里虽然确实有contradiction的意思，然而却需要额外的常识才能选出答案。

与CommonsenseQA相比较

CommonsenseQA还是存在相关的选项的文本经常与题干同时出现的问题的文本关联性的影响，可以说解决了CommonsenseQA的问题还不一定能够解决Commonsense Explanation的问题，而Commonsense Validation还是能够通过相似的方法解决的。