Abstract
- MLNI (MultiNLI: Multi-Genre Natural Language Inference）
- 文章１と文章２が様々なジャンルから提示され、その関係が、
含意（entailment）、中立（neutral）、矛盾（contradiction）の
何れであるかを判定するというもの。
- 文章１と文章２が様々なジャンルから提示され、その関係が、
- QQP（Quora Question Pairs）
- ２つの質問文が重複しているか否かを判定。
- QNLI（Question Natural Language Inference）
- -> SQuAD（The Standard Question Answering Dataset）
- 最初に長文が与えられ、
長文に関する質問がいくつかとその答えがあるという構成。
- SST-2（The Stanford Sentiment Treebank）
- 感情分析。
- CoLA（The Corpus of Linguistic Acceptability）
- 文章が言語的に正しいかを判定。
- STS-B（The Semantic Textual Similarity Benchmark）
- ２文の意味的類似度を０〜５の「実数値」で評価したもの。
- ジャンルは３つ。
- news (news headlines) - ニュース見出し
- captions ( image captions ) - 写真の説明文
- forum ( user forum ) - ネット掲示板のタイトル
- MRPC（Microsoft Research Paraphrase Corpus）
- ２つのニュース記事が意味的に等価かを判定。
- RTE（Recognizing Textual Entailment）
- -> 1. MLNI
Examples
1. MLNI
| ジャンル（Genre） | 前提（Premiss） | ラベル（Label） | 仮説（Hypothesis） |
| 小説（Fiction） | 老人は常にカダーンを慰めていた。今日を除いては。 The Old One always comforted Ca’daan, except today. |
中立（neutral） | カダーンはその老人をとてもよく知っていた。 Ca’daan knew the Old One very well. |
| 手紙（Letters） | あなたの贈り物はあなたの寛容さから利益を得るであろうありとあらゆる生徒によって感謝されました。 Your gift is appreciated by each and every student who will benefit from your generosity. |
中立（neutral） | 何百人もの生徒があなたの寛容さから利益を得ました。 Hundreds of students will benefit from your generosity. |
| 電話（Telephone Speech） | そうとも君は今知っている、みんな８月には休暇か何かでもう少しカジュアルなものを身につけ・・・ yes now you know if if everybody like in August when everybody’s on vacation or something we can dress a little more casual or |
矛盾（contradiction） | ８月はこの会社では休暇のためにブラックアウトする月だ。 August is a black out month for vacations in the company. |
| 911レポート（9/11 Report） | ペンシルバニア通りの反対側では人々がホワイトハウスツアーに参加しようと列を作り始めた。 At the other end of Pennsylvania Avenue, people began to line up for a White House tour. |
含意（entailment） | 人々はペンシルバニア通りの端で列を形成した。 People formed a line at the end of Pennsylvania Avenue. |
2. QQP
| 質問１ | 質問２ | 重複か？ |
| 自然数とは何か？ What are natural numbers? |
最も小さい自然数は何か？ What is a least natural number? |
0 |
| ドミノピザで最も多く注文されているのはどのピザか？ Which pizzas are the most popularly ordered pizzas on Domino’s menu? |
ドミノピザのカロリーは何カロリーか？ How many calories does a Dominos pizza have? |
0 |
| どうやってパン屋を始めるか？ How do you start a bakery? |
ベーカリービジネスをどうやれば始められるか？ How can one start a bakery business? |
1 |
| 僕は Python と Java とどちらを最初に習うべきか？ Should I learn python or Java first? |
もし僕が Java と Python とどちらを習うか選ばなければならないとしたら、僕はどちらを最初に習うことにすべきだろうか？ If I had to choose between learning Java and Python, what should I choose to learn first? |
1 |
5. CoLA
| clc95 | 0 | * | In which way is Sandy very anxious to see if the students will be able to solve the homework problem? |
| c-05 | 1 | The book was written by John. | |
| c-05 | 0 | * | Books were sent to each other by the students. |
| swb04 | 1 | She voted for herself. | |
| swb04 | 1 | I saw that gas can explode. |
6. STS-B
| 5.0 | A plane is taking off. | An air plane is taking off. |
| 2.0 | A tiger cub is making a sound. | A tiger is walking around. |
| 0.6 | Two boys are driving. | Two bays are dancing. |
| 4.2 | in Foxe basin was frozen. | Foxe was mostly frozen. |
| 3.4 | Florida The ignorance is yours! | The ignorance is yours! |
| 4.6 | Liquid ammonia leak kills 15 in Shanghai | Liquid ammonia leak kills at least 15 in Shanghai |
| 2.0 | Yemen suicide bombing kills soldiers | Female suicide bomber kills 16 at Russian station |