バージョンアップしたというリクルートテクノロジーズのA3RTを試す

記事「リクルートテクノロジーズの機械学習APIを試す」で紹介した,リクルートが適用している人工知能A3RTのProofreading APIとText Suggest APIの初期バージョン(Version 1)の公開が終了し,新しいバージョン(Version 2)に移行されるとの連絡が3月上旬に来ました.使うために必要なAPI KEYはそのまま使えるということです.

<この記事は「デジマのあれこれ」にて2018年4月頃公開された記事を一部改良して移植したものです>

 

図1

 

図2

 

記事「リクルートテクノロジーズの機械学習APIを試す」ではProofreading APIという文章として怪しい箇所(ケアレスミス)などを検知するAPIを試した結果(その出来の悪さ)を紹介しました.このバージョンアップに伴いどの程度改善されたかを調べてみました.

使い方は基本的に以前と同じなのですが,APIを使うアドレスが

https://api.a3rt.recruit-tech.co.jp/proofreading/v2/typo

となり「v2」とVersion 2を表す箇所が変更になりました.また,DEMOとしてブラウザ上で直接テキストを入力するようなインターフェースも用意されています.記事「リクルートテクノロジーズの機械学習APIを試す」と同じ内容でテストをしてみます.まず1つめは

https://api.a3rt.recruit-tech.co.jp/proofreading/v2/typo?apikey=AAAAAAAAAA&sentence=システムの規格から海発・運用まで幅広く関われます。

です(前回と同様,API KEYが「AAAAAAAAAA」として,調べたいテキストが「システムの規格から海発・運用まで幅広く関われます。」となっています).

結果は,図3のようになりました.表示はVersion 1よりわかりやすくなりました.

 

図3

 

返答内容は「”status”: 1」なので「正常に指摘された(正常に動いて返答した)」のようになっていますが,相変わらず結果としてはどうなの?と思うようなものです.

Version 1で指摘されていた「規格」の誤りの可能性3%と「運用」の誤りである可能性3.4%なくなりました.一方でVersion 1では指摘されていなかった「海発」が誤りの可能性69%で指摘されています.Version 1で指摘されていた「運用」の誤りである可能性3.4%は明かな間違いなので消えたのはいいのですが,サイトの例でも示されている(図4参照)で指摘されている「規格」がの誤り(本来は「企画」であるべき)が指摘されなくなるとは思いもしませんでした.

 

図4

 

ちなみ「DEMO」にて同じテキストをチェックした画面は図5のようになり,当然と言えば当然ですがAPIの結果と同じで「開発」であるべき「海発」の「海」のみが誤りの可能性として指摘される表示となっています.

 

図5

 

以前と同じように「システムの海発・運用まで幅広く関われます。」とテキストを買えて再度やってみます.

https://api.a3rt.recruit-tech.co.jp/proofreading/v2/typo?apikey=AAAAAAAAAA&sentence=システムの海発・運用まで幅広く関われます。

結果は,図6です.「海発」が誤りの可能性88%で指摘されています.誤りと判定している可能性が上がっていました.

 

図6

 

リクエストパラメータの欄(図7)を見ると,パラメータ「sensitivity」を使うとチェック感度を調整出来るということなので,highを使ってみることにしました.つまり,

https://api.a3rt.recruit-tech.co.jp/proofreading/v2/typo?apikey= AAAAAAAAAA&sentence=システムの規格から海発・運用まで幅広く関われます。&sensitivity=high

として使います.その結果が,図8です.mediumである図3の結果に比べ,指摘されている箇所は増えましたが「規格」の間違いはやはり検出されず,最後の句読点「。」が指摘されるなど意味不明な感じです.

 

図7

 

図8

 

このプロジェクトの責任者だった人が我々が世の中を変えるようなことを講演等で言っていたのですが,この結果をどう思っているんでしょうか.