Opt Technologies Magazine

オプトテクノロジーズ 公式Webマガジン

言語処理学会2020参加レポート

イベントレポート 言語処理学会 NLP NLP2020

alt

言語処理学会2020の参加レポートです。

あいさつ

　こんにちは！ オプトテクノロジーズ データサイエンスエンジニアのnatsuumeです。2019年4月に入社し、今はテキスト広告に関する研究開発やプロトタイプとなるWebアプリケーションの開発などを行っています。2020年3月17日(火)～2020年3月19日(木)で開催された言語処理学会(NLP)2020を聴講したので、いくつか個人的に気になったものを紹介したいと思います。

　なお弊社からはプラチナスポンサーとして協賛させていただいた他、「デジタル広告におけるクリエイティブの自動生成手法の検討」という内容で1件ポスター発表を行いました。

言語処理学会とは

　近年、人工知能がブームになっています。言語処理学会は、人工知能の一分野である言語処理に関する学会です。言語処理学会では毎年3月中旬に全国大会が行われており、2020年は上記の通り3月17(火)～3月19(木)の日程で行われました。全国大会では対話・質問応答や機械翻訳、知識獲得、含意関係認識、言語資源など様々なテーマセッションが設けられています。

　今年のNLP2020は新型コロナウイルスの影響で急遽オンラインでの開催となりましたが、短い準備期間かつ初めての試みにもかかわらず特に不便なく聴講することができました。無事に会議を終えることができたのは、ひとえにご尽力いただいた運営の方々のおかげだと思います。この場を借りてお礼申し上げます。

発表所感

　発表を聴講したものの中から、いくつか個人的に気になったものを紹介したいと思います。

　なお、予稿についてはまだ公開されていないため公開され次第リンクを追加いたします。
　予稿集公開されたため、リンクを追記しました。

P1-8 旅行情報サイトのレビューを用いた抽象的な要求に対する根拠付き推薦文の生成

概要

　宿推薦サービスにおいてユーザから与えられる「子連れに優しい宿が良い」「景色の良い宿が良い」などの「抽象的な要求 *1」に対して、レビューから根拠付きの推薦文を生成する研究です。レビュータイトルから収集した要求とレビュー本文を入力とし推薦文を生成するタスクにおいて、下記の2段階に分けて行うことで一括で行う場合よりも良い推薦文が生成できたとしています。

  1. レビューの各文がタイトルから得られた「抽象的な要求」の根拠となる情報を含んでいるか(根拠文か)の二値分類タスク
  2. 「抽象的な要求」と、1.で得た根拠文から推薦文を生成するタスク
所感

　実務で機械学習や自然言語処理を行うにあたってタスクを適切に分割することの重要性については、私も常々感じているところです。一方で一括で行った場合とタスクを適切に分割した場合でどの程度差が出るかについては、あまり具体的な知見がありませんでした。そういった一括モデルと段階的モデルの生成結果について具体例を交えて比較されており、重要性を再認識することができました。

　複数の話題が含まれるような長文に対しても1アノテーションという点が結果に影響する可能性について質問したところ、2. のタスクが複数の話題の中からどれが根拠として適切な話題かを学習し抽出するような働きもしていると考えており、そのため結果には影響しないと考えられる、という旨の回答をいただきました。この点について「根拠となる部分の抽出」「抽出した内容から推薦文の言い換え」などさらにタスクを細分化した場合の結果への影響など、タスクをどの程度分割すべきか、一括で行ったほうが良い結果となる処理はあるかなどが個人的には気になりました。

P2-13 ニュース記事からの企業キーワード抽出

概要

　ニュース記事からルールベースで企業キーワード候補 *2を抽出し、その上で企業キーワード候補が適切かどうかを二値分類する研究です。企業キーワード候補を抽出するルールとしては鉤括弧「」および『』の中を抜き出すという比較的単純なものですが、このルールによって抽出した候補7,225件のうち企業キーワードに適するものが4,439件と、ニュース記事全体の単語に含まれる企業キーワードの割合を考えると事前フィルタリングとしては一定の効果があるものと思われます。

　このルールで抽出した企業キーワード候補について、BoW + SVM、BiLSTM-CRF + CSE、最頻値を取るの3つの手法で企業キーワードかどうか二値分類の評価を行い、BiLSTM-CRF + CSEが最も良い結果となったことから前後の単語以外にも広く文脈情報が必要であることを述べています。

所感

　弊社においても企業名や商品・サービス名などの固有表現をどのように収集・処理するかは課題となっており、元データをどうするかという問題はあるものの、一定の効果を挙げているこの内容は実務で企業の固有名詞のデータをどう扱うか考える上で参考になる内容だと感じました。

P5-11 生成文の文脈に応じ動的に変化する損失関数による多様な対話応答生成

概要

　一般に深層学習による対話応答生成では、様々な応答にも対応できる汎用的な応答が生成されやすいという問題があります。これに対して損失関数を工夫することによってより多様で内容に即した発話を生成する研究です。この研究ではトークン頻度の逆数を用いる既存のInverse Token Frequency損失(ITF損失)を拡張し、トークンのn-gram頻度の逆数を用いるInverse N-gram Frequency損失(INF損失)を提案しています。

　実験ではTwitterリプライから抽出した対話データを用い、INF損失のn-gramはn=2でSCE損失、ITF損失との比較を行っています。BLEU-1, BLEU-2, distinct-1, distinct-2, ROUGE-1, ROUGE-2, 人手評価によって評価し、対話の多様性を測るdistinctや応答文の首尾一貫性を測る人手評価において既存手法を上回っており多様な発話生成において性能の向上が見られています。

以下は生成例です。

発話文: 寿司食べる！！
損失関数 出力
正解文 私もこれから寿司食べる。
SCE損失 やばすぎw
ITF損失 寿司すき
INF損失 寿司屋さんならどこ？
発話文: お疲れ様。明日会えるの楽しみだ。
損失関数 出力
正解文 ありがとうー！！私も楽しみ！
SCE損失 ありがとう。
ITF損失 明日もあるから楽しみ
INF損失 ありがとう、明日も死ぬほど楽しみ
所感

　弊社では直接業務で対話システムに関わることは無いのですが、多様な出力の生成にn-gram頻度を用いた制約を明示的に与えるという点が面白いと思いました。生成例では既存手法と比較して確かに文脈に沿った自然な発話が生成されており、対話システム系は興味のある分野なので今後もキャッチアップしていきたいです。今回はn=2のパターンでの結果のみでしたので、nを変化させたときの結果の推移がどのようになるのか気になります。

　また、私的な話になりますがこちら私の出身研究室なので個人的に応援したいところです。

P6-14 スタイル制御を考慮した多様な広告文生成

概要

　インターネット広告文の自動生成について、表現の多様性と制御可能性を考慮した手法としてPOS-VAEを提案しています。提案手法は既存のVAE(Variational Auto-Encoder)に対して品詞系列を考慮するように変更したもので、品詞系列を生成するネットワークと単語列を生成するネットワークを同時に学習させています。

　自社のコスメ業種における広告データを用いて実験を行い、distinct、distinctを同一入力に対する出力多様性を評価するために拡張したlocal-distinct、および人手での評価を行っています。結果はlocal-distinctについてVAEを上回っていますが、人手による流暢性・妥当性の評価ではどちらもVAEが優位となっています。

所感

　弊社でもインターネット広告文の自動生成に取り組んでいますが、デモで見せていただいたような品詞列をある程度指定した出力が行える機構は非常に特徴的でした。実際に業務で広告文を見ていると、広告文の品詞列は助詞等の省略や括弧等の記号による区切りや強調など、一般的な日本語文における品詞列とは異なるものだと感じます。そういった点を踏まえると、完全な自動化をするにせよ、人手による広告文制作の支援という形にするにせよ、出力される品詞列をある程度制御できるというのは大きな特徴の一つになり得ると思いました。

P4-4 デジタル広告におけるクリエイティブの自動生成手法の検討 (弊社発表内容)

概要

　インターネット広告における広告文の自動生成に関する研究です。広告文自動生成において満たすべき条件を下記4種に整理し、今回は条件1,2,4に焦点を当てています。研究では文章要約モデルを用い、beam-searchによるN-bestをモデルの出力とする方法を取りました。

  1. 破綻していない文章を出力できる
  2. 広告対象の商材情報を反映した文章を出力できる
  3. 広告効果が高い文章を出力できる
  4. 多様な文章を出力できる

　本研究では条件1を満たすためにTransformerおよびBERT、条件2を満たすためにcopying mechanismを採用しました。実験では弊社の化粧品に関する過去配信広告について、広告の遷移先URLが示すLP(ランディングページ)から商品情報に関する文章を抽出して入力文とし、入力文と広告文の組を学習データとして用い、モデルは下記の4種類およびそれぞれにcopying mechanismを加えた8種類を使用しました。

  • BiLSTM & LSTM
  • Transformer
  • BERT & LSTM
  • BERT * Transformer-decoder

　評価はBLEU, distinct-1, distinct-2での客観評価のほか、出力が一定水準以上だった下記の4種類について追加で人手での評価を行いました。

  • BiLSTM & LSTM + copying mechanism
  • Transformer
  • BERT & LSTM + copying mechanism
  • BERT & Transformer-decoder + copying mechanism

　その結果、BERT + Transformer-decoder + copying mechanismが人手評価において最も良い評価となりました。

おわりに

　言語処理学会は学生時代から聴講していましたが、私は今回が就職後初めての聴講となりました。直接的に業務に繋がる研究だけではもちろんありませんが、どのように業務に活かせるか、業務と関連する部分はどこかなど、学生時代とは異なる視点も持ちつつ発表を聴講することで今まであまり目を向けていなかった分野の内容も含め大いに刺激になりました。

　今回初のオンライン開催ということで最初はやや戸惑うこともありましたが、ポスターセッションの発表が聞き取りやすく質問もしやすい、パラレルセッション間の移動が容易で興味のあるセッションを比較的漏らさず聴講できたなど、オンライン特有の良さも感じました。また、懇親会もオンラインで開催されるなど学会全体を通して非常に楽しむことができました。

　来年のNLP2021は九州で開催とのことでしたが、来年もより一層NLP分野の研究が活発になり様々な発表が見れることを今から楽しみにしています。

更新履歴

2020/04/09: 予稿集公開されたためリンクを追記しました。

Opt Technologiesに興味のある方は、こちらから「カジュアル面談希望」と添えてご応募ください！

*1:具体的な商品や体験・サービスを指定しない要求を指す

*2:企業活動の中で生まれたモノやサービスを表す名称。特定の企業と結びつかない一般的な単語は除く。