Opt Technologies Magazine

オプトテクノロジーズ 公式Webマガジン

YANS2019参加レポート

イベントレポート YANS NLP

eyecatch-opttech-logo

NLP若手の会(YANS)第14回シンポジウムに参加したレポートです。

はじめに

オプトでデータサイエンスエンジニアをやっています兵頭（@fhiyo）です。 2018年3月より中途入社し、データインテリジェンスチームというチームでPoCのためのアプリケーション構築を含めたテキスト広告に関する効果予測・自動生成のR&Dを行っています。 少し遅くなりましたが、2019年8月26日(月) - 28日(水)で札幌で開催されたNLP若手の会(YANS)第14回シンポジウムの聴講をしたのでレポートします。

YANSとは

NLP若手の会 (YANS, Young Researcher Association for NLP Studies) は、自然言語処理とその関連分野の若手研究者・若手技術者の交流を促進し、若手のアクティビティを高めることを目指したコミュニティです。 年一回のペースでシンポジウムを開催しており、萌芽奨励賞という「これから」の研究を奨励する賞があることからわかるように、研究成果の発表・報告だけでなく構想段階の研究のブラッシュアップの場としても機能している様子でした。また、合宿形式での開催になっていたり、ハッカソンなど参加者同士の交流ができるイベントが多数開催され、研究者同士の交流を促進できるようなプログラムになっていました。 若手の会とあるように、参加者の半数以上を学生が占めており、全体的に勢いのある雰囲気が印象的でした。

プログラム概要

三日間のプログラムの概要です。

  • シンポジウム1日目：8月26日(月)
    • オープニング
    • 招待講演 (1)
    • スポンサー発表 (1)
    • ポスター・デモ発表 (1)
    • ハッカソン説明
    • 夕食（懇親会）
    • ナイトセッション：「NLP若手の悩めるキャリア」
  • シンポジウム2日目：8月27日(火)
    • ポスター・デモ発表 (2)
    • 招待講演 (2)
    • スポンサー発表 (2)
    • ポスター・デモ発表 (3)
    • ポスター・デモ発表 (4)
    • サッポロビール園への移動＆夕食（懇親会）
  • シンポジウム3日目：8月28日(水)
    • ポスター・デモ発表 (5)
    • 奨励賞・ハッカソン発表・投票
    • クロージング

上記の通り、ポスター・デモ発表が多くあり、活発にディスカッションがなされていました。自分も様々な研究のお話をお聞きし、発表者の方々との議論を行えました。

招待講演

招待講演を聴講し、筆者が個人的に記したメモをまとめ直したものを記載します。

※ あくまで個人のメモであり、内容の正確性は保証できません。スライドへのリンクがありますので講演内容はそちらをご参照ください。

「トップカンファレンスへの論文採択に向けて（NLP研究分野版）」 講演者：鈴木 潤 先生 （東北大学 大学院情報科学研究科）

スライド: https://www.slideshare.net/JunSuzuki21/2019-0826-yansinvitedtalk

トップ国際会議への論文採録に目標を絞ったときのノウハウの共有、という主旨でした。 (筆者も含めた) キャリアに悩む若手にとってかなり気になるテーマだと思います。

数年前と比較し、トップカンファレンスの採択率は大きく変化していない一方投稿数が激増していることから、採択数が激増していることが分かります。よってキャパシティの面から見てトップカンファへの論文投稿は通りやすくなっているが、同時に投稿数も増えているため、サーベイコストや比較実験コストなどの 「論文を仕上げるコスト」も高くなっている、ということでした。その論文を仕上げるコストをどう低くするかや、negative reviewへの答え方、英語論文執筆時の注意点といった内容が続きました。

特に印象的だったこととして、査読システムのお話がありました。論文投稿数が激増しているのだからそれだけ査読者の方の負担は大きくなっているであろうことは想像できます。研究の (ひいては世の中の) 発展に時間と能力を割いて頂いてるのは大変ありがたいことだな、と聞いていて感じました。また、サーベイは論文の内容を把握するだけではもったいない、この研究を発展させるとするとどうなるか？自分の研究に利用したら何が実現できるか？のような疑問と解決策を常に考える、というお話も心に残りました。私は課題解決のために論文のサーベイはしますが、論文の内容を発展させるとどうなるか、という観点であまり見れていなかったので意識していきたいです。

「いまとこれからの言語処理を考える」 講演者：松本 裕治 先生 （奈良先端科学技術大学院大学 先端科学技術研究科／理化学研究所 革新知能統合研究センター）

スライド: https://drive.google.com/file/d/1SZci0debZFCS9SlHwii1ivBvZlrTHumO/view

自然言語処理の研究の歴史を松本先生のご経験をもとに概観し、技術の変遷によりどのような問題が解決され、どのような問題が残っているかを確認し、今後の自然言語処理に関する取り組みについて論じていく、という内容でした。

自然言語処理は人間が日常的に用いる自然言語を計算機を用いて処理をする一連の技術ですが、そのトピックの中心は文法やオントロジーなどの規則を用いた解析法から統計的・機械学習的なアプローチへ移り、中でも近年は深層学習を利用したものへと変遷しています。技術が進むにつれて人間が明示的に記述したルールに頼らない、End-to-Endで処理をする解析手法が発展していきました。

単語を決まった長さの数値のベクトルとして表現してやり、似た文脈に出現する単語のベクトル同士が近くなるようにデータから学習することで意味関係を表現するWord2Vec1などの手法から、文字情報を利用できるように分割単位を細かくしたり (BPE2、 WordPiece3など) 、文脈によって動的に単語のベクトル表現を獲得できるようなELMo4やBERT5といった手法を開発することで単語同士の関係性や文脈情報を表現できるようになりました。これにより機械翻訳などの難しいタスクに対しても対応できるようになっています。

一方まだ解決すべき課題も多くあります。例えば単語単位で見れば、何を単語として定めるかや語義曖昧性の解消の方法はデファクトスタンダードな手法が確立していないですし、文単位で見れば文内の単語の関係性から、ある単語の詳細な意味をどう決定するか？といった問題は解決できていないようです (例えば、「身長は170cmです」という文は"約"170cmであるという意味が内包されているがそれをどうやって決めるか、という問題がある)。またEnd-to-Endな手法を用いたモデルは出力の理由や確信度の説明能力が現状低いため、ビジネス上の課題解決の際に頻出する、理由や原因を示してほしいという要望に応えることが難しいです。

スライドの終わりにあった「できるはずのことをできるようにする」という文言が印象に残っています。人間がほとんど意識せず使用している自然言語を計算機で扱えるようにするにはまだまだ課題はありますが、解決に向けて日々活発に研究されており、応用上需要も高い分野に携われるのは幸運なことなのだな、と感じました。

ポスター所感

お話を聞いたポスター発表のうちいくつか、ごく簡単にコメントをします (ここも誤解している部分ありましたらすみません)。

[概要] 文法誤り訂正のタスクにおいて、訂正の難しさを複数のモデルに解かせたときの誤り率で定義し、誤り率を重みとした重み付きprecisionと重み付きrecallを計算するような評価尺度を提案した。

[所感] タスクの難易度に応じた重み付けをした評価尺度を設定するのは応用研究でも使える方法だと思います。各モデルの得意・不得意の分析も解釈性の面で発展していきそうだと感じました。

[概要] デジタル広告におけるクリエイティブのうち、広告文の自動生成を行った研究。商品の説明文からPointer-Generator Networks6やTransformer7など4つのモデルを用いて訓練・生成を行い、自動評価と人手評価を行った。

[所感] 人手評価を設問内のスコアに紐付いた選択肢 (「とてもよい」、とか「あまりよくない」など) を選ばせ、その平均や分散などの統計量を出す方法ではなく、妥当性や流暢性などの指標に基づいて広告セットをランキングしてもらい、その結果をTrueSkillTM8というアルゴリズムを用いてスコア化することで各モデルの性能スコアを算出している点が面白いと感じました。分析者が設計したスコアを選択させるアンケート手法は、設問の順番やスコアの間隔が等間隔でない可能性があることに個人的にモヤモヤしていたので、この違和感を解決する大変参考になる手法でした。

[概要] 単語属性変換という、「性別」や「年齢」といった単語が持つ属性を変換するタスク (例: fatherを性別で変換してmotherにする) において、変換対象の単語がどういう属性を持っているかの事前知識なしでも変換が可能になるように鏡映変換という手法を提案している。実験では、「性別」という属性を持つ単語 (例: girl, boy) と持たない単語 (例: apple) について鏡映変換を行う関数を学習により獲得し、正解率と安定性 (属性を持たない単語が変換によって不変である数の割合) により評価を行った。

[所感] 属性の種類や属性を持つ、持たないの基準などの設計が難しそうではありますが、単語が持つ特定の属性を (任意の) 単語に対して変換するような関数が作れるならばかなり面白いと思います。

おわりに

ポスター、招待講演以外にもハッカソンやナイトセッションがあり、夕食時も多くの人と話せるように取り計らいがなされていました。イベントのたびにNLP界隈の色んな方とお話ができたので非常に有意義な時間でした。私は自然言語処理に携わるようになってまだ日が浅いですが、今回のシンポジウムを通して自然言語処理の面白さを強く感じました。運営の皆様、議論やお話に付き合っていただいた皆様に感謝いたします。

我々データインテリジェンスチームは広告クリエイティブや配信に関わる自然言語処理や画像、最適化などの分野に対して応用を見据えた研究開発を行っています。ご興味のある方はぜひご連絡ください。

  1. Tomas Mikolov, G.s Corrado, Kai Chen, and Jeffrey Dean. Efficient estimation of word representations in vector space. pp. 1–12, 01 2013.↩

  2. Philip Gage. A new algorithm for data compression. C Users J., Vol. 12, No. 2, pp. 23–38, February 1994.↩

  3. Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google’s neural machine translation system: Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.↩

  4. Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227–2237, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.↩

  5. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171–4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.↩

  6. Abigail See, Peter Liu, and Christopher Manning. Get to the point: Summarization with pointer-generator networks. In Association for Computational Linguistics, 2017.↩

  7. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems 30, pp. 5998–6008. Curran Associates, Inc., 2017.↩

  8. Ralf Herbrich, Tom Minka, and Thore Graepel. TrueskillTM: A bayesian skill rating system. In B. Sch ̈olkopf, J. C. Platt, and T. Hoffman, editors, Advances in Neural Information Processing Systems 19, pp. 569–576. MIT Press, 2007.↩