深層学習による自然言語処理の主要技術を中心に
コンピュータによる言葉の取り扱いの仕組みを解説


機械翻訳・対話技術の動作原理、自然言語処理分野の国内外最先端の取り組みを紹介

ニューラル言語モデル/単語埋め込みベクトル

セミナー講師

東北大学 大学院情報科学研究科 准教授 博士(工学) 鈴木 潤 先生
■主経歴
2001年 日本電信電話株式会社入社 コミュニケーション科学基礎研究所にて自然言語処理・機械学習・人工知能の研究に従事
2008年 Massachusetts Institute of Technology Computer Science and
Artificial Intelligence Lab. (MIT CSAIL) 客員研究員 (2009年10月まで)
2011年 慶應義塾大学 理工学部 管理工学科 非常勤講師(前期のみ、2017年まで)
2017年 理化学研究所 革新知能統合研究センター 客員研究員を兼務 (継続中)
2018年 東北大学 大学院情報科学研究科 准教授
2018年 日本電信電話株式会社 コミュニケーション科学基礎研究所
リサーチプロフェッサーを兼務(継続中)
■専門・得意分野
自然言語処理・機械学習・人工知能の研究開発
■本テーマ関連の学会・協会等での委員会活動など
一般社団法人言語処理学会 代議員(2018-2021)http://www.anlp.jp/daigiin.html
言語処理学会 会誌編集委員会委員(2013, 2014)
言語処理学会 第24回、25回年次大会プログラム委員(2017, 2018)
Computational Linguistics Journal Editorial Board(2015-2017) http://www.mitpressjournals.org/journals/coli/editorial

セミナー受講料

1名47,300円(税込(消費税10%)、資料・昼食付)
 *1社2名以上同時申込の場合、1名につき36,300円
 *学校法人割引;学生、教員のご参加は受講料50%割引。

※ご連絡
 当セミナーの会場では、現金による受講料支払いを休止させていただくこととなりました。
 現金にてお支払い希望の方は、コンビニエンスストアにてお支払いできる用紙をご送付申し上げますので、お近くの店舗にてお支払い頂けましたら幸いです。尚、領収証をご希望の方は、コンビニ支払い時に発行される振込受領書と引き換えにて発行させて頂きます。

セミナー趣旨

 人工知能(AI)への社会的な関心の高まりにより、新聞やテレビで「人工知能(AI)」という言葉が使われない日はない、というほど一般社会へも人工知能(AI)という用語が浸透していると思います。
 本講座では、現在の人工知能技術の中心的な役割を担っている深層学習(ディープラーニング)により、人間が日常使う言葉(自然言語)をコンピュータがどこまで扱えるようになってきているかという話題について、実応用の実例を交えて解説します。本講演では特に単語埋め込みベクトルやニューラル言語モデルといった深層学習を用いた最近の話題に焦点を当て、自然言語が内在的に持つ「意味」をコンピュータがどのように扱っているかを中心に解説します。更に、実応用例として既に実用段階にあると考えられている深層学習を用いた機械翻訳の動作原理なども合わせて紹介します。また、参考知識として、世界最高峰の国際会議でこの一年の間に議論されている最先端の研究成果や、知り得る範囲での世界IT大手企業での取り組みも合わせて紹介したいと思います。

 第1部では、導入として自然言語処理の基礎知識の簡単なおさらいと、コンピュータでの言葉の取り扱いが今後のAI研究でいかに重要か、および、いかに難しいか、という事実を共有したいと思います。
 第2部では、深層学習に関して押さえておくべき要点を簡単に述べます。
 第3部では、言語の意味の取り扱い方法として、単語埋め込みベクトルを紹介し、その実応用を中心に紹介します。
 第4部では、言語の世界モデルとなるニューラル言語モデルに関して、最新の研究成果と実際の効果、効果に対する解釈の仕方などを解説します。
 第5部では、深層学習を用いた自然言語の実応用例として機械翻訳を中心とした系列変換モデルの動作原理や仕組みを説明します。
 第6部では、深層学習を用いた自然言語処理に関して研究分野で現在取り組みを紹介します。
 最後に、第7部では、現在インターネット上に公開されていて誰でも利用可能なプログラムやデータ、簡単な利用例について可能な範囲で紹介します。

習得できる知識

・コンピュータによる言葉の取り扱いの現状把握
・深層学習をもちいた自然言語処理研究の最近の研究成果の把握
・ニューラル言語モデル・単語埋め込みベクトルの動作原理とからくりの理解
・ニューラル機械翻訳の動作原理の理解

セミナープログラム

1.導入1:自然言語処理の基礎と困難性
 1.1 歴史:人工知能、自然言語処理、機械学習、深層学習の位置付け
 1.2 自然言語処理タスク例1/文章の解析:形態素、構文、意味、文脈の解析
 1.3 自然言語処理タスク例2/文章の生成:言語モデル
 1.4 AI研究における自然言語処理技術の重要性
 1.5 自然言語処理の難しさ
 1.6 最近の研究動向/実応用例の紹介

2.導入2:深層学習(ディープラーニング)のおさらい
 2.1 「深層」と「深層ではない」学習との違い
 2.2 深層学習の特徴(得意、不得意)
 2.3 深層学習導入時の注意点

3.深層学習時代における自然言語の意味表現:単語埋め込みベクトル
 3.1 単語埋め込みベクトルとは
 3.2 言語の意味的な類似性、関係性の計算
 3.3 事前学習済み単語埋め込みベクトルを用いた自然言語処理
 3.4 単語埋め込みベクトルの利便性向上技術
 3.5 単語埋め込みベクトルの解釈

4.自然言語の世界モデル:ニューラル言語モデル
 4.1 (ニューラル)言語モデルとは
 4.2 単語予測型のニューラル言語モデル
 4.3 単語マスク型のニューラル言語モデル
 4.4 事前学習済みニューラル言語モデルを用いた自然言語処理
 4.5 ニューラル言語モデルの解釈

5.条件付きニューラル言語モデル/系列変換モデル/符号化復号化モデル
 5.1 機械翻訳
 5.2 文書要約
 5.3 文書校正
 5.4 対話/チャットボット
 5.5 画像からの説明文生成

6.最近の研究動向/実応用例の紹介
 6.1 AIの説明性、公平性、信頼性に関する現在の取り組み
 6.2 コンピュータによるディベートシステム
 6.3 英語ライティング支援システム
 6.4 コンピュータによる「一般常識」の取り扱い
 6.5 画像(映像)・音声処理との融合

7.資料編
 7.1 インターネット上に無償公開されているツール/プログラム集
 7.2 インターネット上に無償公開されているデータ集
 7.3 書籍類、資料集、関連イベントなど

(質疑応答)