はじめに
今回，アメリカのカリフォルニア州ロングビーチで開催されましたICML2019のAutoML WorkShopにおいてポスター発表を行いました．ICMLの概要と様子をお伝えしたいと思います．
ICMLとは
International Conference on Machine Learningの略称であり，機械学習トップの国際会議です．会議はTutorial・口頭発表・口頭発表者によるポスター展示・WorkShop・Invited Talkによって構成されていました．また，出資している企業による展示も存在し，積極的にJob Huntingを盛んに行っているという印象を受けました．
今年のICMLの論文採択数は774本であり，採択率は22.4％でした．比較的本会議への参加は難しい会議になります．インターネット上に存在したBosch社のデータを基にすると，国別ではアメリカが全体の50％程度を占めており，機関別ではGoogle系列が全体で80本程度論文を通していました．
学会の開催場所と雰囲気
今回のICMLの開催地はアメリカのロングビーチという場所です．ロスアンゼルスの近くに位置するリゾート地で名前の通り海の近くにあります．
画像はロングビーチの港町で夜になるとバーの活気があふれていきます．
アメリカの主食はピザで今回もたくさん食べることになりました．自分自身はピザが好きなので食べても特に問題はありませんが，同行者は2日目にして，アメリカの単調な食事に飽きてしまったようで大変でした．人種や考えの多様性がある反面，食事の多様性を感じなかったです．
AutoML WorkShop
今回はICMLの中でもAutoMLのワークショップに参加しました．Accepted Papersはこちらで，我々の発表内容はこちらになります．
今回の本Workshopへの投稿数は30件で採択率は50％でした．
AutoMLとは
現在では機械に詳しくない人であってもスマートフォンやパソコンができ，かつ自らの意思によってそれらのデバイスのカスタマイズを行っています．一方で人工知能の利用はある程度知識を有する人に限られています．さらに人工知能を適切な形で利用するためにはモデル選択・実装・モデルの構造やハイパパラメータ（事前に設定の必要なモデル由来のパラメータのこと）調整等様々な工程が存在し，これらには多くの時間が必要となります．これらの問題を解決し，より多くの人が人工知能を利用できるようにするための技術を研究する分野がAutoMLと呼ばれています．
我々の発表
今回は深層学習のハイパパラメータ（あるアルゴリズムの事前設定として必要なパラメータのこと）をNelder-Mead法を用いて探索する手法の高速化に取り組んだ論文で投稿しました．深層学習のハイパパラメータの最適化ではハイパパラメータと性能の関係性が解析的に記述できないため，物理学等で一般に用いられる微分を用いた最適化手法を用いることができません．したがって，ハイパパラメータ最適化はブラックボックス最適化の一種であるといわれており，その手法の一つにNelder-Mead法が存在します．また，Nelder-Mead法がハイパパラメータ最適化で良い性能を達成したという報告もいくつかあります．一方で，ハイパパラメータ最適化では評価すべき対象の評価に時間がかかるため，最適化手法自体の並列化効率は重視されます．Nelder-Mead法は探索能力に優れる一方で逐次的な処理によって最適化を行うため，並列化効率は非常に悪いです．そのため，今回はNelder-Mead法の並列化効率を向上させるための手法を発表しました．
Nelder-Mead法とは以下のGif動画のようにn次元空間上にアフィン独立なn+1点を取り，それらの点によって構成される単体（2次元の場合は三角形，3次元の場合は四面体）を操作に応じてパタパタと動かすことによって最適化する手法です．
上記の単体は評価された点の良し悪しによって決定論的にふるまいます．したがって，今回はガウス過程を用いて評価点の順位を予想し，従来手法と比較し，15%程度の高速化に成功しました．
AutoMLのトレンド
今回のWorkshopの投稿テーマとして多かったのは「ニューラルアーキテクチャ探索（9件）」，「ハイパパラメータ最適化（6件）」，「メタ学習（3件）」でした．そのほかの有名なテーマではマルチフィデリティ法が存在します．
ニューラルアーキテクチャ探索はその名の通り，深層学習モデルの構造自体の探索を行います．具体的には層の数やその層が増加することに付随して選択する必要のあるバッチ正規化やドロップアウトの有無等を探索します．有名な手法としては遺伝的アルゴリズムや強化学習があります．
ハイパパラメータ最適化は上述したハイパパラメータ（深層学習の事前設定変数）を最適化することを目的としています．ニューラルアーキテクチャ探索との大きな違いとして挙げられるのは（一般に）条件付きパラメータがないことです．ハイパパラメータ最適化の有名手法としては進化計算（CMA-ES），ベイズ最適化（ガウス過程ベースのものやTPE等），直接探索法（Nelder-Mead法等）があります．
メタ学習は直訳すると，学習の学習となります．深層学習ではある問題に対して学習を行い，該当問題に対して比較的高確率に課題解決することを目指しています．メタ学習ではこの学習自体の学習を行います．この文脈では，ある問題を問題の集合と捉え，その問題自体を変化させたときのに最適なふるまいをするパラメータ選択するように学習を行います．
また，マルチフィデリティ法とは深層学習という評価に時間のかかるモデルをより安価で比較的精度よく模倣できるモデルによって近似し，探索を高速化する手法になります．具体的には深層学習の学習曲線の予測や実際に入力するデータのサイズを落とす方法等があります．
気になった論文
個人的に気になったのはニューラルアーキテクチャ探索の転移学習とマルチフィデリティ法を多くの低いフィデリティ（評価関数の模倣精度を指す）によって近似する研究です．
学会を通して感じたこと・得たこと
国際会議への参加は今回が初めてで大きく分けると2点の感想があります．1つ目は会議参加に予習は必要であること．2つ目は会議は人脈形成をする場所であるということです．
1つ目に関して．初歩的ですが，非常に重要なことだと思いました．これをわかっても実践している人は多くないと思います．会議に来て発表の意味を理解できないと非常に辛い時間を過ごすことになります．発表時間は短いと5分，長くても20分しかありません．それと比較して，新しい論文を読み，理解するためにかかる時間が短い人に関しては予習の必要がないかもしれません．しかしながら，発表自体には論文ほどの情報量がないため，発表だけで研究の内容を完全に理解をすることは非常に難しいです．そのため，興味を持った発表に関してはあらかじめ論文を読み込んでから行く必要があると感じました．
2つ目に関して．会議先で行うことは主に発表の聴講，発表，議論，飲み会のいずれかになります．発表の聴講から得られる内容は論文を読んで得ることができます．論文だけでは情報不足という場合はメールを送ればいいと思います．しかし，飲み会や議論は会議先でしかできないことです．ここでは分野のトップ研究者が集まるため，人脈形成が次のネタや共同研究，就職先の内定につながる可能性があります．僕はAutoMLを中心に研究をしているので最も有名なFrank Hutter教授と飲み会に行き，研究室訪問の約束等をすることができました．また，企業展示においてはApple, Deep Mind, Bosch等様々な企業が存在し，彼らの目的もまた人材を勧誘することのようでした．
次回は本会議に主著で通した上で参加したいです．
読み込み中...