投稿

アメリカCS修士課程での研究機会(主に、機械学習の研究をしたい人にはあんまりお勧めできないという話をします)

イメージ
私は2020年8月から2022年12月までテキサス大学オースティン校 (UT Austin) の修士課程に所属しており、現在はペンシルベニア州立大学 (Penn State) の博士課程に所属しています。修士2年目から研究室に所属して取り組んだ自然言語処理の研究が EACL2023 と EMNLP2023 という学会に採択されて区切りがついたので、 このタイミングで修士課程での研究についての経験をまとめることにしました。 わざわざアメリカにまで来て実績が積めていないことには悩み続けているところではありますが、私の実力からすれば望外の結果でもあるので指導教員と共著者には感謝してもしきれません。微妙なアイデアは容赦なく潰してもらえた毎週のミーティングと、私が書いた文章が残らないくらいの論文への添削がなければ研究の体も成していなかったと思います。 しかし、アメリカのCS修士課程で研究を行うことは容易ではないということも良く分かりました(注:CS学部に所属していましたが 、研究環境については自然言語処理のことしか知りません)。個人的には修士から留学して正解だったと思いますが、一歩間違えれば研究室にすら所属できずに泣いていた可能性もありました。 研究室に所属できるかすらも運によるところが大きく、 研究を志す日本の学生に軽率に勧められるものではないと思います。 私の現在の考えとしては、機械学習分野でアメリカの大学院に所属して研究をしたい学生は、日本の学士課程で業績を作ってアメリカの博士課程に直接出願するか、日本の修士課程で研究をしてからアメリカの博士課程に出願するの手堅いルートだと思います。私のように「良く分からないけどアメリカ行きたいんじゃ」という人は、一緒に気合いで頑張りましょう。 ただし、アメリカに限らない話ですが 大学によって状況は大きく異なります。 研究機会を得やすい修士課程が無いわけではないようです。あとヨーロッパでは状況もシステムも全く異なります。海外大学院への出願を考えている人は広く情報を集めるようにしてください。 この記事では(私の知っている範囲における)アメリカのCS修士課程における研究活動の辛すぎる部分を説明しつつ、私が強運により研究の機会を掴んだ経験を紹介します。読めば分かりますが運が良かっただけの話なので、再現性は全くないです。 私の修士課程の全般につ

アメリカCS博士課程への出願の記録(機械学習、自然言語処理)

2023年8月からPenn State(ペンシルベニア州立大学)の博士課程 に進学することになりました。 Department of Computer Science and Engineeringで自然言語処理の研究を行う予定です。 これから5年間は学生をすることになる見込みなので不安もありますが、とても楽しみです。 出願について記録を残しますが、私は出願した12校のうちPenn Stateからしか合格はいただけませんでした。 不合格の主な要因は研究実績の不足だと思います。在籍していたテキサス大学からも不合格になってしまったので、研究遂行能力の低さと言い換えても良いかもしれません。それ以外の点については多くの方にアドバイスを頂いて書類の作成などをしたので、参考にしてもらえる内容だと思います。 背景 私は機械学習の自然言語処理という分野の研究をしています。学部は慶應義塾大学、修士はテキサス大学オースティン校を卒業しました。出願時点で企業の研究職の内定をもらっていましたが、博士課程への進学も悩み続けていたので出願することを決めました。 出願時の研究実績は、国際学会のワークショップが2本と国際学会に提出中のものが1本で、かなり少なかったです。査読中だった論文は1月に国際学会に採択されたので、面接をしていただいた先生にはアピールをしました。 出願先 私はUT Austin、 NYU、 UCLA、 Yale、 UMich、 UNC、 UCSB、 USC、 Maryland、 UMass、 Penn State、 UVAの 12校に申し込みました。 自分の研究実績が貧弱なので超トップ校は少し外しましたが、既に研究職に内定していて全て落ちても無職にはならない予定だったので、かなりチャレンジ気味に出願先を選びました。 少ない人だと5校とかしか申し込まない人もいるようですが、 十数校出願することも一般的なようです。あまり多いと推薦者の負担になってしまうので、出願数や出願先は推薦状を書いてもらう人と相談しながら決めるのが良いと思います。 出願先の選考については、 希望する研究分野で良い研究をされている教員を選びつつ、 推薦状を書いてもらう人にアドバイスをもらったり、最後に見落としを無くすために大学ランキングなどを参考にすると良いと思います。 それほどトップレベルではない大学やテニュア

テキサス大学オースティン校CS修士課程の記録(機械学習の研究をしました)

2020年8月にテキサス大学オースティン校に入学し、2022年12月に卒業しました。コンピュータ科学学部に在籍し、機械学習(自然言語処理)の研究に取り組みました。 アメリカの修士課程はコースワークが中心なのですが、修士課程でも研究を行いたい人の参考になれば嬉しいです。 奨学金 修士課程では進学先の大学からお金をもらえることは少ないので、日本で奨学金を得て進学している人が多いと思います。私は学部生のときに在籍していた慶應義塾大学の卒業生を対象とした「 慶應義塾大学グローバルフェローシップ 」という奨学金をいただくことができ 、自己負担はほとんどなく修士課程を終えることができました。修士課程への進学で奨学金をもらうことは難易度が高いようで、この奨学金以外は全て落選してしまいました。慶應義塾には感謝してもしきれません。 1年目 入学したときは新型コロナウイルスの影響があったので、最初の1学期は日本からリモートで受けることにしました。次の学期にはオースティンで受けましたが、授業は全てリモートでした。 研究を行いたかったので自然言語処理を研究している教員に連絡をしたのですが、まずは担当している授業を受けるように言われました。自然言語処理の授業が開講されており、期末課題として研究プロジェクトを行うことになっていたので、学生が研究をアピールする機会になっているようです。 インターン 研究実績がほとんどなかったので研究職のインターンは落ち続けていたのですが、なぜかAmazonのイギリス・ケンブリッジでのインターンに採用してもらうことができました。この年は24個のインターンに応募して1個しか受からなかったです。 6ヶ月までインターンの期間を選ぶことができたので、休学をして2021年7月から12月までインターンを行うことにしました。修士1年目ではまともに研究ができなかったので、5ヶ月間集中して研究ができたのは良い機会になりました。 研究成果は多少あったのですが、インターンが終わるまでには論文をまとめることができず、インターンが終わってからは自分で内部のデータにアクセスすることができなくなってしまうので手間が多すぎることもあり論文化は断念しました・・・。 2年目 インターンの効果もあったのか、2年目からは研究室に所属して指導をしていただけることになりました。MSCSは頑張れば3学期で修了

100点を目指すTOEFL iBTの勉強法

イメージ
最近またTOEFL iBTを受けないといけないことがありました。私は学部3年生で海外経験がほとんどなかったときに110点を取れたのが未だに最高得点になっています。もうTOEFLを受ける機会も少ないと思うので、自分のTOEFL iBTの勉強法をまとめておきたいと思います。 90点、100点あたりを目標としている人が主な対象です。 概要 私の勉強の基本は単語とシャドーイング、そして問題を解きまくることです。 単語はTOEFL 3800のレベル3までを完璧にすることが理想ですが、私はレベル3は8割くらいになってしまっています。レベル4は見たこともないですが、単語を知らなくてTOEFLで困るという経験をしたことはありません。 単語に不安がある状態で80点台とか であれば、単語だけやれば点数は上がると考えています。大学1年生のころは、1日に何時間も単語をやっていた記憶があります。 TOEFL 3800のスマホアプリを使って、 朝昼晩とかに分けて1日に何度も確認するのがおすすめです。レベル3が固まってくるとRLは自然と上がったと思います。ただし、SWはテクニックが必要な印象があります。 Reading リーディングは単語ができれば困ることはないと信じています。それだけで、ここ数年は安定して28点以上が取れています。ただし未だに時間には追われてしまうので、より単語量やリーディング練習を増やすと余裕が出るのかもしれません。 私は最初にざっと文章を読んでから問題を解いていくという方針をとっています。完全に理解できないこともありますが、大抵は問題を見てから該当部分を読み直すことになるので、長くても7分くらいで読み終わるようにします。あとは問題を頑張って解きます。 日本人が100点あたりを目指すのであれば、リーディングは満点を狙って28点くらいは取れるのが理想です 。 Listening リスニングも単語ができれば困らないと信じています。私は 音声が流れている間は全くメモを取らないという戦略を採用しています。あんまり細かいことを聞かれることがないので、メモを取ることで聞き逃しが発生することを防ぐためです。 Speaking 私が最も苦手とするセクションです。新形式で4問に減ったことで旧Q1がなくなったことは嬉しいのですが、問題が減ったことで1問のミスが命取りになるので嬉しいことばかりでは

アメリカ留学のTips

住宅 大学院生だと寮に住む人は少ないようです。地域にも依ると思いますが、1人で家を借りるのは高額になる場合が多いです。1人で住みたい場合には早めに家を探す必要がありますが、一年目はどうしても家を探すのが遅くなってしまうので、諦めて複数人で住むことが多かったです。 アメリカの学生は学生寮でなくても、特に学生向けの物件では複数人で家をシェアしている人が多いです。ただし、多くの場合は自分でルームメイトを探す必要はなく、大抵の学生向け物件ではルームメイトを勝手に割り当ててくれます。個人的には、それぞれのベッドルームにバスルーム(トイレとシャワー)が付いている物件がおすすめです。複数人でバスルームを共有する物件が 多くて安いのですが、私にはストレスが大きかったです。 アメリカで物件を探す場合には、物件検索サイトは一応使うけれど信頼はできないので、各物件のサイトで詳細を見ることになります。物件検索サイトは空き状況とかもアテになりません。申し込みも各物件と直接やりとりをすることになります。 携帯電話 日本の携帯回線をソフトバンクで契約していると、アメリカ放題という特典があるのでアメリカで無制限で回線を使えます。これは安いプランでも適用されるので(2023年現在)日本の携帯番号を保持したい人にはとてもおすすめです。回線速度は遅いです。 ただし、アメリカの電話番号が必要になる機会は多いです。今はオンラインで簡単に eSIMを 契約することができるので、SIMロックを解除したデュアルeSIMに対応している (eSIMを2回線同時に使える) 携帯電話を持っていくと便利です(iPhoneだと12以上)。通話とメッセージだけのプランであれば、1ヶ月10ドルくらいで契約することができます。私はiPhone11なのでアメリカの番号を使うときは手動で回線を切り替えなくてはいけなくて困っています。(追記:iPhone15に買い替えたので快適になりました) また、細かい話ですがアメリカ用のApple IDを新たに作ることをおすすめします。日本のApple IDだとApp Storeでダウンロードできないアメリカのアプリがあります。地域だけを変えるのは意外と難しいようなので、地域をアメリカに設定したApple IDを作るのが楽です。Androidについては何も知りません。 買い物 安くて良い物件が大きい

UT Austin 合格通知から入学手続き(新型コロナ関連記録)

2020年3月30日にこの記録を書き始めました。新型コロナの感染が世界中で拡大しています。3月20日にテキサス大学オースティン校から合格通知をいただいたので8月から留学予定ですが、先が全く見通せない状況です。テキサス大学オースティン校の留学生は約一割と少なめではありますが、流石にビザが降りなくても入学ができないということはないだろうと考えています。しかし、8月に出国できない可能性は現状では低いとは言えません。今後、今回のことを参考にするような事象が起こらないことを願いますが、何かの参考になるかもしれないので主にビザ取得・入学手続きに関係する内容について記録を残します。 3月 3月19日:新型コロナの影響でアメリカへの面接が必要な非移民ビザの申請停止。留学生が必要となるJ-1ビザはこの要件を満たすため、この措置が解除されなければ留学が開始できないと思われる。 3月20日:UT Austinから合格通知が届く。 3月27日:アメリカの感染者数が世界最大になる。 3月27日:東京大学大学院の(僕が関係する)ガイダンス、授業、研究室の活動が全てリモートになることが通知される。 4月 4月4日:UT Austinに進学することを決めたので入学手続きを開始。主に(1)ビザ関連 (2) 住居 (3)ワクチン等 の手続きを進めることになる。コロナで予定通り留学開始できるかが不透明なので、住居を契約していいか迷う。とりあえず奨学金の決定を待ってから住居については考えることとする。 6月 6月23日:オンラインで受講できる授業を確認する。オンラインで受講できるのは半分以下だが、とりあえず秋学期に取らないといけない単位数は確保できることを確認。 6月24日:テキサス州のCOVID-19の新規感染者が5000人を超えて過去最悪になる。 7月 7月11日:秋学期は渡航せずに授業を受けることを決めた。 9月 9月29日:春学期からのビザを取得。2021年1月からはオースティンに渡航することができるようになる。結局、コロナはあまり落ち着かなかったが、確かオースティンに1年は滞在しないと卒業できないなどの要件があることもあり、渡航することを決めた。

2021年の記録(修士課程、インターン、奨学金など)

今更ですが2021年の記録を書いておきます。 1月:オースティンに渡航 2020年秋学期からテキサス大学オースティン校に入学しましたが、コロナのため日本から履修しており、1月になってようやくオースティンに渡航することができました。 しかし授業はリモートだったので基本的にキャンパスに行くことはありませんでした。残念。 2月:寒波襲来 2月14日ごろから、数十年に一度の寒波がオースティンに襲来し、寮が1週間くらい停電しました。室温が氷点下くらいになり死にそうになり、停電していなかった日本人の先輩の家に数日間お世話になりました。本当に命の恩人です。今も度々お世話になっています。 6月:Amazonのインターンに採用される インターンは何十個も応募して落ちまくっていたのですが、夏休み直前になってイギリスのAmazonに採用してもらえました。半年までの希望する期間でインターンできるということだったので、秋学期は休学をすることにしました。 7月:慶應義塾大学グローバルフェローシップの延長 今回の留学でお世話になっている慶應義塾大学からの奨学金を2年目も延長してもらえることになりました。この奨学金がなければ、かなり経済的な不安を感じながら留学を続けることになっていたと思います。感謝してもしきれません。 8月:ケンブリッジに移動 インターンのためにイギリス・ケンブリッジに移動。大学1年生の時にケンブリッジ大学に語学留学に来ていたので、なぜか縁のある場所です。街並みがとても綺麗で好きな街です。 散歩がてら家の近くの公園に行ったら、ちょっと思っていたやつとスケールが違った  pic.twitter.com/LO7rjJYo4V — Ryo Kamoi 鴨井 遼 (@RyoKamoi)  September 5, 2021 12月:インターン終了 12月にインターンが終了しました。かなり自由度の高い研究をさせてもらいつつ、チームミーティングなど業務にも関わらせていただけて楽しかったです。 アメリカに戻る前に日本に少し帰省したのですが、ちょうどオミクロン株への防疫が最も厳しい時期だったので6日間は政府指定のホテルに泊まることになりました。部屋から一歩も出ることも許されず、私が経験した動線に関しては、かなり厳格な水際対策が行われていると感じました。イギリスからの帰国にあたっては帰国前・後あわ

アメリカCS修士課程への出願の記録

アメリカの 大学院に進学することになったので、そこに至るまでの経緯などを記録します。進学先はUniversity of Texas at AustinのMSCSです。新型コロナの影響でどうなるかわかりませんが、頑張っていきたいと思います。 当初は直接PhDに出願することを目指していましたが、トップレベルの研究室に入れるような研究成果がなかったことと、博士まで取るか悩んでいたこともあり、結果としてMasterに絞ることにしました。しかし、MasterでもUT Austin以外の大学は全て不合格でした。CS、機械学習という倍率の高い分野で、出願時点では研究実績はほぼなかったので妥当な結果ではありますが、そのような状況でも海外進学を目指している人の参考になればと思います。 結論としては、各種試験やGPAはできるだけ確保しつつ、コネクションを作るということが大切だと思います。もちろん、研究やその他の実績があるに越したことはないのですが、日本の学生が思っている以上に海外院試においてコネクションが重要なのだろうということを自分の経験を通じて感じました。 結果 全てCSの修士にあたる課程。 UT Austin:合格 GeorgiaTech:不合格 University of Toronto:不合格 ETH Zurich:不合格 EPFL:不合格 学歴・海外経験 小学2年〜5年:フィリピン(日本人学校) 慶應義塾大学普通部、慶應義塾高等学校を経て慶應義塾大学理工学部数理科学科に進学 学部1年:ケンブリッジ大学(1ヶ月間のサマースクール、語学留学) 学部3年:CMU(1年間の派遣交換留学) 試験など TOEFL iBT:92点(学部1年)→96点→102点(学部2年)→108点→110点(学部3年) GRE:V 152 Q 169 A 4.0(学部4年) GPA:3.9 参考までに、高校3年時に受けたTOEICは825点でした。内部進学で大学受験もしていないので、高校までの英語の勉強は中高での授業のみでした。小学生のころ4年間フィリピンにいたので帰国生ということになりますが、日本人学校に通っていたので英語力にはそこまで影響はなかったと思います。 GREのVerbalは低いので不合格の要因になった可能性はあります。もう少し取るべきでしたが、Verbalの勉強は本当に大変なので妥協してし

慶応工学会賞をいただきました

慶應義塾大学からの卒業にあたり、 慶応工学会賞という賞をいただきました。慶應義塾大学の学生すら存在を知らない人が多い賞かと思いますが、おおむね首席にあたる賞らしいです。失礼ながら、賞を頂くまでは私も存在を知りませんでした。私の代の卒業式は新型コロナウイルスの影響で無くなってしまったのですが、本来であれば卒業式で表彰されるものだったようです。数理科学科の事務室で簡易的な授賞式をしていただいてありがたかったのですが、どうせなら卒業式で表彰されたかったですね。 もう少し細かく賞について説明すると、慶應義塾大学の首席というのは一般的には学業成績優秀者表彰というものがあり、ほとんどの学部から1人ずつ成績優秀者が選ばれます。ただし理工学部については例外となっており、学科ごとに全く異なるカリキュラムが採用されているので、学科ごとに1名ずつの首席を選んでくれることになっているようです。噂に聞いた話によれば、年ごとに持ち回りで4学科の首席には成績優秀者表彰が、そのほかの7学科の首席には 慶応工学会賞が与えられるそうです。これについて正確な情報はどこにも出ていないと思われ、私が 慶応工学会賞をいただいたときも賞の説明は特にありませんでした。一部で良く話題になっている金時計については、 慶応工学会賞でも副賞として頂けます。 他の学部では数百人の生徒から1名が選ばれるので運要素も強いと思われますが、理工学部では各学科の数十人ほどの生徒のなかから選ばれるので首席をとりたい人にはおすすめです(念のため、これは冗談です)。そもそも成績だけで選ばれているのかは分からないのですが、参考までに私は数理科学科でGPAはおよそ3.95でした。交換留学のためにGPAが必要だったので良い成績を取っていたのですが、運が良ければ首席が取れるかなと思っていたので嬉しかったです。 本日、学位記とともに慶応工学会賞を頂きました。卒業式で表彰された成績優秀者表彰とは別の賞ですが、金時計は密かに目指していたのでとても嬉しいです🥇 pic.twitter.com/0WzT7DmUnw — Ryo Kamoi (@RyoKamoi) March 23, 2020

東京大学大学院情報理工学系研究科 院試についての記録

普通部(中学校)から10年間お世話になった慶應義塾を卒業し、東京大学大学院に進学することになりました。学士課程は数理科学科統計専攻でしたが進学先は情報理工学系研究科コンピュータ科学専攻です。NIIの相澤研究室所属となります。 院試勉強をしているときに先輩方のブログを参考にしたので、主に数学系からCSに転科する人などの参考になればと思い記録を残します。 2018年(学部3年) 2018年8月〜2019年5月にCMUへの交換留学をしていたのですが、留学の開始前後に東京大学を受験することを決めました。学士課程では機械学習を研究しながら理論的な勉強をしたいという理由で数理科学科に進学したので、大学院ではCSに転科することは当初から考えていました。専門とは全く異なるCS専攻への受験を決めたので、留学中の12月ごろ(入試8ヶ月前くらい)からCSの基礎を学び始めました。 英語は交換留学のためにTOEFL iBTを既に受けていたので良かったです。かなり酷くない限りはあまり合否に関係しないという噂も聞きますが、早めに受けておくと楽だと思います。 2019年(学部4年) 読みたいと思っていた本に軽く目を通してから過去問を解きましたが、3月ごろになっても専門科目が全く解けなくて焦りました。留学中はなかなか時間が取れなかったので、7月に夏期休暇に入ってから少し研究室を休ませていただいて勉強することになってしまいました。 おすすめはしませんが専門科目はかなり山を張りました。アルゴリズム・回路・オートマトン・OSは力を入れた方が良いと思います。以下が勉強に使った書籍リストです。ほとんどは東大のサイトで公開されている参考書籍です。 大学院入試問題[数学] 1 2 オートマトン言語理論 計算論〈1〉 (Information & Computing) (かなり読んだ) 岩波講座 ソフトウェア科学〈〔環境〕6〉オペレーティングシステム (かなり読んだ) 坂井修一 論理回路入門 (かなり読んだ) コンピュータの構成と設計 第5版 上・下 IT Text 離散数学 以下、ほとんど読んでいない本です。 型システム入門 プログラミング言語と型の理論 統計的機械学習―生成モデルに基づくパターン認識 元から機械学習が専門なのであまり読む必要がなかった。機械学習の問題は数学系の人には得点源になるので勉強は

2018年の記録(派遣交換留学、インターンなど)

年末になると1年が短かったように感じるけれど、思い出してみると色々なことがあった。 2年生秋学期 記憶がない。 春休み 記憶がない。おそらくインターンをやっていたと思う。 3年生春学期 3年生の春学期の授業は概ね面白かった。特に坂川さんの「確率概論」、白石さんの「時系列モデル」、佃さんの「非線形モデル」あたりは興味のある内容だったし、知らないことも多くて勉強になった。数理統計第一とかは既知の内容が多かったが、演習形式だったこともあり、やはり授業で習うと理解が深まった気がする。実解析第一は測度論の授業で、内容としては興味があったので勉強時間を割いた記憶がある。高山さんの演習プリントはちゃんとしているので作るのが大変そうだろうなと思う。しかも高山さんは演習に結構ちゃんとコメントを書いてくれるので非常にありがたかった。 留学もあったので授業をかなり多く取っていて大変だったが、なぜか全教科でSを取ることができた。大学に入ってから初めてだったので嬉しかった。 インターン 2017年5月から2018年8月までデータセクション社でインターンをしていた。主に自然言語処理、文章のVAEの研究をしていた。研究結果を論文にしたかったが上手く行かなかった。 留学 8月後半からCMUに留学している。秋学期は機械学習の応用分野を主に履修した。せっかくCMUに来たのでプログラミングを行うような授業を履修したが、どの授業もかなり時間を割かないといけなくて大変なので、春学期は普通に興味のある理論寄りの機械学習の授業を履修することにした。 英語力が向上しているのかは良く分からない。僕の問題ではあるが、大学に通っていても英語でコミュニケーションを取る機会はそれほど多くはないし、いまだに聞き取れないことも多い。英語力がなくてもなんとかなるという謎の自信を持つことはできたので、英語への恐怖感がなくなったという点では大きな進歩だとは思う。