この記事では,研究のサーベイをまとめていきたいと思います。ただし,全ての論文が網羅されている訳ではありません。また,分かりやすいように多少意訳した部分もあります。ですので,参考程度におさめていただければ幸いです。
間違えている箇所がございましたらご指摘ください。随時更新予定です。他のサーベイまとめ記事はコチラのページをご覧ください。
![](https://tips-memo.com/wp-content/uploads/2019/05/7049d2ae3db3be21529cf9d1a31c2c3e-320x180.jpg)
【まとめページ】研究サーベイ記事一覧
和訳記事
●Attentionを用いたseq2seqのメカニズム●イラストでみるTransfomer
機械学習
基本...
スポンサーリンク
本論文を一枚の画像で
![](https://tips-memo.com/wp-content/uploads/2019/11/student-teacher-1.png)
要旨
Student-Teacher学習でデータ不足を補おうという話。学習済みモデル(Teacher)の出力を教師データ(Hard-targets)の代わりにラベルとして採用(Soft-targets)することで,ラベル付き学習データの不足を補おうという発想。
提案手法
![](https://tips-memo.com/wp-content/uploads/2019/11/d83250855444db42ab9e4e44ad1847e4.png)
![](https://tips-memo.com/wp-content/uploads/2019/11/b047ceb56dbe64b9220c01a0a10d1132.png)
StudentモデルはDNNを利用する。
実験・評価
![](https://tips-memo.com/wp-content/uploads/2019/11/2eef6c21183e2be170a906989518a77b.png)
![](https://tips-memo.com/wp-content/uploads/2019/11/a4e92837636663693c5cf67210c04d9d.png)
結論
ラベルなしデータを有効活用するポテンシャルが確認できた。また,データセットには複数のジャンルを入れた方がよい性能を引き出せることが示唆された。
まとめ
ラベル付きデータの不足を補うためのstudent-teacher学習の提案でした。
参考文献
Wu, Chih-Wei, and Alexander Lerch. “Automatic Drum Transcription Using the Student-Teacher Learning Paradigm with Unlabeled Music Data.” ISMIR. 2017.