M1の倪天佳(ニー テンカ)です。 絵本みたいな感じでストーリーから文ごとに画像を作るという研究です。1つの文に対して1つ画像を作るとは違って、多対多の生成はストーリーの全体的の意味も含め、文脈の変化に合わせて生成しなければなりません。
M1の倪天佳(ニー テンカ)です。
趣味は：家でゴロゴロすること、アニメ、鬼畜ゲーム、デコンパイル、旅行、ボカロ。最近はキャップに行きたいです。
プログラミングに関しては、cとpythonしかちゃんと書けません。ディープラーニングとデータ分析をやってます、駆け出しのKagglerです。
絵本みたいな感じでストーリーから文ごとに画像を作るという研究です。1つの文に対して1つ画像を作るとは違って、多対多の生成はストーリーの全体的の意味も含め、文脈の変化に合わせて生成しなければなりません。
例えば「ボックスAの上にBがある。Bの上にCがある。BからCを取って、テーブル上におく。」の場合、1個目の画像にちゃんとCが入って、Cを取ったら状態の変化をちゃんと反映できるためには、GistとContext両方を
見る必要がありますね。
本研究は、ストーリーから複数の画像生成を目標として、ストーリーテキストの適切なエンコード手法を検討し、画像の前後一貫性及び文章意味との一致性について評価実験を行います。