![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
1:小説の内容から挿絵を描くプログラム
2:文字が生きているように見える映像
3:スマートフォンを放置することで何かが起こるモノ
越後谷? (2014-10-27 (月) 03:42:13)
10/21:出席
10/23:出席
10/21 ゼミ（自分の発表なし）
・やっしー先輩のグラフ使った説明がわかりやすかったです
・フランス人から見て解釈しなおした函館に興味があります
・かぼす美味しかったです
10/23 自主ゼミ
TAの備品準備
もう少し情報の多い文章での検証（悪魔）
・登場人物以外の抽出後はほぼ一回しか出てこない
→品詞で分けるなどするしかない？
→頻出以外で重要度を測れるものがないのか探す
・KWICコンコーダンスの機能に、対象の言葉の前後5語を取り出す機能があるらしいので要検証
論文読んで参考にしようと思った部分
・「やがて」などの接続詞で場面転換と判断する→段落以外での判断材料に
挿絵描いてもらった
・一枚は人力と機械的に出したもの（先々週のゼミで使った画像）
・もう一枚は人力と文章全部読んでもらったもの（機械の方はちょっと都合的に間に合わず）
越後谷? (2014-10-20 (月) 03:13:05)
10/14:出席
10/16:出席
10/14 ゼミ
コミック星新一読みました
・かなり脚色されていた（特にボッコちゃん、設定の変更やオチまでの過程に裏話を盛り込んだりしていた）
・星新一の作品は、特に読者の想像力に任せる部分が多い（あたりまえのことを省く傾向が顕著である）が、現代的な単語や背景を使っているため、全て読めば絵を描くことができる。→書かれていないものを描くためには……
・いろんな解釈を見て、挿絵として成立しているかという基準が自分の中で厳し目だったというのを見直せた
KHCoderでのキーワードの分析方法についての検討
目的：登場人物に関連する語等を、コンピュータで検出する
△：クラスター分析（似たようなものを集団とする）
○：共起ネットワーク（ある単語と一緒に頻出する単語でネットワークを作る）
（補助：KWICコンコーダンス（指定した単語の周辺の文章を一覧表示する））
今回行った処理
・登場人物の名前を前処理の段階で、強制抽出の対象にする（他の名詞などと区別するため）
・関連語検索>登場人物の名前を入力して集計>共起ネットワークの作成
→この結果を人力で出したデータと比較する
結果
・登場人物：キーワードは頻出しないため、共起にあらわれない
・登場人物の動き：人力で出したデータと似たようなネットワークができたが、分散しているので、どこまで表示するのか決める
今後の課題
・コーディングルールの明確化
→公式サイトのユーザフォーラムと論文を漁る
→関連語検索で二人以上を検索>共起をやってみる
・KHCoderの機能が把握しきれてないので引き続き試す
台詞を入れてみてそこから何か情報を得られないか（前回言われたこと）
（参考 佐藤理史研究室：会話を中心とした超短編小説の自動生成）
・二人の登場人物が会話する小説を幾つかデータとして蓄積し、連続した会話の話者を入れ替えることで、新しい小説を作る
・発話者を地の文の特徴からラベリング、男性と女性を語尾からラベリングをそれぞれ2パターン、計4パターンから小説を生成
・登場人物を正しく判定できない、段落を跨ぐなどして同一人物と判定できないと、再現率が下がり、ラベルをうまく貼ることができないらしい
→登場人物の判定方法やアルゴリズムが参考になった
10/16 自主ゼミ
TAのリハーサル
・シリアル通信初めてでした
・processingの復習する
予約してた図書を借りる・参考文献の複写
言語研究のためのプログラミング入門
・パソコンの使い方レベルから自然言語処理の基本的な機能を作るまでをサポートしてる参考書でした
（・一番最初に読むと自然言語処理に入りやすかったのかも）
物語テキストを基にした 漫画のコマの生成手法の提案
・コマ割り生成システムの前処理部分がコーディングルールの作成の参考になりそう
┗物語からの絵の自動生成（人工知能学会資料・上の参考文献）
・挿絵を3Dモデルで生成
・動きについてどのようにパターン分けしたのかわからない部分があったので、メールで聞く
越後谷? (2014-10-13 (月) 03:17:25)
10/7:出席
10/9:出席
10/7 ゼミ（自分の発表なし）
聞いてて思ったこと
・いろんな神話みたいなものがある中で、何故あえてギリシャのモチーフを選んだのかがわからなかった
・NFCチップ自体は意外と安い
・自分も英語で訳せる部分はちょっと頑張ろうと思いました
10/9 自主ゼミ
頂いた作例をtxtファイルに書き起こし、キーワードの抽出
・誤字 読んでる→呼んでる（作例2）
（・前半に書いてあったアルゴリズムで、どんな作品ができるのか想像してみましたがよくわからず）
Rを用いたテキストマイニングの本を読みつつ、テンプレ化に使えそうな統計の方法がないか探す
・今のところこれというものは見つからず
・テキストマイニング、計量テキスト分析などの歴史に触れていた本だったので勉強になりました
・ライブラリにもう一冊関連してる書籍があったので予約
言われたこと（10/12）
・台詞を入れてみてそこから何か情報を得られないか
（参考：名古屋大学 佐藤理史研究室 http://sslab.nuee.nagoya-u.ac.jp/）
今後の課題
・論文を読んで情報収集
・KHCoderの内部での挙動がちょっと気になるので、どうやって統計をとって図を出力しているのか調べる
越後谷? (2014-10-06 (月) 03:51:40)
9/30:出席
10/2:出席
9/30 ゼミ
小説を全文読んでから描いてもらった挿絵を、合宿の際の発表した挿絵と比較。
1枚目：登場人物の性別・年齢・職業のみの情報を伝えた
2枚目：1枚目の情報に加えて、登場人物のその他の情報と、シーン（人物の動作と背景、いわゆるシチュエーション）の情報を伝えた
3枚目：小説を全文読んでもらい、描くシーンや登場人物などは指定しなかった
結果
・1枚目と2枚目は全く違う挿絵になる場合もあるが、2枚目と3枚目の間には大きな差異は発生しなかった。
MeCab?だけでは解析作業が難しいので、KHcoderを使う
挿絵を描くために必要な情報の再検討
→挿絵に含まれる情報を大まかに、登場人物・背景（場所）・登場人物の動作に分類（合宿時の調査では、登場人物とシーンに分類していた）
→合宿の際に小説のジャンル・登場人物の関係性について重要と見ていた。
→小説のジャンルから人の服装が変わるという話は結局のところ、小説内で描かれない情報は日本人にとってあたりまえのこととして省かれているので、重視せずともよいと考えた
→登場人物の関係性については構図の参考にはなるが、話の展開では変わってくるものなので、小説の前半からのみ抜き出すとすると難しいのでは→検討
→登場人物、登場人物の動作は必須、背景についてはあると挿絵の情報量は増えるが、挿絵としては必須の情報ではない。
検討したテンプレート
・登場人物：登場人物に関するキーワード（名詞・形容詞）を小説の全文から抽出し伝える
・背景：小説の前半に登場する場所の情報を伝える（ネタバレにならないように）
・登場人物の動作：物語の前半部分にある動作
気づいたことなど
・キーワードは品詞での分類はほぼ不可能（例：○○っぽいという文を分かち書きすると、○○ っぽいとなり、比喩の要素が消える）
・一人称小説だと登場人物が消える
→FPSみたいな感じで、登場人物視点の挿絵になるから良いのでは
言われたこと
・登場人物の動作について、例えば病院帰りという情報は、シチュエーションとではなく、アクションとして処理する。
・テンプレート化して拾えなかった情報は気にしない
・挿絵として成立するかが重要
・最終的に例えばカードゲームにするとか、論文以外にも何か作れるのでは
10/2 自主ゼミ
自然言語処理についての本を借りる
・何が良いのかすらわからなかったので、適当に数冊借りた
・テキストマイニングの観点に関する本は貸出中？
KHcoderの導入、機能を調べる
・WinのアプリケーションをMac上のNXWineで動かしてました
→公式サイトによるとLinux・Macで使う際の設定方法は少ししか触れず、有償版を買うとインストーラがつきますよという説明だった
（→Macで使うなら素直にブートキャンプとかした方がいいと思います、常用漢字の表示もおぼつかない感じだったので……）
・公式サイトのチュートリアルに則って、機能を勉強
→頻出語の検索やそのバブルソート、クラスター分析など
→機能としてできることはわかったものの、これをどうテンプレート化に使うのかが思いつかず
四コマ漫画の並び替え実験に参加（感想）
・絵柄で間違えることはほぼないが、登場人物が見えないコマで台詞がないと判別がつけづらかった
・作風を無意識にテンプレ化して間違えた
・起承転結における転（三コマ目）を頭に持ってくる傾向がある
越後谷? (2014-09-30 (火) 00:03:28)
9/25：出席
9/25 ゼミ（後期最初）
留学生のみなさんが来たので、自己紹介と机配置
アルフレッドとガっくんとニコ、宜しくお願いします！
おみやげ美味しかったです、ありがとうございます。
歓迎会どうしようかなあ。
合宿〜今週
MeCab?いれました。
・名前の由来は作者の好物のめかぶからだそうです
・ターミナル久々に触りました
挿絵を書く人に与える情報についてまとめ直し中
・仮説を立てたらまた挿絵を描いてもらう
・今度は挿絵と本文を合わせて読んでもらうことも行う
この前挿絵を描いてもらった人たちに、改めて文章を読んでもらった上で挿絵を描いてもらいました
(合宿のときの進捗についても後で追記する)
ことば研究会、大学にいましたが体調不良で出れず……。
皆さん風邪にお気をつけください。
越後谷? (2014-07-28 (月) 01:59:49)
7/22：出席
7/24：出席
7/22 ゼミ（前期最後）
星新一の作品について、登場人物の特徴がわかる文章の紹介
・読者が自分の経験則から補うので、イメージ（想像するシーン）にぶれがありそう
・普遍化？一般化するのが大変
・そもそもコンピュータ（プログラム）にこの思考はできるのか
キーワードが出しやすい作品の紹介
・SF、歴史、ラノベの3作品を紹介
・キーワードを出しやすい作品と出しにくい作品を対比することで、登場人物に最低限必要なキーワードがわかった→性別、年齢、職業
・職業すなわち服装である、気がする
夏休みでやること：実際にお絵かきするソフトウェアの制作
7/24 自主ゼミ
Arduinoの書き込みとか：流れ作業で早かったです
テーマ審査会のリハ
・発言の間にえっととかが入っていることに指摘されるまで気づかず……（癖って怖い）
・意識すると喋れなくなりました
テーマ審査会反省
・1分は短い、一言にまとめることの難しさ
・早口すぎた気がします
・久々に前にでたら珍しく上がりました……
・報告書、背景がうまく書けず（参考文献不足気味でした）
・参考文献で気になるものの大本が古い本だったので、夏休み中に探します
・前期にやったことをすこしまとめる必要があると感じました（結構調査が行ったり来たりしていたので）
・院生の発表を聞いていてやはり背景がしっかりしてると違うなあと感じました
越後谷? (2014-07-22 (火) 00:20:27)
7/15：出席（途中から）
7/17：出席
7/15 自主ゼミ（前半は学内の就活セミナーに出ていました）
一筆書きのアルゴリズムについて論文とかSIGGRAPHを見てみるも、なかなか探せず。
・新しいものから引っ張りすぎていた
・GoogleScoLar?とかCiNii?を使う
・東工大でやってるひとが過去いた
7/17 ゼミ
キーワードリストについて報告
・キーワードが少ない→読んでいくうちにわかる
・どうして人間には想像できるのか→経験則から補完している
課題
・他の小説家の作品で、人物についての説明が詳細なものをいくつか挙げる
・悪魔シリーズの中で人物の描写についてわかった文の紹介をいくつか
週報の提出が遅れてしまい申し訳ありません……
越後谷? (2014-07-14 (月) 00:49:26)
7/8：欠席
7/10：出席
7/8 ゼミ 体調不良で欠席。すいません……。
7/10 ゼミ
OCの模擬授業リハ
・何気にArduino初めてでした。
・折紙の説明psd見ながら折りましたが、教えてもらうまでわかりませんでした……。
（山折り谷折りの線がどこなのか、写真ではわからなかったです）
・丸っぽいのが一番かわいいなと思ったんですが、一番難しかったです。
進捗報告
次回までにやること
・読んだものをまとめる
・一筆書きのアルゴリズム、塗りつぶし仕方などを探す
・手書きプログラムとか、SIGGRAPHでdrawingで探すとか
テーマの言語化って難しいなって思いました。（可視化と視覚化の違いの話）
画像処理の話
・opneCV公式を見よう
・輪郭をポイントで返す仕組み（ヒエラルキーとか）の話を、やっしー先輩に教えてもらいました
・openFrameworksだと、addonにofxopenCVを入れて関数を直接引っ張ってる模様
テーマ審査会
・フィードバックシートを印刷する
越後谷? (2014-07-07 (月) 02:39:04)
7/1：出席
7/3：出席
7/1 ゼミ
キーワードの抜き出し結果の進捗報告
・動作についても関連付けができるか調べる
・キーワードは職業とか性別くらいしかない
・棒立ちでも挿絵は機能するか、どれくらい動きがあれば人はシーンを認識できるのか（参考文献あれば調べる）
画像の検索結果
・検索エンジンであればGoogleかBingがほとんど
・素材サイトもよいかも
・効果的な検索ワードを探す
7/3
自主ゼミ
キーワードについて読み進めつつ、openFrameworksに触れた。
輪郭の探索アルゴリズムについて調べたところで終了。
もりぞーのハンダ付けが横で見てて楽しかったです。
越後谷? (2014-06-30 (月) 00:52:09)
6/24：出席
6/26：出席
6/24 ゼミ
悪魔についてのキーワードの抜き出し結果、画像の検索結果についての報告
・悪魔シリーズについて絞って調べる
・クリップアート、白黒などの検索オプションは使えるのか？
・英語での検索や、他の検索エンジンは使えるのか？
目標：画像処理に触れる、プログラミングの復習（Processingのデバッグ便利）
6/26 自主ゼミ
悪魔シリーズのキーワード抜き出しを引き続き行い、検索を行った。
検索結果（とりあえず、men pictogram)
○：google, yahoo, bing,百度画像
×：goo（少ない）,Picasa（google+に飛ぶ）,はてなフォトライフ, Flickr（写真多め）
気になったこと
・〈〉（手紙や、通信に使われる括弧）内の記述は台詞扱いなのか
・英語で検索する際の、原文（日本語）からの翻訳→日本語で検索できれば一番良い
他のメンバーの自主ゼミ進捗まとめ
やっしー先輩
Arduinoとシステムの連携
・加速度センサの値をopenFrameworksからシリアル通信で読み取ろうと試みたが、変な値になってしまう。
・デモをした際におきたバグの解消→QRコードの切り出しのところでミスしていた
次回ゼミで報告します、とのこと
ちゃぼ先輩
土偶に映像を投影して、撮影
・研究棟から機材の撤収
・プロジェクションマッピングなどのお話をお伺いしました
しんた
実験で使うプログラムの改良、奉行所の模型
・奉行所の模型のみで時間切れ
・櫓が難しいとのこと
今度もしお会いするときは、自分も何か見せれるものがあればいいなあと思いました。
越後谷? (2014-06-23 (月) 02:07:31)
6/17：出席
6/19：出席
6/17 ゼミ
他の挿絵作家についての調査の報告
→大体他の作家でも前半部分に集中している
→装画・ラノベについても調査する？
次の課題
台詞から登場人物のキーワードを抜き出して、シルエット＋キーワードで画像検索してみる
→挿絵ありの場合となしの場合について
→悪魔、薬、ノックネタが探しやすい
6/19 自主ゼミ
悪魔について、キーワードの抜き出しを行う
うまい纏め方が思いつかなかったので、スライドを作る
結果
エス氏→キーワードなし
悪魔→色の黒い、小さな男、耳の尖った……など
対応する挿絵
真鍋博→シーンからの情報多め。台詞は無いが、悪魔の入っているツボも書いている
片山若子→悪魔の絵。キーワードだけでできそう
和田誠→エス氏と悪魔。シーンの絵。
気づいたこと
・エス氏みたいな人は、キーワードで性別が示唆されないのかも？（複数調べてないので客観的かは不明）
・シーンから得る情報（季節は冬だとか、凍った湖だとか）が人物の服装などに反映されている
・登場人物が行う動作も反映される傾向あり？
・Google画像検索の検索オプション「白黒」は使えないか？
苦労している点
まとめ方
挿絵ありのときの読み方
越後谷? (2014-06-15 (日) 19:36:05)
6/10：出席
6/12：出席
6/10 ゼミ
挿絵は前半に集中しているというデータ
→物語への導入の手助けとなっている？
→他の挿絵作家についてはどうなのか、調査
登場人物とシーンの抽出についての回答
シーン×
人物○
スライドでの言葉遣いに注意（文＞段落＞文章）
6/12 自主ゼミ
星新一作品について、引き続き挿絵位置の調査
ライブラリで借りてきた別の作家についてのショートショートについても同様の調査
→挿絵は導入部分とオチの手前に一枚ずつ
→どちらかというと絵本的？
きまぐれロボットの挿絵作家が違う本を借りられたので調査
角川文庫の片山版と和田版を比較
→和田版で挿絵が描かれている作品については、片山版でほぼ書かれていない
→出版社が同じだからできたことかもしれない
→他の出版社、違う挿絵作家についても見てみたい
気づいたこと
挿絵のある文庫本はライトノベル以外じゃ案外少ないのかもしれない
越後谷? (2014-06-08 (日) 23:41:26)
6/3：出席
6/5：出席
6/3 ゼミ
本10冊の挿絵を取って、対応付け作業
対応付けを引き続き行う
統計情報をあつめる
・挿絵の数
・挿絵の指している文章の数など
課題：スライドづくり(6/5)
6/5
自主ゼミ
挿絵の文章の対応付け作業
文の割合の出し方で混乱気味でした。
一冊あたりにかかる時間は1時間強くらい。
中央図書館にはきまぐれロボットの英語版しかない模様。
スライドに使ったグラフの作り方が結構力技なので、いい方法を模索中です。
越後谷? (2014-06-01 (日) 02:43:12)
5/27：出席
5/29：出席
5/27
3つの研究テーマの決定
課題：星新一を中心に小説の挿絵についての調査(6/3）
5/29
自主ゼミ
openFrameworksでARマーカーの認識実験
二時間でプロトタイプまで。
わかったこと
・-masterとフォルダについているとbuildできない
・上下キーでホワイトバランスの調整
・白い木でも認識率が微妙
越後谷? (2014-05-26 (月) 00:06:33)
5/20：出席
5/22：出席
5/20
テーマに関して出してきたアイデアのディスカッション
挿絵関連については画像検索から引っ張るのが難しいということ
抽象的な挿絵についての資料まとめる（5/27）
スマホ依存（ゲーム？）の解決策をゲーム以外で考えてみること
→注意する側（親とか）とスマホを使う側（子供とか）双方が楽しいほうがいいよねとの意見
5/22
自主ゼミ
前回ゼミからのアイデア出しと資料集め
スマホ以外で解決するには案が出ず
挿絵関連の資料では、新装丁だとキャラクターがはっきりしていた
（メディアミックスの過程ではっきりしたらしい）
越後谷? (2014-05-19 (月) 11:50:33)
5/13：出席（振替）
5/15：出席
5/13
出してきたテーマについてのディスカッション
15個弱しか出せなかった。
人気があったのは、体でお絵かきとか、スマホプラネタリウムとか。
5/15
自主ゼミ
アイデアについてのディスカッション
課題：自主ゼミの報告(5/14)
実例とかをみんなに教えてもらった。
アイデア出しを続行していますが、自分ってこれが苦手なのかなと思いました。
そういえばグループワークではなかったUCDも、結構苦労したような…。
越後谷? (2014-05-12 (月) 04:25:10)
5/8:出席（振替）
5/8
自主ゼミなどの報告
課題：3つのテーマについてそれぞれ10個のアイデア（5/13）
クッキーの焼き方についてpdf作成
「誰に見せるのか」という点が重要
5/13のゼミは17:00〜
5/9
教員向け工作機械お披露目会
マニュアルに書いていないこと
・集塵機のつまみのこと
・焼いた後すぐに蓋をあけないこと
食パンは分厚くて（1.5cmくらい？）若干フォーカス合わない範囲でした。
マカロンとかお煎餅でも実験してみたいです
越後谷? (2014-05-06 (火) 23:10:29)
4/29：祝日
5/1：出席
5/1
自主ゼミ
自分の興味のあることについてまとめ
texのテンプレートの出力確認
MacTeXのwikiにあったTeXshop?の設定ではエラーを吐いたので、
しんたの設定を移させてもらいました。
内部設定が違った模様。
3Dプリンタで印刷する似顔絵はんこのデータ作り
AIで作った平面のパスを、ライノセラスで押し出して立体にした。
越後谷? (2014-04-28 (月) 01:23:01)
4/22：出席
4/24：出席
4/22
今後の予定の確認
自分のskill goal worriesについてのブレスト、研究室全体の傾向の確認
自分に自信がないのをどうにかしたいなあと思いました。
課題：自己分析についての報告書(5/7)
：似顔絵はんことクッキー(5/8）
4/24
自主ゼミ：自分の興味のあるものを持ち寄ってのディスカッション、院生室の片付け
やっしー先輩に教えていただいた観点
・見つけたものに対して何が面白いか言語化する（むずかしい）
・自分ならこうするという点をあげる（オリジナリティ）
・記事なら自分の同意できる部分にチェック
音からイメージされる図形や色が、どう対応して映像になっているのかに興味があるのかも？
他の人の視野から、自分の興味のあるものが見つかったりしたので、さらに資料を集めたい。
越後谷? (2014-04-21 (月) 16:55:31)
4/15：出席
4/17：出席
4/15
自己紹介、今後の活動の確認
課題:できること、不安なこと、目標のブレスト（4/22）
（自己紹介でまさかあれを見せることになるとは思っても居ませんでした。）
4/16
プロジェクト活動の説明会のお手伝い
ドームを建てただけで次の日筋肉痛になりました……運動します。
4/17
自主ゼミ、院生室の片付け
課題：自主ゼミについての進捗報告をスライド一枚程度で（4/22）
自主ゼミではopenFrameworksのサンプルを色々入れて見てみました。
SDKは10.6をもらって追加しました。
お気に入り：audioInputExample?
今はoFでどんなことができるのかぼんやりしてるので、ネットで作品等を漁っています。
TeXは学校の回線で7日かかるって出たので、家で落としました。
XcodeやMac自体に不慣れなので、少し大変でした。使いこなせるようになりたいです。
あと自己紹介を含めて自分を振り返ってみて、
自分のできることってどこまで出していいものなのか、不安になりました。
越後谷? (2014-04-13 (日) 16:18:08)
4/8：出席
4/10：出席
4/8
オリエンテーション
課題：自己紹介用のスライド(4/15)
4/10
院生室の片付け
来週のゼミで改めて自己紹介ですが、一年間よろしくお願いします。
- はい、確認。 -- kazushi? 2014-04-15 (火) 17:17:33
