バイオイメージ・インフォマティクス

バイオイメージインフォマティクスとは?

静止画や動画として観察される様々な生命現象について,画像情報処理技術を駆使して,現象の客観的定量化,ならびに定量化結果からの知識発見に挑む,新しい学際的研究分野.詳しくは,下の解説記事をご覧下さい.

多物体同時追跡(GFP輝点)

蛍光により可視化されたタンパク質分子を動画像中で追う問題.同じ見えを持つ大量の輝点を,低フレームレートの動画の中で追うという,相当困難な課題.ネットワークフローや動的計画法などの大局的最適化法を利用.北大薬学の鈴木研との共同研究.

多物体同時追跡(大腸菌)

MEMSの中で分裂しながら増殖する大腸菌を追跡する.MEMS中心より外側のほうが,増殖による押し出しで移動量が大きいのがワインポイント.安定結婚アルゴリズム+αで解決中.九大農学花井研との共同研究.

To appear

多物体同時追跡(メダカ)

時に停止し,時に高速移動もするメダカ.1匹の場合だけでなく,近接や接触を伴う複数匹の場合も含め,追跡アルゴリズムを開発中.基礎生物学研究所渡辺研との共同研究.

多物体同時追跡(中心体)

細胞分裂を制御するとされる中心体.4D観察された映像中で分裂を繰り返しながら増殖する.安定結婚アルゴリズムで解決中.遺伝学研究所木村研との共同研究.

3次元対象追跡と動作認識(マウス)

マウスの挙動が遺伝子型にどう影響されるか?トラッキングによる移動軌跡と,ステレオ視による立ち上がり・身づくろい操作の3D認識で定量化.北大薬学鈴木研との共同研究.

To appear

多物体挙動可視化のためのカイモグラフィ

線上を移動する物体の動きを2次元的に可視化したものがカイモグラフィ.このカイモグラフィの生成とその解析を容易にするソフトを実装し,公開.北大薬学鈴木研との共同研究.

スライスからの三次元再構成

超高精細にスキャンされたマウス胚のスライス画像系列.この系列を二段階最適位置合わせすることで,3D情報を復元.時空間計算を如何に効率化するかもポイント.基礎生物学研究所藤森研との共同研究.

深層学習を用いた特定生体組織の切り出し

スライス画像からの特定臓器の切り出し.深層学習(CNN)でテクスチャの非常に微妙な差異を定量化し,グラフカットで最適分割.基礎生物学研究所藤森研との共同研究.

To appear

チゴガニ挙動解析

砂地で生息し,ウエービング行動を行うチゴガニ集団の挙動を解析.各個体のトラッキングならびにウエービング行動の認識を自動に行うソフトウエアを開発.長崎大環境科学部岡田研との共同研究.

微細構造抽出のための回転watershed

Rotational morphology[Kimori+, 2010]に発想を得て,それを線検出に応用.画像を回転させながら線検出を繰り返し,最終的に統合することで,ディジタル画像特有のアーチファクトをキャンセルし,かつ単一画像からの多数決型超解像を実現.

共焦点画像列からの樹状突起ならびにspine検出

焦点深度を変えながら撮影された画像系列から,神経樹状突起をまず検出.その際にはボケによる深さ推定を行う.その後樹状突起周辺に存在するspineを検出し,その形状を定量化する.北大薬学鈴木研との共同研究.

細胞形状定量化(細胞膜)

細胞膜の凹凸(Bleb)構造のダイナミクスを定量化.動的計画法に基づく最適輪郭抽出,輪郭移動速度の定量化,さらにピーク検出に基づく凹凸数の自動定量化.九大生物池ノ内研との共同研究.

細胞形状定量化(分裂細胞)

細胞の分裂方向予測のための細胞領域抽出およびその形状定量化.京大ウイルス研豊島研ならびに遺伝研木村研との共同研究.

細胞内微小構造抽出

画像処理に因る微小管などの細胞骨格の抽出およびその配列方向定量化,オプティカルフローとその配列方向との相関解析.遺伝研木村研との共同研究.

細胞内構造認識

Hela細胞の構造を局所特徴量を用いてpart-based認識する.複雑で柔軟な構造の認識へのpart-basedアプローチの有効性を確認.

GFP輝点検出

背景ノイズ著しい画像からの輝点検出.1-class SVMによる特徴点識別によるアプローチならびに分離度フィルタによるアプローチ.北大薬学鈴木研との共同研究.

線虫挙動解析(微細運動解析)

動き回る線虫の咽頭部を追跡.咽頭部も独自に動いているために,二重にネストされた動き追跡課題となる.「オプティカルフローと分離度フィルタ」もしくは「深層学習」による咽頭部候補検出ならびに,動的計画法による追跡.理研荒田博士との共同研究.

To appear

線虫挙動解析(誘引行動解析)

匂いに対する線虫の誘引行動を画像処理で定量化.マクロ的行動とミクロ的行動の二視点での定量化が特徴的.九大システム情報 都甲研等との共同研究.

線虫挙動解析(姿勢変動解析)

トラッキング済みの線虫についてその姿勢変化を定量化および可視化.動作プリミティブ解析に利用.名大塚田博士との共同研究.

To appear

線虫挙動解析(スパースコーディングによる行動分析)

線虫の移動軌跡を固定時間で切り取ったデータ群に対し,スパースコーディングを適用.基本移動軌跡群をスパース基底として導出.名大塚田博士との共同研究.

To appear

ハイパースペクトルイメージングに基づく植物の表現型解析

植物の葉をハイパースペクトルイメージングで観察することで,遺伝子型の正常・異常を判断する技術.一種のパターン認識問題.九大松田修博士との共同研究.

植物根伸長解析

植物根の局所的な伸長度を,二時刻間の根画像の最適非線形マッチングにより自動定量化.東大朽名博士との共同研究.

サバ稚魚の異常行動解析

サバ稚魚泳動の長時間ビデオから,共食いを異常行動として自動検出.九大農学部松山先生,長野先生との共同研究.

To appear

匂い蛍光画像認識

特定の匂いに対して蛍光を発する化学物質を複数利用して,多様な匂いの空間的分布を定量化.どの物質がどこに存在するかについては,シンプルにNearest-neighborすなわち事例ベースで解決中.九大システム情報 林研との共同研究.

環境内文字情報

環境内の文字情報~その検出・認識・分析

あなたは今,この画面の文字を読んでますね?そのためには, 文字を瞬時に見つけ,さらに認識しています. この人間には非常に容易なタスクも,計算機にとっては難問中の難問. 当研究室も様々なアプローチで挑んでいます. さらに,環境内の文字は,様々な情報を提供してくれています. 我々も日々それらに助けられながら生活しています.そこで, 認識した文字情報の活用法についても,多角的に研究しています.

Reading-Life Log

「目で見た文字をすべて認識してログ化し,検索可能にする」.我々人間は日々文字を読みながら情報を収集し,生活している.従ってそのログ化は我々の知識のログ化とも言える.大阪府立大・東北大・慶応大との共同研究.

Reading-Life Logの薬剤師支援応用

薬剤師の仕事は,処方箋と薬剤パッケージのマッチング.それを誤りなくするために,指先に着けた小型カメラで処方箋の文字を読み,薬剤パッケージを認識する.大阪府立大・東北大・慶応大との共同研究.

情景内テキスト情報を用いた場所・行動認識の高度化

もし「お会計」というテキストがあれば,その画像は店内.「カレーライス」があればその画像はレストラン.このようにテキスト情報はそこがどこで何をすべきところかを示唆する.一般的な画像認識と情景内文字認識を結びつける研究.次の研究とは双対.

環境コンテキスト利用による情景内文字検出

「どこに文字があるか?」~人間にとっては無意識にできる問題も,計算機にとっては非常に難問. 実際,「文字らしさ」だけで情景内の文字を検出しようとすると,誤検出が多発する.そこで周囲の状況を認識する.例えば周囲が空や森なら,そこには文字は無い.

多重仮説に基づく情景画像内文字検出

我々の身の回りの文字は極めて多様.ゆえに単一の方法で検出できるわけがない.そこで逆に複数の異なる方法を使って検出を試み,それらの結果を適切に統合する. 言わば「三人寄れば文殊の知恵」的なアプローチ. Palaiahnakte Shivakumara博士との共同研究.

グラフカット最適化による情景内文字列検出

文字を認識するためには,文字の検出が必要で,文字の検出のためには,それが文字であることを認識する必要がある.「卵が先か,鶏が先か」タイプの問題.これを一気に解決するために,最適化の枠組みで認識と検出を同時実行する.

位相構造学習による情景画像内文字検出

文字の様々な形状変化を表現するために,その構造をグラフで表現.その際,機械学習(gBoost)を用いて,文字らしい構造,らしくない構造の代表例を自動選出.文字検出に応用した.

局所特徴を用いた文字検出

「文字のかけら(断片)に文字らしさはあるのか?」という問いに,肯定的に答えた研究.文字の断片,および非文字の断片をそれぞれ局所特徴として表現,それらが機械学習で求めた識別器で区別できることを証明.

Word2vecによる情景内単語の意味解析

「街中の単語群はどのような意味を持つものが多いのか?」「新聞内の一般的な単語群と異なる意味傾向があるのか?」という問いに,ニューラルネットによる意味定量化法word2vecで挑む.街中の単語群は,一般な単語群に比べ意味的に限定されていることを証明.

情景画像中文字の視覚的顕著性(visual saliency)

「情景内の文字は,見つけて読んでもらってこそ意味がある.従って目立っているだろう」という疑問を,大規模データセットおよび視覚的顕著性を用いて解消.予想通り,情景内の文字は目立つように配置されていた.Faisal Shafait教授との共同研究.

情景内文字の色頻度解析

世界では,どのような色の文字が使われているのか?背景との組み合わせはどうか?デザイナが暗黙に使う文字とその背景の色彩関係を,大量の情景内文字データを使って,定量的に解析.

情景画像中文字の選択的隠蔽

時にはプライバシー侵害にもなる写真中の文字情報を,どうやったら消せるのか?すなわちどうすれば文字の可読性を破壊できるのか?「文字は文字によってこそ破壊される」ことを実証.

情景内文字消しゴム

左の研究の進化版.深層学習による画像処理により,情景内の文字だけを選択的に消すという,一見すると魔法のような技術.深層学習がドンピシャでハマった例.

To appear

大規模情景内テキストデータセット

情景内に存在する文字・テキストの意味を様々な角度から調べるために,3000枚の画像中にある文字領域を,画素レベルでラベリング.世界最大規模の高精度データセットを構築した.

ユニバーサルパターンプロジェクト

大阪府立大(黄瀬教授,岩村准教授),東北大(大町教授)と,10年以上の長きに渡り続いている大学間プロジェクト.文字を検出・認識しにくいというのなら,文字自体を検出・認識容易にしてしまおうという,逆転の発想がベース.文字でまだまだ面白いこともできる!

ネットワーク最適化に基づく文書レイアウト解析

人間はテキスト行を簡単に目で追える.縦組み・横組み混在時ですら追える.計算機にこの機能を持たせるために,ネットワーク最適化とディープラーニングを組み合わせた手法で挑む.

Show, Read, and Tell

画像から自動的にその説明文を作るのがImage captioningと呼ばれる技術.さらに情景内の文字情報を使って,説明文の高精度化に挑む.

To appear

フォントデザイン

なぜフォントデザイン?~工学とデザインの接点

世の中には数万種類ものフォントが存在します. なぜ,それだけ多様なフォントが必要なのでしょうか? また,それらはどのようにデザインされているのでしょうか? さらに,それらはどのように使われているのでしょうか? これまでフォントデザイナやタイポグラファーの経験知であったデザイン原理を, 膨大なデータを解析することにより,工学的に解明する試みです.

To appear

文字フォントの形状と意味の相関解析

「寿司屋の看板は毛筆体」「甘いお菓子は丸ゴシック」...世の中のフォントは,その文脈にフィットした形で選ばれている.タイポグラファーによるこの選択に潜む秘密を,工学的アプローチで解き明かす.いわば,文字の質感情報処理.

To appear

フォントネットワーク

多様なフォントの世界を,フォント間の類似性を用いてネットワーク表現.ネットワーク上のツアー(tour)により,フォントの変化をモーフィング的に観察もできる.さらに,ネットワークの中心を見ることで「文字Aとは何か?」という人工知能の根本問題にもアプローチ.

文字の自動デザイン(フォントネットワーク利用)

フォントネットワークの「穴」,それはまだデザインされたことのないフォントの指定席.ネットワーク解析により「穴」を見つけ,さらにアウトライン情報を用いたフォントのモーフィングにより,未開のフォントを自動生成する.

文字の自動デザイン(最適モンタージュ利用)

互いに類似したフォントを並べ,それらを部分的につなぎ合わせて,新しいフォントを自動生成する.なるべく自然なつなぎ合わせは,グラフカット最適化の枠組みで求まる.フォント画像を重ねてできた「蓮根」状のボリュームを非線形なナイフで切った断面.

To appear

文字の自動デザイン(DCGAN利用)

深層学習による画像先生のフレームワークDCGANを用いてフォント生成.識別器による評価も加えることで,より自然なフォントに近づけた.

  • [阿部,信学技報,2017]

検出容易なフォントの選出

情景画像から文字を見つけるのは難しい.ならば見つけやすい文字というものはどういうものか?という逆転の発想の研究.その原理は「非文字から最も遠いフォントが,最も非文字とは区別しやすい」.この原理で選ばれた文字を見てみると...

グラフマッチングによるフォント構造解析

「文字は線状,その多様性はその線状構造の変形で表せる」...すなわち文字はグラフ表現できる.ならば文字はグラフマッチングで認識できるのか?古典的ながら未解決な疑問に対し,高効率グラフマッチング手法で挑む.Andreas Fischer博士との共同研究.

多フォント同時アライメント

「文字Aとは何か?」シリーズの研究.Congealingと呼ばれる摂動法を用いて,6000種のフォントを非線形同時位置合わせ.すなわちお互いになるべく似たように微調整を重ねる.その収束結果は,非常に一般的なサンセリフ体であった.

デザインを認識する~書籍表紙画像からのジャンル認識

書籍表紙画像から(タイトルを認識せずに)その書籍のジャンルを当てるという野心的な試み.これが結構認識できるのが面白いところ.

深層学習応用

CNNによるユニバーサルOCR

手書き,活字,飾り文字... 「全部同じ文字なんだから,単一のOCRで区別なく認識できるはず.」.. 当たり前のようで,実は従来存在しなかったこのOCRをCNNで実現.さらにCNNの内部的に,手書き・活字の区別は行われるのかどうかを観察.

CNNによるマルチフォントOCR

人間にすら読めないような変わったフォントを含むデータセットを,深層学習は読めるのか?実用的な意味を持ちながらも,実は人間と機械にとっての可読性の差異を問う基礎的研究.

CNNによる情景内文字検出

文字・非文字の識別が完璧にできれば,情景内の文字検出も容易になる.ならばCNNでこの識別に挑む.単なるLeNetでよいのか?コンテキストなどの外部入力は不要か? Anna Zhu博士との共同研究.

Deep LSTMによる文字列認識

リカレントニューラルネットワークの代表格であるLSTMを多層化.この巨大なネットワークで,手書き文字列を左から右にデコード(認識)していく.どのような多層化がよいのか?何層の多層化が必要か?層間の結合形式は? Volkmar Frinken博士との共同研究.

CNNの内部状況解析

深層学習(CNN)の内部でパターンの分布はどのように変化していっているのか? ネットワーク分布解析技術でそれを可視化.その結果,「手書きと飾り文字がCNN内部のどこで同一視されるのか?」も判明.

CNNの挙動からパターンの急所を探る

認識にあたり,画像のどの部分がキモなのか? どの部分が欠けたら認識できなくなるのか? 数字パターンを使って徹底解析.

CNNの部分パターン検出能力に関する基礎検討

深層学習(CNN)を使えば,画像からどのような部分パターンを検出できるのか.例えば,「国」「園」のような漢字画像から,安定して「口」(くにがまえ)があると検出できるなら,CNNは,部分パターンの内部変化に非常に頑健であると言える.

  • [周, 情報研資, 2017]

機械学習応用

大局的特徴とその最適選択

時系列パターンについて,離れた2時刻間の関係を表現するのが大局的特徴.ではどの2時刻間の特徴を使えば,認識性能が向上するか? さらに時系列非線形伸縮マッチング(DTW)との相性をよくするには?機械学習の枠組みで挑む.NTTとの共同研究.

学習による映像中の一般音源同定

画面内のどの部分が今の音を出したのか,我々は無意識に理解する(実際に音が出ているのが画面横のスピーカーだとしても).この機能が膨大な視聴覚経験に依るという仮説の下,その経験を機械学習させることで,映像中の音源同定を行なう.

機械学習による最適カメラ選択

サーベイランスでは複数のカメラが同一視野を観察している状況がある.その際,視野内の人物の特定動作を認識するには,すべてのカメラを使う必要はない.では,どのカメラが有効か?本研究では機械学習により自動的にカメラを取捨選択する.

機械学習による文書の意味頻度解析

聖書の日本語版と英語版.それぞれで出てくる単語は違っても,同じような意味の単語が同じぐらい含まれているはず.word2vecと呼ばれる単語の意味をベクトル化する手法を使って,この予想を検証.

To appear

大規模パターンの認識・解析

大規模パターン集合(Big Data)を扱う意義

よく聞く「Big Data」なる単語.バズワードと揶揄されますが, パターン認識にとって膨大なデータを扱うことは,極めて本質的で重要な点です. 従来は少量のデータしかありませんでしたので,パターンは正規分布やガウス混合分布 のような単純なモデルで分布していると仮定されていました.これに対し, 膨大なパターン集合があれば,分布の真の姿を見ることができます.さらにその真の姿 を解析することで,認識精度の向上や,アルゴリズムの効率化も図れます.

  • To appear

ネットワークを用いた大規模パターン集合の分布解析

「高次元パターンの分布の真の姿を見たい」「クラス間の境界の状況を把握したい」というモチベーションで開始した研究.高次元空間の低次元化は誤差が生じる.そこでネットワーク解析の方法を利用.解析結果はSVM学習のパターン予備選択にも利用可能.

大規模パターン集合の分布解析

大量のパターンはどのような分布をしているのか?...この問題に最近傍パターンとの関係を利用して挑む.上記のネットワーク解析の前段階として位置づけられる試みであるが,パターンの欠損部補完など,思いがけない成果も生んだ.

最適化によるクラス境界と真のクラス境界の差異

多クラスのパターン集合をある最適化の枠組みで分離したとします. この分離境界は真のクラス境界とどのように違うのでしょうか? 同じならば,パターンそのものの生成原理が,上記の最適化の枠組みに従っていることになります. 違うならば,なぜ,どのように違うのでしょうか?

大規模パターン認識のための高速最近傍探索

「クラス未知の入力パターンに対し,クラス既知のパターン集合の中から最も似たものを探索し,そのクラスを認識結果とする.」これが最近傍識別である.この単純な手法もパターン集合が膨大になると,探索に要する計算時間が現実的でなくなる.この問題に対し,AGHなる方法を拡張して挑む.

大規模人流データからの異常検出

街中に配置された複数のセンサーからリアルタイム人流データについて異常を検出.夜中に忍び寄る人物や,日中の極端な人だかりなどを異常としてリアルタイム検出可能.Markus Goldstein博士を含む大学内共同研究.

大規模事例に基づく動画像予測

人間なら,1枚の静止画から,その過去や未来の状況を想像できる.この機能の工学的実現を目指す.「人間は膨大な過去の視覚体験に依って想像する」という仮説に基づき,大量の動画像を利用して「工学的想像」を実現.

時系列パターンの認識・解析

非類似度空間埋め込みによる大規模時系列認識

深層学習とも密接な関係がある(非)類似度空間埋め込み(Dissimilarity space embedding).パターンそのものの特徴を記述するのではなく,他のパターンとの類似度を特徴とする.本研究は,その枠組み大規模化かつ時系列パターン認識に拡張したもの.

時系列パターンの早期認識

終わりを待たずに認識結果を出せるのが「早期認識」.機械学習法であるAdaBoostを改良することで,早期認識のための識別器系列を構成.基本アイディアは「時刻tでまだ認識できないものを時刻t+1で認識するための学習」.

非マルコフ時系列パターンマッチング

(隣ではなく)遠く離れたところの関係性を制約可能な,ちょっと変わった時系列パターンマッチング.従来不可能だった詳細なマッチング制御を可能にした.MIRU2011優秀論文賞.Volkmar Frinken博士と共同研究.

K-最近傍時系列パターンマッチング

2つの時系列パターン間に,互いに異なる複数の対応付けを同時かつ最適に求める方法.一種の整数計画問題になるが,問題の性質により線形計画問題として解いても整数解が得られる点が,計算量的に助かる.

特徴非同期時系列パターンマッチング

時系列パターンは,特徴ベクトルの1次元系列として表現される.そのマッチングの際,特徴ベクトルを成分ごとに分けて扱うとどうなるか?実はパターンを最適変形させながらマッチングするという新機能を実現できる.

解析的DPによる時系列パターンマッチング

組み合わせ探索としての扱いが多い時系列パターンマッチング.その常識を覆した.マッチングコストを二次関数近似することで,探索無しで最適解が求まり,計算量も劇的に減少.画像の認識・理解シンポジウムにおいて,長尾賞(最優秀論文賞)を受賞.

論理的DPによるモチーフ検出

動的計画法による最適パターンマッチングについて,その目的関数に論理関数を導入.どの局所的マッチングペアも必ず一定誤差以下で対応付けられている,という制約を実現.モチーフ(頻出パターン)の検出に応用.

大局的最適な多数決に基づく時系列パターン認識

各時刻ごとにクラスAかBかを判別.ある時刻までの認識結果は,判別結果の多数決で決める.その際,時刻毎に完全に独立して判別されると不安定なので,隣接時刻は「なるべく」同じクラスにする.一種の最適化問題となり,グラフカットアルゴリズムで解ける.

スポーツ動作解析

スポーツのうまい人と違う人で,どこの動きがどのように違うのか?センシング技術と照合(マッチング)技術を駆使して,両者を比較.スポーツ科学の専門家とのコラボも開始.

To appear

DTW-DNNによる時系列パターン認識

深層学習(DNN)の仕組みに非線形マッチング(DTW)の考え方を世界で初めて導入.時系列パターン等に起こる非線形変動を吸収可能にすることでDNNのさらなるパワーアップ化に成功.

手書きパターンの認識・解析

断片化に基づく手書き文字画像認識

文字はバラバラにしても読めるのか?世界に先駆け,この疑問に肯定的な答えを出した研究.すなわち,文字は大局的な構造がなくてもある程度読める.ポイントは多数決原理.一般的な画像認識研究における局所特徴の有効性とも密接に関連.

断片化に基づくオンライン文字認識

上記のテーマをさらに進め,(画像ではなく)タブレットから入力される運動(運筆)軌跡としての文字を断片化.結果,文字は単なる「短い曲線分の集合」になってしまう.それでもかなり認識できることを実験的に証明.文字は強し.

オンラインマルチストローク文字の認識

漢字などの多画文字では,多様な筆順変動が発生する.筆順変動は,筆記運動としての文字パターンを全く違うものにしてしまい,誤認識の深刻な原因に.本研究では,どのような筆順変動が起きているかを積極的に推定し,誤認識を避ける方法を確立させる.

情報埋め込みペンの開発

ペン先に小型インクジェットノズルを搭載した,世界で初めての情報埋め込みペン.筆記の際にモールス信号状に情報を埋め込む.5cmの手書きに32ビットを誤りなく埋め込めることを実証.Marcus Liwicki博士との共同研究.

ペン先カメラ画像からの手書きパターン復元

ペン先に装着した超小型カメラから,紙面の繊維構造(紙紋)を読み取ることで,ペン先の動きすなわち筆記内容を推定.ビデオモザイキング技術により実現.光学式マウスの原理に似るが,ペンの傾きによる射影変換,照明変化,動きボケなど,困難性も多い.

画像パターンの認識・解析

多段階最適化に基づく多物体同時追跡

頻繁に接触・交差し,時に並走するような対象を前提として,トラックレットへの分解,トラッキングによる接触部検出,トラックレット接続,を大局的最適化の枠組みで実装.

解析的DP を用いた動画像中の物体追跡

物体追跡はいまもホットな研究課題で応用先も広い.様々な方法の中,動画像全体の情報を使って追跡経路を全体最適化するアプローチがあり,精度が高い反面,計算量的な問題があった.精度を落とさず計算量を落としたのが本手法.

非マルコフ的制約下での多物体同時追跡

「ちょっと前にあそこで見たアレは,いまここにいる」.そういう知識を世界で初めて活かせるトラッキング手法.

FCNを用いた一般物体追跡

深層学習の一種であるFCNとDPを組み合わせた,見えの変化やオクルージョンに非常に強いトラッキング手法.

Canonical Time Warping (CTW)による輪郭マッチング

時系列パターンの非線形マッチング(DTW)に回転不変性を導入したものがCTW.本研究では同手法を輪郭マッチングに拡張,形状認識問題への利用可能性を探る.

解析的2次元DPマッチング

当研究室で提案した解析的DPマッチングを2次元すなわち画像マッチングに拡張.高速かつ大局的に最適な非線形画像マッチングを実現.ちなみに,組み合わせ最適化の枠組みで同じ問題を解こうとしても,NP-Complete問題となり現実的には解けない.

固有変形解析

パターンの変形はランダムではない.ならばその変形の傾向にはどのようなものがあるのか?この問いに答えたのが,非線形な画像マッチングと主成分分析で求めた固有変形.パターンの任意の変形は,この固有変形の線形和で近似可能.

局所特徴を用いた位置同定

人間は,GPSが無くても,以前来た場所であれば,情景画像からそこがどこかわかる.すなわち位置を認識できる.本研究では,局所特徴を用いて画像を断片化した上で位置を認識する.断片化により,情景内に起こり得る様々な変化に頑健になる.

局所特徴を用いた写真内文書の傾き推定

文書画像の傾き補正は,OCRの前処理として重要である.文字行を検出できれば簡単であるが,スライドやポスターなどなど短い文字行ではそれができない.そこで画像の局所毎に事例ベースで回転を推定し,その結果を画像全体で統合する方法を採る.

大局的観測と局所的観測の統合による複数人物の無矛盾な位置同定

各人に装着したカメラと全体を俯瞰するカメラからの情報を組み合わせ,「この映像を映している人はどこにいるのか」を推定する.一種の「一人称ビジョン」問題.最適一対一マッチング問題として定式化できる点が,解決の鍵.

カメラプロジェクタシステムによるタッチスクリーンの実現

小型カメラを準備してスクリーンを撮影でするだけで,何の変哲もないスクリーンをタッチパネルにしてしまう技術.スクリーンに写ったウインドウを指先でドラッグして移動できることを実証.