IBM Watsonを使って画像で検索できるWEBサービス「sherlock」を企画・開発しました

IBM watsonを使って画像を使って検索できるWEBサービス「Sherlock」を企画・開発しました。

 

f:id:skylandvc:20160921152909p:plain

 

週末のハッカソン的なプロジェクトとして「Sherlock」と言うサイトを企画・開発しました。企画案は僕ですが、開発は起業準備中のエンジニアの@pyonnukaさんです。

 

ベンチャーキャピタリストの仕事をしていて、人工知能を使いサービスを作ることで実際に盛り上がっているバズワードがどれくらいの新しい産業の機会を生み出すのか、影響を与えるのかを検証したかったため「Sherlock」というWEBサービスを創りました。

 

 

プロジェクトの背景

SkylandVenturesでは不定期でハッカソンを行っており、"人工知能"をテーマとして1dayで作れるプロダクトを作ろうというコンセプトでスタートしました。

・事業を考える上で課題とサービスの実現性を考慮しながら考慮しました。

課題:

インスタを見ている時にそこに写っている"もの"の情報がわからない。(ヒアリングした際に見つけた課題)

 

使うツール:

人工知能の中での画像認識系のAPI(その他サービスより精度が高いと考えた。)


仮説:

モバイルの普及が進み動画や写真などの1視野(パッと見たときの1画面における情報量)の情報濃度が上がってきており、テキストベースではなく、動画や写真などのコンテンツが普及している。

動画や写真などのコンテンツではテキストが省かれている場合があり、そのものに関する情報をより知りたい時に知れる方法がない。

 

例)

                 f:id:skylandvc:20160922133335j:plain 

         f:id:skylandvc:20160922133333j:plain

上記の画像内のものがどこで売っているか知りたい、買いたいなど
 
 
ということで1日でできる画像を学習させる量などを考えて、東京都内で運営されている店舗のフレンチトーストの画像を集めて学習させ、フレンチトーストの画像情報のみでどこのお店に行けば食べられるかを教えてくれるサービス”Sherlock"を作りました。
 
 

f:id:skylandvc:20160922140017j:plain

 

・ワトソンを使っているからシャーロック
・なんでも探し当ててくれるからホームズ
というイメージを持って名前をつけました。
 
 
過程
1,都内のフレンチトーストを売っているお店をひたすらリストアップ
2,画像をひたすら取得(*今回は27店舗×20枚読み込ませました)
3,Watsonに読みこませる
(*本来は、1枚の画像につき約100枚読み込ませなければいけません)
4外側のサービスの表面を作る
 
結果
約50%の確率で正解を出しました。(事前に読み込んでいた店舗の場合)

f:id:skylandvc:20160922141352p:plain

 
結論:
今回は1dayハッカソンだったため画像認識の精度向上に対して使える時間があまりなかったのですが、コンテンツからコンテンツを検索する(写真と同じものを購入、同じようなものを検索してくる)などピンタレストだと画像検索機能が充実していますが、このようなコンテンツtoコンテンツの検索の未来はあるのではないかと感じることができました。
 
 
追記
サービスをローンチした次の日くらいに下記の記事が出ていました。