ウミウシ図鑑サイトの裏側で、AI同定チェック機能を作っている話

世界のウミウシというサイトを運営しています。ダイバーのみなさんに投稿してもらった水中写真が45,000枚以上。投稿時にはご自身で種を選んでもらっていますが、似た種が多いウミウシの世界、どうしても同定ミスは起こります。

これを人力で全部チェックするのは不可能なので、AIに手伝ってもらうことにしました。

仕組み

写真をAIモデルに通すと、その画像の「特徴ベクトル」が得られます。768個の数値の列で、いわば写真の指紋のようなものです。

見た目が似ている写真は、この指紋も似たものになります。これを利用して、ある写真に対して「データベースの中で一番似ている写真はどれ？」を検索できます。

たとえばこの写真で類似検索をかけると、見た目が似ている写真がずらっと並びます。それぞれの写真には投稿者が登録した種名がついているので、「上位に出てくる写真がどの種か」を集計すれば、この写真が何の種なのかをAIなりに推定できるわけです。

同定チェックへの応用

これを種の単位で一括実行するのが今回作った「同定チェック」機能です。

精度は種によってばらつきがある

ある種に登録されている投稿写真を1枚ずつ類似検索にかけて、上位に出てくる写真を種ごとに集計します。もし「この写真はAという種に登録されているのに、似ている写真はBという種のものばかり」という結果が出たら、同定が間違っている可能性があります。

管理画面のボタンひとつで、種に紐づく全写真をまとめてチェック。疑わしい写真にはサムネイルと推定種名が表示され、そのまま編集画面に飛べるようにしてあります。

まだまだこれから

正直なところ、精度はまだ発展途上です。同じ種でも撮影条件によって「似ていない」と判定されたり、違う種なのに背景が似ているだけで「似ている」と出てしまったり。

いまはモデルの選定や、図鑑のタイプ標本写真を正解データとして活用する方法を試行錯誤しているところです。うまくいったらまた報告します。