少量の画像データに対するアノテーションとモデルの開発事例
株式会社ヴァージニア様
課題／お問い合わせ背景
美容クリニックに提供しているクラウド業務支援システム「SMARTCRM」に将来的に診断支援AIを搭載したい
医師の経験差分によって生じている診断差分をサポートできるようなAIのPoC（技術検証）を行いたい
以前自社開発にトライをしたが、実用に足る精度を出すことができなかった
ポイント
実際のカウンセリングフローに則った要件定義 診断支援AIを活用する実際のカウンセリングフローを前提としたAIの要件定義を行うことで、単に「精度の高い」AIではなく「現場で必要とされる」AIの構築を実現。 | アノテーション作業の再実行による精度改善 専門家の目検でも判断が分かれる診断を適切にAIに学習させるために、ヒアリングを重ねてアノテーション基準を整えることで、データ量を増やすことなく精度改善に成功。 | 目的や必要な結果を出すために適切な手法をご提案 エンジニア同席のもと、必要な結果のために最も適切な手法を技術的な観点からご提案。当初ご要望とは異なる手法で開発するに至ったが、より良い結果に繋がった。 |
事例の詳細
①ヒアリング／実現可能性の検証
既にヴァージニア様の方で検証されていたこともあり、営業段階では「実現可能性」を気にされていました。
可能な限り実現可能性の提示を行うためにエンジニアも参加し、先行研究の提示や技術的な説明をわかりやすくさせていただきました。
案件が始まってからも、実現可能性や利便性を考慮するためにヒアリングを丁寧に実施し要件定義を行いました。
ヒアリング内容（一例）
自社開発のトライ（Tensorflowを用いた検証）で何が上手くいかなかったのか
今回のご依頼でどのような結果を期待されているか
「診断差分」は具体的にどんな差分が起きてしまっているのか
医師が目検判断をする際の基準
美容クリニックにおける施術やコンサルティングフローの確認
実現可能性の検証
ご提案段階からエンジニアも同席させていただき、先行研究などの調査結果に基づく技術的な観点からの実現可能性に関するディスカッションを行った
②アノテーション・AI開発
肌状態の良し悪しを判断するAIをつくるため、患者様の肌を撮影した画像に対するアノテーションを実行しました。AI開発に利用可能な画像データ量が少なかったため1枚1枚のアノテーション結果がモデルに与える影響が大きく、ぶれが少なく精度の高いアノテーションを実行する必要がありました。
1度の作業では十分な精度に満たなかったため、2度のアノテーション作業を経て改善。
Hakkyにとってもアノテーションマニュアルの重要性を再認識するプロジェクトとなりました。
アノテーション1回目
普段目視で行っているのと同じように、医師にてアノテーションを実施
確認作業の結果、同じ画像でも判断にぶれが生じていることが判明 →この判断のぶれがモデル精度に大きく影響を与えていることが明らかに
アノテーション2回目
アノテーション基準の明確化 →非医師が見ても同じ判断ができるような基準を再定義
モデル挙動を確認しながら、Hakkyのデータサイエンティストがアノテーション作業を実行
Hakky Handbook: ”アノテーションとは”
Hakky Handbook "データ中心的なモデル開発"
③レポーティング
SMARTCRMでの将来的な機能化はヴァージニア様の社内エンジニアにて対応を行うため、Hakkyからは完成AIモデル（Pythonコード）と最終報告書の2点を納品しました。
レポート例
 |  |
ヒアリング時に伺った施術・カウンセリングのシーンにどう組み込むとよさそうか、ヴァージニア様にて機能開発をする際の参考要件としてご提案 | 実装したロジックの説明や精度報告だけでなく、改善余地のある箇所についてはHakkyからの改善案として方向性を分析・レポート |
今後の展望
今回の検証結果を元に、将来的な機能としての提供を実施していき、より精度を改善していくためにデータを収集していくことになりました。
開発時の課題としてデータ量が少ないことが挙がっていたため、社内検証を続けながら今後の精度改善のためのデータ収集を進める
検証の中で新しい課題が見えてきたり、思うような使用感になっていないことが見えてきたタイミングで、追加収集したデータを含め再度アノテーションやロジックの改善を行う想定
編集後記
AIを作りたいけれどデータ量が限られている、というのはよくあるケースですが、今回はそれに加えて判断に迷う内容を基準化する必要があったため、Hakkyにとっても改めてアノテーションの専門性を再認識させられた、非常に興味深い案件となりました。
ヴァージニア様では本件に限らず美容に関するAI活用案を多数お餅とのことで、本AIの検証が落ち着いたタイミングでディスカッションを再開させていただく予定になっております。
Hakkyは、AIによって自社のプロダクト・サービスの価値向上を目指す企業様を最大限ご支援できるよう努めてまいります。
株式会社ヴァージニア様ご紹介
「美に関する悩みのない社会を創る」をミッションに掲げ、美容医療業界に特化した唯一無二のマーケティングソリューションを提供しております。美容医療コンサルティングやSaaS、EC事業を主として、美容業界に対して付加価値の高いサービスを提供しております。
