AI-PV Vendor Case StudyをMAHはどう読み解くべきか　― BMS / ArisGlobal NavaX事例から考えるAI-PV信頼性保証とHuman Oversight ―

「予告編」

AIの活用は、社会のさまざまな領域で急速に進んでいます。一方、医薬品産業、特にGxPの現場では、

-「まずは様子を見よう」
-「規制当局の方向性を確認してから」
– 「AIを使っても、最後は人間が確認すればよい」

という段階に、まだ留まっているケースも少なくないように感じます。しかし、AIをGxP業務に導入するとき、本当に「最後は人間が確認します」　だけで十分なのでしょうか？

AIと人間の関係には、いくつかの異なる設計があります。

■ HITL：Human-in-the-Loop
AIの処理・判断に、人間が直接関与する。

■ HOTL：Human-on-the-Loop
AIは一定範囲で自律的に処理し、人間は監視し、必要な場合に介入する。

■ HIC：Human-in-command
AIを「何に使うか」「どこまで任せるか」「いつ止めるか」を、人間が決定する。

■ HOOTL：Human-out-of-the-Loop
個々の処理について、人間がLoopから外れる。

これらは、一見すると、単なるAI用語の違いに見えるかもしれません。しかし、GxPでAIを利用する場合には、

「AIに何をさせるか」だけではなく、「人間をどこに、どのような役割で残すのか」

が重要な設計課題になります。

例えばPV: Pharmacovigilanceでは、

AE情報抽出、Case Triage、MedDRA Coding、Duplicate Detection、重篤性評価、因果関係評価、Literature Screening、Signal Detection、Regulatory Reportingなど、AI活用を検討できる業務は数多くあります。

しかし、そのすべてに同じHuman Oversightを適用すればよいのでしょうか？

高リスクの医学的判断までHOTLにできるのか？反対に、低リスク・大量処理まで全件HITLにすると、「AIを導入したのに、人間の確認作業だけが大量に残る」ことにならないでしょうか？

そして、「人間が確認している」＝「安全性・品質が保証されている」と言えるのでしょうか？

今回から全6話で、AI-PVを具体例として、AI + Human の新しい業務フォーメーションについて、できるだけ初歩から考えてみたいと思います。

【全6話】　第1話　HITL ― 人間が全件確認すれば安心なのか？
　　　　　第2話　HOTL ― 人間は「作業者」から「監視者」へ
　　　　　第3話　HIC ―　AIを使う・止めるのは誰か？
　　　　　第4話　HOOTL ― GxPで人間をLoopから外せるのか？
　　　　　第5話　AI-PV業務をHITL/HOTL/HOOTLでどう組み合わせるか？
　　　　　第6話　PVからGMP/GCP/GDPへ ― GxP Human Oversightをどう設計するか？

このシリーズで考えたいのは、「HITLとHOTLのどちらが正しいか？」　ではありません。AIのUse Case、患者安全への影響、GxPリスク、AIの性能・成熟度に応じて、人間の判断、監視、介入、そして最終的な権限を、どこに配置するのか。AIをGxPへ適用するのであれば、避けて通れないテーマだと考えています。

次回、第1話は、「HITL ― AIの出力を人間が全件確認すれば、本当に安心なのか？」から始めます。

#ArtificialIntelligence #HumanOversight #HITL #HOTL #HumanInCommand #HOOTL #Pharmacovigilance #AIinPV #GxP #GMP #GCP #GDP #PatientSafety #AIGovernance

━━━━━━━━━━━━━━━━━━

【第1話｜HITL ― 人間が全件確認すれば安心なのか？】

AI-PVで最も理解しやすいHuman Oversightが、HITL：Human-in-the-Loopです。

　- AIがAE情報を抽出する。
　- AIがMedDRA Termを提案する。
　- AIが重篤性や報告要否を提案する。

そして、人間が確認し、最終判断してから確定する。これが典型的なHITLです。患者安全や規制報告に大きく影響する高リスク業務では、現在も非常に重要な考え方です。

しかし、一つ注意が必要です。「人間が確認する」こと自体が、品質保証ではありません。

毎日数件なら慎重に確認できても、AIが何千件もの結果を出し、人間がそのすべてにApproveを押す運用になったらどうでしょうか？

Automation Bias, Review Fatigue and Rubber-stamping。

人間がLoopの中に存在していても、実質的な判断を行っていなければ、Human Oversightは形骸化します。重要なのは、「人がいるか？」ではなく、「人がAIの出力を理解し、疑い、修正し、拒否できるか？」ではないでしょうか。

AI-PVでは、医学的判断、重要なSafety Assessment、規制上重要なDecisionなど、HITLが適切な領域は今後も残ります。

しかし、すべてをHITLにすることが、最も安全で最も適切なのか？これは別の問題です。AIの処理量が増えるほど、Human Oversightそのものの設計が必要になります。

次回は、HOTL：Human-on-the-Loop

人間が「作業者」から「監視者」になるとはどういうことかを考えます。

#ArtificialIntelligence #HumanOversight #HITL #Pharmacovigilance #AIinPV #PatientSafety #GxP #AIGovernance

━━━━━━━━━━━━━━━━━━
【第2話｜HOTL ― 人間は「作業者」から「監視者」へ】

AI活用の本当の効果を得ようとすると、「AIが処理した結果を、全部人間がもう一度確認する」というHITLだけでは限界が出てきます。

そこで登場するのが、HOTL：Human-on-the-Loopです。

HOTLでは、AIは定められた範囲内で処理を進めます。人間は個々のTransactionすべてに参加するのではなく、システムを監視し、必要な場合に介入する。

例えばAI-PVなら、

　・Confidence Scoreが基準以下
　・原資料との矛盾を検出
　・重篤症例
　・未知または重要なSafety Issue
　・通常とは異なるCase Pattern
　・AI Performanceの低下やDrift

などを検出した場合に、人間へEscalationする。つまり、Human approval by default　から、Human intervention by exception　への変化です。

ここでは、人間の役割そのものも変わります。「AIと同じ作業をもう一度行う人」から、「AIが正常に機能し続けているかを監視し、異常時に判断・介入する人」へ。

ただし、HOTLには重要な前提があります。何を異常とするのか？　Confidence Thresholdはいくつにするのか？誰へAlertするのか？どの条件で処理をStopするのか？どの状態になったらHOTLを停止し、HITLへ戻すのか？

これらが明確に設計されていなければ、HOTLは単なる「人間の確認を減らした自動化」になってしまいます。そして、もう一つ重要な点があります。HOTLにすると、記録や証拠が不要になるわけではありません。

HITLでは、「誰が、いつ、Approveしたか」というHuman Reviewの記録が中心になります。

一方、HOTLでは、

　・どのThresholdが使用されたか
　・Monitoring機能が正常に稼働していたか
　・Alert / Stop条件が適切に監視されていたか
　・Exceptionが発生した場合、誰にEscalationされたか
　・Overrideや再処理が適切に記録されたか
　・AI PerformanceやDriftが継続的に監視されていたか

といった、System-generated Evidenceがより重要になります。つまり、Less Human Review ≠ Less Controlです。人間の署名が減る代わりに、「監視が本当に機能していたこと」を示す証拠が必要になります。

HOTLとは、人間を減らす仕組みではなく、人間の役割と、残すべき証拠の種類を変える仕組みと考える方が適切だと思います。

次回は、HITL/HOTLとは少し違う視点、Human-in-command　について考えます。AIを「監視して止める」ことと、AIそのものを「使う・変える・止める権限を持つ」ことは、同じなのでしょうか？

#ArtificialIntelligence #HumanOversight #HOTL #HITL #Pharmacovigilance #AIinPV #GxP #AIGovernance #PatientSafety #DataIntegrity

━━━━━━━━━━━━━━━━━━

【第3話｜Human-in-command ― AIを使う・止めるのは誰か？】

HITLとHOTLを説明すると、「ではHuman-in-commandは、その次の段階ですか？」と思われるかもしれません。

しかし、少し違います。

Human-in-commandは、HITL/HOTLと同じ一直線上にある第3段階ではなく、その上にあるGovernanceの考え方として見る方が分かりやすい。

ここで、HOTLとの違いを整理してみます。HOTLでも、人間にはAI処理を止めたり、Overrideしたりする権限が必要です。例えば、「ConfidenceがThresholdを下回った」、「異常なCase Patternを検知した」、「重大なExceptionが発生した」ため、その処理を人間が停止する。

これは、Operational Stopです。

個々のProcessやTransactionに対して、監視者がリアルタイムに介入する。これがHOTLの重要な役割です。一方、Human-in-commandが扱うのは、もう一段上の判断です。

例えば、

　・このAIを本番業務で使い続けてよいか
　・どのPV業務までAIに任せるか
　・Confidence Thresholdそのものを変更してよいか
　・Model Updateを承認するか
　・適用対象を拡大するか
　・HOTL運用をHITLへ戻すか
　・重大なPerformance Driftが発生したためAI System自体を停止するか

といった判断です。

これは、Governance-level Stop / Governance Decisionと考えることができます。つまり、HOTL：異常が発生した個々の処理を止めるのに対して、Human-in-command：AIをどのように使うか、その運用方式そのものを決めるという違いです。

例えばAI-PVでCase TriageをHOTL運用していたとしても、AI自身が、

　「今日からConfidence Thresholdを下げます」

　「対象Caseを増やします」

　「性能が低下していますが、そのまま運用します」

と決めるわけではありません。

そこには、PV、Safety Physician、QA、IT、System Ownerなど、責任と権限を持つ人間側のGovernanceが必要になります。Human-in-commandとは、「人間が毎件確認する」という意味ではありません。

AIを何に使い、どこまで任せ、どの条件で変更・停止するかについて、最終的なCommand Authorityを人間が保持すること。

　個々のProcessがHITLであってもHOTLであっても、誰が責任を持つのか。誰がOverrideできるのか。誰が適用範囲を変更できるのか。誰がModel Changeを承認できるのか。

そして、誰がAIそのものをStopできるのか。GxP AIでは、“Who is in command?”　を明確にすることが、AI Performanceそのものと同じくらい重要になると思います。

そして、この考え方は次回のHOOTLにもつながります。個々のTaskから人間を外したとしても、Governanceまで人間を外してよいわけではありません。

次回は、HOOTL：Human-out-of-the-Loop　人間が個々の処理Loopに入り続けることが現実的ではないPV業務について考えてみます。

#ArtificialIntelligence #HumanInCommand #HumanOversight #HOTL #HITL #AIGovernance #Pharmacovigilance #AIinPV #GxP #PatientSafety

━━━━━━━━━━━━━━━━━━

【第4話｜HOOTL ― GxPで人間をLoopから外せるのか？】

　　・HITL：Human-in-the-Loop
　　・HOTL：Human-on-the-Loop
　　・HIC :Human-in-command。

では、HOOTL：Human-out-of-the-Loop　はどうでしょうか？

HOOTLというと、「AIにPV業務を全部任せて、人間は何もしない」というイメージを持たれるかもしれません。しかし、実際のPVでは少し違った見方が必要です。例えば、Duplicate Detectionを考えてみます。

Safety Databaseに新しい症例が入るたびに、「この症例は過去のどの症例とDuplicateの可能性があるか？」を、過去の数万・数十万件の症例とを人間が1件ずつ比較することは現実的ではありません。

ここではAI/Algorithmが、

　・Database全体を検索する
　・Duplicate候補Pairを絞り込む
　・Similarity Scoreを計算する
　・候補Groupを生成する

といった処理を、人間の個別介入なしに実行する必要があります。つまり、このTaskは、HOOTLにせざるを得ない領域と考えることができます。

しかし、その後、「本当にDuplicateなのか？」、「どの症例をReference/Master Caseとするのか？」という重要な判断には、人間が関与する。

例えば、

　・Database Search / Similarity Calculation → HOOTL
　・Candidate Monitoring / Exception Handling → HOTL
　・重要な最終判断 → HITL

というHybrid構成です。

Signal Detectionも同様です。膨大なSafety Databaseについて、Drug × Eventの組合せを継続的に計算し、Disproportionality、Trend、異常Patternを探索する。これも、すべての組合せに人間が毎回介入することはできません。したがって、Database-wide Screening / Statistical Calculation → HOOTL　として機械が処理し、一定の基準を超えたものを人間へAlertする。その後、Signal Review / Evaluation → HOTLまたはHITLへつなげる。

ここで重要なのは、

HOOTL ＝ 人間が不要ではないことです。

人間がLoopから外れるのは、特定のTask / Transactionです。PV Process全体の責任やGovernanceまで人間が外れるわけではありません。むしろ、どのTaskならHOOTLにできるのか？どこからHuman ReviewへEscalationするのか？False Negativeをどう監視するのか？性能が低下したら、いつHOTL/HITLへ戻すのか？を、人間が設計する必要があります。

したがってHOOTLは、“人間を個々のTransaction Loopから意図的に外した自動処理領域”　と考えると理解しやすいと思います。そして、その上位には、Human-in-commandが残ります。

次回は、これまでの4つをまとめて、「実際のAI-PV業務では、HITL / HOTL / HOOTLをどう組み合わせるのか？」を考えてみます。

#ArtificialIntelligence #HOOTL #HumanOversight #HITL #HOTL #HumanInCommand #Pharmacovigilance #AIinPV #SignalDetection #DuplicateDetection #PatientSafety #GxP #AIGovernance

━━━━━━━━━━━━━━━━━━
【第5話｜AI-PV業務をHITL / HOTL / HOOTLでどう組み合わせるか？】

ここまで、

　・HITL：Human in the Loop
　・HOTL：Human on the Loop
　・HIC： Human in command
　・HOOTL：Human out of the Loop

を見てきました。では、実際のPV業務では、どれを選べばよいのでしょうか？私は、「一つを選ぶ」のではなく、「Taskごとに組み合わせる」ことが重要だと考えます。

例えばDuplicate Detectionなら、

　■ 全Database検索・Similarity計算
　　→ HOOTL

　■ Thresholdを超えた候補の監視・Exception Handling
　　→ HOTL

　■ 難しいDuplicateの最終判断
　　→ HITL

　■ Threshold変更、Model Update、適用範囲変更、停止判断
　　→ Human-in-command

という構成が考えられます。一つのPV Processの中に、HOOTL、HOTL、HITL、Human-in-command　がすべて存在するわけです。

同じ考え方は、Case Processingにも使えます。

　・例えば、AIによる情報抽出　→ 条件次第でHOTL

　・Medical Assessment　→ HITL

　・大量のTechnical Validation　→ HOOTL

　・AI Performance Monitoring　→ HOTL

　・Model Change / Suspension Decision　→ Human-in-command

つまり、「当社のAIはHITLです」、「当社はHOTLです」というSystem単位の説明だけでは不十分です。必要なのは、AI Use Case / Task / Decision単位でHuman Oversightを設計すること。

そして、Risk Levelだけではなく、

　・患者安全へのImpact
　・誤りの検出可能性
　・AIの実績Performance
　・Confidence
　・データ品質
　・Fallbackの有無
　・Human Review能力

などを組み合わせて判断する。これが、Risk-based Human Oversightだと思います。さらに重要なのは、この配置を固定しないことです。

導入初期はHITL。性能実績が蓄積すればHOTLへ。逆にDriftや品質低下を検知したらHITLへ戻す。Human Oversightそのものも、Lifecycleを通じて変化させる設計　が必要になります。私は、これをHybrid Human Oversight　として考えると分かりやすいと思います。

次回、最終話ではPVから視野を広げて、この考え方をGMP/GCP/GDPへどう展開するかを考えます。

#ArtificialIntelligence #AIinPV #Pharmacovigilance #HITL #HOTL #HOOTL #HumanOversight #HumanInCommand #RiskBasedApproach #GxP #AIGovernance

━━━━━━━━━━━━━━━━━━
【第6話｜PVからGMP/GCP/GDPへ ― GxP Human Oversightをどう設計するか？】

全6話で、AI-PVを例としてHuman Oversightを考えてきました。最後に、PVから少し視野を広げてみます。

・GMPでは、製造条件最適化、Deviation Analysis、Visual Inspection、Predictive Maintenance、文書作成支援。

・GCPでは、Protocol関連業務、Site Monitoring、Data Review。

・GDPでは、物流監視、Temperature Excursion、Supply Risk Prediction。

対象業務は違っても、基本的な問いは同じです。AIに何を任せ、人間に何を残すのか？すべてをHITLにすれば安全なのでしょうか？AIが大量処理を行っているにもかかわらず、人間が全件を再確認するのであれば、AI導入の効果は限定的です。

一方で、早すぎるHOTL/HOOTLは、患者安全、製品品質、Data Integrity、Complianceのリスクを高める可能性があります。したがって必要なのは、一つの正解を探すことではなく、Risk-based Human Oversightを設計すること。

HITL。HOTL。限定的なHOOTL。そして、その全体を、Human-in-command　でGovernanceする。

この組合せ、Hybrid Human Oversight　が、これからのGxP AIを考える上で重要な基本形になるのではないでしょうか。そしてHuman Oversightは、AI導入後に追加する「最後の確認工程」ではありません。

AI導入の最初の段階から、

　・Risk Assessment
　・User / Business Requirement
　・Validation / Assurance
　・SOP
　・Training
　・Performance Monitoring
　・Change Control
　・Periodic Review

の中に組み込んで設計する必要があります。AIの時代になっても、人間が不要になるわけではありません。むしろ、

　　・人間がどこで判断し、
　　・どこで監視し、
　　・どこで介入し、
　　・誰が最終責任と停止権限を持つのか。

これまで以上に明確にする必要があります。

AI + Human。GxPでAIを使うということは、AIの性能を評価するだけではなく、Human OversightそのものをDesignすることでもあるのではないでしょうか。

今回のシリーズが、PVだけでなく、GMP/GCP/GDPを含め、「これからAIをGxPへどう取り入れるか」を考える一つの入口になればと思います。

#ArtificialIntelligence #HumanOversight #AIGovernance #GxP #GMP #GCP #GDP #Pharmacovigilance #AIinPV #PatientSafety #Quality #RiskBasedApproach

————————————————–(END)—————————————————————-