医薬品・医療機器 GxP CSV要件に応える
コンサルティングサービス

NEWS

GxP/ Good Machine Learning Practice (GMLP)GxP/ Good Machine Learning Practice (GMLP)

新年明けましておめでとうございます。Happy New Year! 2020年最初の Newsletter Vol.2 No.1をお届けいたします。

New GxP? -> GMLP: Good Machine Learning Practice (?!)
GMLP for AI (Artificial Intelligence) and ML (Machine Learning)-based SaMD (Software as a Medical Device)
[GMLP for AI and ML-based SaMD]
FDAによるAI-MLベースのソフトウエアを実装した医療機器における (GMLP)フレームワークへの提言(案)

I] 本年最初の Newsletterのテーマは、AI/MLを実装した医療機器の品質保証とバリデーションをどのようにして実施すべきかの、ガイドライン作成についての FDAからの提案についてのご紹介です。

AI (Artificial Intelligence) and ML (Machine Learning)は、現在すべての産業や製品及びサービスで急速に進展してきています。もちろん、医療や製薬業界においても事例や製品・医薬品開発への適用がされている状況の中で、特に規制当局ではAI-MLが実装された製品やサービスに対して、レギュレーションやCSVのパラダイムシフトが必要であると考え始めています。一時期のAIブーム(加熱?)が冷め、ここ数年は、実際にAI/MLの適用で効果がある分野や具体的な製品が提供されてきています、このような変革の中で、規制当局による新たな AI/ML Guideline発出の動きに着目する必要が出てきています。

さてこのような背景・動向から、GVPの分野ではAI,ML,NLP and Rule-base技術を利用した PV Systemの報告や製品が発表されてきており、早晩 GVP CSVでの AI-ML Validationにどのように対応すべきか?が議論され始めることになると考えます。今回は、このような最近の AI-MLの適用動向の中で、具体的な一例として 「AI-MLベースのソフトウエアを実装した医療機器(SaMD)」に対する FDAからの提案論文 *1 についてサマリーをご紹介致します。本提案では、FDAがAIを適用した医療機器(例:(1) 集中治療室 ICU SaMD: Intensive Care Unit (ICU) SaMD、(2) 皮膚病変判別モバイル医療アプリ : Skin Lesion Mobile Medical App (MMA) and (3) チューブ誤挿入検知レントゲン読影SaMD (X-Ray Feeding Tube Misplacement SaMD) についての課題と新しいレギュレーションの考え方を提案して、それに対して公開コメントを求めています。今後、これを嚆矢にして、規制当局から他のレギュレーション分野でも同等・同様の提案が続くものと思われます。従って、本FDAの提言の概要と方向性知ることが、2020年のPV Domainでの重要なテーマになると考えましたので、新年最初のNewsletterのテーマとしました。 (please see Section-7. Reference-1 on page-6)

*1: https://www.fda.gov/media/122535/download

https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-software-medical-device

1.Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) – Discussion Paper and Request for Feedback

[以下、図解ポイントのみ抜粋し日本語翻訳を転載しました。以下の参照ドキュメント*16)-*23)は Section-8. Referecen-2 page-7-9をご参照ください。]

2.ヘルスケアでのSaMDのリスク判定の定義


図1

3.IV. AI/MLベースのSaMDに対する総合的な製品ライフサイクル規制アプローチ


ことは、AI/MLベースのSaMDにとって、現実世界の使用に適応し、改善する能力のために特に重要である。Pre-Cert TPLCアプローチでは、FDAは特定の企業の品質と組織の優秀性の文化を評価し、自社製品のソフトウェア開発、テスト、パフォーマンスモニタリングの高品質を合理的に保証する。このアプローチは、患者、介護者、医療専門家及び他の使用者が製品の安全性及び品質を保証できるように、組織及び製品のライフサイクルを通して安全性及び有効性の合理的な保証を提供する。このTPLCのアプローチにより、ソフトウェア製品の市場導入前の開発から市場導入後のパフォーマンスまでの評価と監視が可能になり、組織の優れた機能(図2)を継続的に実証できる。

この提案された規制アプローチは、市販前の提出を必要とするAI/MLベースのSaMDにのみ適用され、市販前のレビューを必要としないAI/MLベースのSaMDには適用されない(すなわち、クラスI免除およびクラスII免除)。

図2

4.品質システムとGood Machine Learning Practices(GMLP):

FDAは、すべての医療機器メーカーが、適切な基準や規制に準拠した高品質の製品を開発、提供、ライフサイクルを通じて維持することを目的とした、確立された品質システムを持つことを期待している *19) 。同様に、AI/MLベースのSaMDについては、SaMD開発者が品質と組織の卓越性という文化の卓越した原則を受け入れることを期待する *20) 。
全てのSaMDと同様に、AI/MLに依存する機器は、SaMD: Clinical Evaluation guidance(図3) *21) に記載されているように、分析的及び臨床的なバリデーションを示すことが期待される 。試験デザインを含め、市販前調査の間に安全性と有効性を保証するために必要な特定の種類のデータは、AI/MLの機能、利用者に与えるリスク、およびその使用目的に依存する。
AI/MLアルゴリズムの開発にはデータからの学習が含まれるため、GMLPを具体化するための独自の考慮事項が必要になる。この論文では、GMLPはAI/MLのベストプラクティス(データ管理、特徴抽出、トレーニング、評価など)であり、優れたソフトウェアエンジニアリングの実践や品質システムの実践に似ている。SaMDに適用されるGMLPの考慮事項の例は以下のとおりである。

図3

5.Algorithm Change Protocol(ACPコマンド):


SPSに記載されている予想される種類の修正のリスクを達成し、適切に制御するためにメーカーが用意している特定の方法。ACP (Algorithm Change Protocol)は、修正が目標を達成し、デバイスが修正後も安全かつ有効であるように、従うべきデータと手順を段階的に記述したものである。以下の図4は、ACPのコンポーネントの一般的な概要を示している。これは、「How」であり、アルゴリズムは、安全かつ効果的な状態を保ちながら学習し変更する。

図4

6.確立されたSPSとACPによる最初のレビュー後の修正のためのアプローチ (Approach for modifications after initial review with an established SPS: SaMD Pre-Specifications and ACP: Algorithm Change Protocol):


学習、適応および最適化はAI/MLベースのSaMDに固有のものであり、AI/MLのこれらの能力は、FDAから市場承認を受けた後にSaMDの修正とみなされる。本論文は、製造業者が性能を改善し潜在的に患者ケアを進歩させることを可能にしながらこれらの修正から患者へのリスクを適切に管理するアプローチを提案する。
図5に概説されているように、製造業者は、ソフトウェア修正ガイダンスに概説されているように、患者に対するリスクに基づいて修正を評価することが期待される *23) 。ソフトウエア修正ガイダンスは、リスクベースのアプローチを用いており、製造業者がリスク評価を実施し、リスクが合理的に軽減されたと評価することを期待している。変更の種類に応じて、現行のソフトウェア変更ガイダンスは、1) 市販前レビューのための新たな510 (k) の提出、または2) リスク管理における変更および分析の文書化、および510 (k) ファイルのいずれかの結果となる。SPSおよびACPが承認されたAI/MLのSaMDで、修正がSPSおよびACPの範囲内である場合、この提案された枠組みは、製造業者がソフトウェア修正ガイダンスで概説されている「文書」アプローチと同様に、変更履歴およびその他の適切な記録の変更を文書化し、参照用にファイルすることを示唆している。

図5

7.Reference

[*1) – *29)] for Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) – Discussion Paper and Request for Feedback

1 Software as a Medical Device (SaMD): Key Definitions: http://www.imdrf.org/docs/imdrf/final/technical/imdrf-tech-131209-samd-key-definitions-140901.pdf

2 Pre-Cert Program Version 1.0 Working Model: https://www.fda.gov/downloads/MedicalDevices/DigitalHealth/DigitalHealthPreCertProgram/UCM629276.pdf

3 Software as a Medical Device (SaMD): Clinical Evaluation: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm524904.pdf


4 Deciding When to Submit a 510(k) for a Software Change to an Existing Device: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm514737.pdf

5 21 CFR 807.81(a)(3). Modifications to a device approved through a PMA are governed by the criteria in 21 CFR 814.39(a). Modifications to Devices Subject to Premarket Approval (PMA) – The PMA Supplement Decision-Making Process: https://www.fda.gov/downloads/MedicalDevices/DeviceRegulationandGuidance/GuidanceDocuments/UCM089360.pdf

6 21 CFR 807.81(a)(3).

7 We define a “locked” algorithm as an algorithm that provides the same result each time the same input is applied to it and does not change with use. Examples of locked algorithms are static look-up tables, decision trees, and complex classifiers.


8 Deciding When to Submit a 510(k) for a Software Change to an Existing Device: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm514737.pdf

9 Developing a Software Precertification Program: A Working Model; v1.0 – January 2019: https://www.fda.gov/downloads/MedicalDevices/DigitalHealth/DigitalHealthPreCertProgram/UCM629276.pdf

10 http://jmc.stanford.edu/articles/whatisai/whatisai.pdf


11 Software as a Medical Device (SaMD): Possible Framework for Risk Categorization and Corresponding Considerations: http://www.imdrf.org/docs/imdrf/final/technical/imdrf-tech-140918-samd-framework-risk-categorization-141013.pdf

12 Information that may be used to describe intended use for FDA purposes is set forth in 21 CFR 807.92(a)(5), 814.20(b)(3), and 860.7(b), and could be written using terminology as described in the IMDRF risk categorization framework.

13 Deciding When to Submit a 510(k) for a Software Change to an Existing Device: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm514737.pdf


14 Software as a Medical Device (SaMD): Clinical Evaluation: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm524904.pdf

15 In this document, “modifications related to intended use” refers to changes within the parameters of the cleared/approved intended use as defined in the classification regulation or FDA approval or authorization.

16 Developing a Software Precertification Program: A Working Model; v1.0 – January 2019: https://www.fda.gov/downloads/MedicalDevices/DigitalHealth/DigitalHealthPreCertProgram/UCM629276.pdf


17 21 CFR Part 807 Subpart E or 21 CFR Part 814 Subpart B.

18 Deciding When to Submit a 510(k) for a Software Change to an Existing Device: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm514737.pdf

19 21 CFR Part 820.


20 See the discussion in Developing a Software Precertification Program: A Working Model; v1.0 – January 2019: https://www.fda.gov/downloads/MedicalDevices/DigitalHealth/DigitalHealthPreCertProgram/UCM629276.pdf

21 Software as a Medical Device (SaMD): Clinical Evaluation: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm524904.pdf

22 CDRH’s Approach to Tumor Profiling Next Generation Sequencing Tests: https://www.fda.gov/downloads/MedicalDevices/ProductsandMedicalProcedures/InVitroDiagnostics/UCM584603.pdf.


23 Deciding When to Submit a 510(k) for a Software Change to an Existing Device: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm514737.pdf

24 21 CFR 807.81(a)(3) or 21 CFR 814.39(a).


25 Requests for Feedback on Medical Device Submissions: The Pre-Submission Program and Meetings with Food and Drug Administration Staff: https://www.fda.gov/MedicalDevices/DeviceRegulationandGuidance/GuidanceDocuments/UCM311176

26 Case for Quality Pilot Activities: https://www.fda.gov/MedicalDevices/DeviceRegulationandGuidance/MedicalDeviceQualityandCompliance/ucm590419.htm


27 Developing a Software Precertification Program: A Working Model; v1.0 – January 2019: https://www.fda.gov/downloads/MedicalDevices/DigitalHealth/DigitalHealthPreCertProgram/UCM629276.pdf

28 New reporting mechanisms for this approach may require additional statutory authority to implement fully


29 Deciding When to Submit a 510(k) for a Software Change to an Existing Device: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm514737.pdf