医薬品・医療機器 GxP CSV要件に応える
コンサルティングサービス

NEWS

Follow-up Good Machine Learning Practice (GMLP) Follow-up : GxP/ Good Machine Learning Practice (GMLP)

今回は、GMLP (Good Machine Learning Practice) FDA Guideline (Draft)に関しての続報です。

Public Workshop – Evolving Role of Artificial Intelligence in Radiological Imaging
FEBRUARY 25 – 26, 2020

さて、今回の GMLPのテーマは「Evolving Role of Artificial Intelligence in Radiological Imaging」「放射線画像における人工知能の革新的役割」のテーマで2日間にわたってFDAにて開催されました Workshopの概説です(以下 Agendaご参照ください)。

今回の Workshop参加メンバーを見ますと、規制当局であるFDAのメンバーと、医療機器を使用する医療機関メンバー、さらに機器とソフトウエア(AI/ML)提供側の医療機器メーカとソフトウエアーベンダーも参加しています。

さて、医療機器への AI/ MLの適用にあたり、今回はより具体的な適用医療機器である「放射線画像診断装置」に絞って課題提起・議論が行われています。今後、他の領域の医療機器への AI/ML適用についても引き続き Workshop/などで議論が続けられるものと考えられます。今回のWorkshop Sessionの詳細なプレゼンテーション資料が Reference-1) から参照出来ますので、ご興味ある皆様は一度ご覧いただければと思います。

なお、Newsletter Vol.2 No.1でご紹介した GMLP 記事の一部内容は、本Newsletter にも以下続きで掲載しております。全体は、Vol.2 No.1でご参照ください。

[Agenda]

February 25, 2020, Day 1  
  Welcome Day 1
  Responsible Innovation and Regulation of AI/ML in Radiological Imaging Software
  Emerging Trends in Radiological AI Software – Exploring Benefits and Risks
  Emerging Trends in Radiological AI Software – Discussion Panel
  (Lunch)
  Public Presentations
  Evaluation of AI Software for Radiological Applications 
  Evaluation of AI Software for Radiological Applications- Discussion Panel 
  Conclusion – Day 1 Summary
February 26, 2020, Day 2  
  Welcome Day 2
  Opportunities and Challenges in AI-Enabled Healthcare
  Innovation in AI-Guided Image Acquisition
  (Morning Break)
  AI-Guided Image Acquisition: Clinical and Patient Perspectives
  AI-Guided Image Acquisition – Discussion Panel 
  (Lunch)
  Public Presentations
  Regulation of Imaging Devices Containing AI Software
  Conclusion – Day 2 Summary

Reference-1) :

1) https://www.fda.gov/media/122535/download

2) https://www.fda.gov/medical-devices/workshops-conferences-medical-devices/public-workshop-evolving-role-artificial-intelligence-radiological-imaging-02252020-02262020

3) https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-software-medical-device

1.Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) – Discussion Paper and Request for Feedback

[以下、図解ポイントのみ抜粋し日本語翻訳を転載しました。以下の参照ドキュメント*16)-*23)は Section-8. Referecen-2 page-7-9をご参照ください。]

2.ヘルスケアでのSaMDのリスク判定の定義


図1

3.IV. AI/MLベースのSaMDに対する総合的な製品ライフサイクル規制アプローチ

ことは、AI/MLベースのSaMDにとって、現実世界の使用に適応し、改善する能力のために特に重要である。Pre-Cert TPLCアプローチでは、FDAは特定の企業の品質と組織の優秀性の文化を評価し、自社製品のソフトウェア開発、テスト、パフォーマンスモニタリングの高品質を合理的に保証する。このアプローチは、患者、介護者、医療専門家及び他の使用者が製品の安全性及び品質を保証できるように、組織及び製品のライフサイクルを通して安全性及び有効性の合理的な保証を提供する。このTPLCのアプローチにより、ソフトウェア製品の市場導入前の開発から市場導入後のパフォーマンスまでの評価と監視が可能になり、組織の優れた機能(図2)を継続的に実証できる。

この提案された規制アプローチは、市販前の提出を必要とするAI/MLベースのSaMDにのみ適用され、市販前のレビューを必要としないAI/MLベースのSaMDには適用されない(すなわち、クラスI免除およびクラスII免除)。

図2

4.品質システムとGood Machine Learning Practices(GMLP):

FDAは、すべての医療機器メーカーが、適切な基準や規制に準拠した高品質の製品を開発、提供、ライフサイクルを通じて維持することを目的とした、確立された品質システムを持つことを期待している *19) 。同様に、AI/MLベースのSaMDについては、SaMD開発者が品質と組織の卓越性という文化の卓越した原則を受け入れることを期待する *20) 。
全てのSaMDと同様に、AI/MLに依存する機器は、SaMD: Clinical Evaluation guidance(図3) *21) に記載されているように、分析的及び臨床的なバリデーションを示すことが期待される 。試験デザインを含め、市販前調査の間に安全性と有効性を保証するために必要な特定の種類のデータは、AI/MLの機能、利用者に与えるリスク、およびその使用目的に依存する。
AI/MLアルゴリズムの開発にはデータからの学習が含まれるため、GMLPを具体化するための独自の考慮事項が必要になる。この論文では、GMLPはAI/MLのベストプラクティス(データ管理、特徴抽出、トレーニング、評価など)であり、優れたソフトウェアエンジニアリングの実践や品質システムの実践に似ている。SaMDに適用されるGMLPの考慮事項の例は以下のとおりである。

図3

5.Algorithm Change Protocol(ACPコマンド):

SPSに記載されている予想される種類の修正のリスクを達成し、適切に制御するためにメーカーが用意している特定の方法。ACP (Algorithm Change Protocol)は、修正が目標を達成し、デバイスが修正後も安全かつ有効であるように、従うべきデータと手順を段階的に記述したものである。以下の図4は、ACPのコンポーネントの一般的な概要を示している。これは、「How」であり、アルゴリズムは、安全かつ効果的な状態を保ちながら学習し変更する。

図4

6.確立されたSPSとACPによる最初のレビュー後の修正のためのアプローチ (Approach for modifications after initial review with an established SPS: SaMD Pre-Specifications and ACP: Algorithm Change Protocol):

学習、適応および最適化はAI/MLベースのSaMDに固有のものであり、AI/MLのこれらの能力は、FDAから市場承認を受けた後にSaMDの修正とみなされる。本論文は、製造業者が性能を改善し潜在的に患者ケアを進歩させることを可能にしながらこれらの修正から患者へのリスクを適切に管理するアプローチを提案する。
図5に概説されているように、製造業者は、ソフトウェア修正ガイダンスに概説されているように、患者に対するリスクに基づいて修正を評価することが期待される *23) 。ソフトウエア修正ガイダンスは、リスクベースのアプローチを用いており、製造業者がリスク評価を実施し、リスクが合理的に軽減されたと評価することを期待している。変更の種類に応じて、現行のソフトウェア変更ガイダンスは、1) 市販前レビューのための新たな510 (k) の提出、または2) リスク管理における変更および分析の文書化、および510 (k) ファイルのいずれかの結果となる。SPSおよびACPが承認されたAI/MLのSaMDで、修正がSPSおよびACPの範囲内である場合、この提案された枠組みは、製造業者がソフトウェア修正ガイダンスで概説されている「文書」アプローチと同様に、変更履歴およびその他の適切な記録の変更を文書化し、参照用にファイルすることを示唆している。

図5

7.Reference

[*1) – *29)] for Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) – Discussion Paper and Request for Feedback

1 Software as a Medical Device (SaMD): Key Definitions: http://www.imdrf.org/docs/imdrf/final/technical/imdrf-tech-131209-samd-key-definitions-140901.pdf

2 Pre-Cert Program Version 1.0 Working Model: https://www.fda.gov/downloads/MedicalDevices/DigitalHealth/DigitalHealthPreCertProgram/UCM629276.pdf

3 Software as a Medical Device (SaMD): Clinical Evaluation: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm524904.pdf

4 Deciding When to Submit a 510(k) for a Software Change to an Existing Device: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm514737.pdf

5 21 CFR 807.81(a)(3). Modifications to a device approved through a PMA are governed by the criteria in 21 CFR 814.39(a). Modifications to Devices Subject to Premarket Approval (PMA) – The PMA Supplement Decision-Making Process: https://www.fda.gov/downloads/MedicalDevices/DeviceRegulationandGuidance/GuidanceDocuments/UCM089360.pdf

6 21 CFR 807.81(a)(3).

7 We define a “locked” algorithm as an algorithm that provides the same result each time the same input is applied to it and does not change with use. Examples of locked algorithms are static look-up tables, decision trees, and complex classifiers.

8 Deciding When to Submit a 510(k) for a Software Change to an Existing Device: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm514737.pdf

9 Developing a Software Precertification Program: A Working Model; v1.0 – January 2019: https://www.fda.gov/downloads/MedicalDevices/DigitalHealth/DigitalHealthPreCertProgram/UCM629276.pdf

10 http://jmc.stanford.edu/articles/whatisai/whatisai.pdf

11 Software as a Medical Device (SaMD): Possible Framework for Risk Categorization and Corresponding Considerations: http://www.imdrf.org/docs/imdrf/final/technical/imdrf-tech-140918-samd-framework-risk-categorization-141013.pdf

12 Information that may be used to describe intended use for FDA purposes is set forth in 21 CFR 807.92(a)(5), 814.20(b)(3), and 860.7(b), and could be written using terminology as described in the IMDRF risk categorization framework.

13 Deciding When to Submit a 510(k) for a Software Change to an Existing Device: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm514737.pdf

14 Software as a Medical Device (SaMD): Clinical Evaluation: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm524904.pdf

15 In this document, “modifications related to intended use” refers to changes within the parameters of the cleared/approved intended use as defined in the classification regulation or FDA approval or authorization.

16 Developing a Software Precertification Program: A Working Model; v1.0 – January 2019: https://www.fda.gov/downloads/MedicalDevices/DigitalHealth/DigitalHealthPreCertProgram/UCM629276.pdf

17 21 CFR Part 807 Subpart E or 21 CFR Part 814 Subpart B.

18 Deciding When to Submit a 510(k) for a Software Change to an Existing Device: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm514737.pdf

19 21 CFR Part 820.

20 See the discussion in Developing a Software Precertification Program: A Working Model; v1.0 – January 2019: https://www.fda.gov/downloads/MedicalDevices/DigitalHealth/DigitalHealthPreCertProgram/UCM629276.pdf

21 Software as a Medical Device (SaMD): Clinical Evaluation: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm524904.pdf

22 CDRH’s Approach to Tumor Profiling Next Generation Sequencing Tests: https://www.fda.gov/downloads/MedicalDevices/ProductsandMedicalProcedures/InVitroDiagnostics/UCM584603.pdf.

23 Deciding When to Submit a 510(k) for a Software Change to an Existing Device: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm514737.pdf

24 21 CFR 807.81(a)(3) or 21 CFR 814.39(a).

25 Requests for Feedback on Medical Device Submissions: The Pre-Submission Program and Meetings with Food and Drug Administration Staff: https://www.fda.gov/MedicalDevices/DeviceRegulationandGuidance/GuidanceDocuments/UCM311176

26 Case for Quality Pilot Activities: https://www.fda.gov/MedicalDevices/DeviceRegulationandGuidance/MedicalDeviceQualityandCompliance/ucm590419.htm

27 Developing a Software Precertification Program: A Working Model; v1.0 – January 2019: https://www.fda.gov/downloads/MedicalDevices/DigitalHealth/DigitalHealthPreCertProgram/UCM629276.pdf

28 New reporting mechanisms for this approach may require additional statutory authority to implement fully

29 Deciding When to Submit a 510(k) for a Software Change to an Existing Device: https://www.fda.gov/downloads/medicaldevices/deviceregulationandguidance/guidancedocuments/ucm514737.pdf