医疗器械法规、注册、临床、体系认证、信息系统一站式服务
24×7服务热线:0571-86198618 简体中文 ENGLISH
当前位置:网站首页>新闻动态 >人工智能医疗器械注册产品设计开发检查要点举例
人工智能医疗器械注册产品设计开发检查要点举例
发布日期:2024-04-16 14:38浏览次数:133次
人工智能是近年科技及产业界最热话题之一,人工智能的应用已经渗透到生活的许多方面,人工智能医疗器械注册产品也日益增多、日益成熟。考虑到人工智能医疗器械产品的新和特点,本文以示例方式为大家介绍人工智能医疗器械注册产品设计开发检查要点,一起看正文。

人工智能是近年科技及产业界最热话题之一,人工智能的应用已经渗透到生活的许多方面,人工智能医疗器械注册产品也日益增多、日益成熟。考虑到人工智能医疗器械产品的新和特点,本文以示例方式为大家介绍人工智能医疗器械注册产品设计开发检查要点,一起看正文。

人工智能医疗器械注册.jpg

人工智能医疗器械注册产品设计开发检查要点举例

1.算法策划

算法开发策划阶段,应对算法需求、数据收集、算法设计、验证与确认、算法更新、风险管理、可追溯性分析等过程进行算法生命周期策划,输出《算法开发计划书》。

2.算法需求

算法需求分析以用户需求与风险为导向,结合产品的预期用途、使用场景、核心功能,综合分析法律、法规、规章、标准、用户、产品、功能、性能、接口、用户界面、网络安全、警示提示等需求,重点考虑数据收集、算法性能、使用限制等要求。输出《算法需求规范》。

3.数据收集

3.1 数据入选、排除标准

在《算法需求规范》中明确算法数据入选、排除标准。

3.2 数据来源及质控

数据收集应确保数据来源的合规性,数据质控的充分性、有效性、准确性。

3.3数据采集

数据采集需考虑采集设备、采集过程、数据脱敏等质控要求,并建立《数据采集操作规范》。

3.4数据整理

脱敏数据汇总形成原始数据库,不同模态的数据在原始数据库中需加以区分。数据整理基于原始数据库考虑数据清洗、数据预处理的质控要求。输出《数据整理规范》,同时《数据整理规范》中需明确样本类型、样本量、样品分布等信息,数据经整理后形成基础数据库。

3.5 数据标注

3.5.1 数据标注前应建立《数据标注操作规范》,明确标注资源管理、标注过程质控、标注质量评估等要求。数据经标注后形成标注数据库。

3.5.2 数据标注可使用自动标注软件,但自动标注结果不得直接使用,应由标注人员审核后方可使用;同时,自动标注软件亦需明确名称、型号规格、完整版本、制造商、运行环境等信息,并进行软件确认。

3.6 数据集构建

3.6.1 基于标注数据库构建训练集、调优集、测试集,明确训练集、调优集、测试集的划分方法、划分依据、数据分配比例,输出《数据集构建标准》。

3.6.2 训练集应当保证样本分布具有均衡性,测试集、调优集应当保证样本分布符合临床实际情况,训练集、调优集、测试集的样本应当两两无交集并通过查重予以验证。

3.6.3 为解决样本分布不满足预期的问题,可对训练集、调优集小样本量数据进行扩增,原则上不得对测试集进行数据扩增,对抗测试除外。数据扩增需明确扩增的对象、方式(离线、在线)、方法(如翻转、旋转、镜像、平移、缩放、滤波、生成对抗网络等)、倍数,扩增倍数过大应考虑数据偏倚的影响及风险。若采用生成对抗网络进行数据扩增,需明确算法基本信息以及算法选用依据。

3.6.4 数据经扩增后形成扩增数据库,需列表对比扩增数据库与标注数据库在样本量、样本分布(注明扩增倍数)等差异,以证实扩增数据库样本量的充分性以及样本分布的合理性。

3.7 数据库管理

3.7.1数据库管理应遵循真实性、完整性、可用性、合规性、可追溯性、临床代表性、时效性、安全性、准确性9大原则。

3.7.2应定期对逻辑数据库的数据以及文件数据进行备份,备份文件保存在不同机架的机器磁盘上以提高备份的安全性。

3.7.3在整个数据转移过程中,应当明确数据转移方法、数据防污染措施以及数据销毁方式。

4.算法设计

人工智能算法设计主要考虑算法选择、算法目标设定分析、算法训练、算法性能评估等要求,形成《算法设计说明书》。对于黑盒算法,算法设计应开展算法性能影响因素分析,同时与现有医学知识建立关联,以提升算法可解释性。

5.验证与确认

算法训练过程中,需要明确算法训练环境,应当对算法进行性能评估,以确保选择的算法准确、有效。算法验证阶段,明确算法性能评估环境,应完成算法性能指标评估、压力测试、对抗测试,黑盒需要算法性能影响因素分析,输出《算法性能评估报告》。

同时,开展算法性能比较分析,详述各类测试场景(含临床评价)算法性能变异度较大的原因,基于分析结果明确产品使用限制和必要警示提示信息,输出《算法性能比较分析报告》。

最后,结合算法训练、算法性能评估、临床评价等结果开展算法性能综合评价,针对训练样本量和测试样本量过少、测试结果明显低于算法设计目标、算法性能变异度过大等情况,对产品的适用范围、使用场景、核心功能进行必要限制。输出《算法性能综合评价报告》。

6.算法风险管理

人工智能医疗器械的软件安全性级别可基于产品的预期用途、使用场景、核心功能进行综合判定,并开展风险管理活动,采取有效的风险控制措施将风险降至可接受水平,并贯穿于人工智能医疗器械全生命周期过程。

人工智能医疗器械的主要风险从算法角度包括过拟合和欠拟合。从用途角度,辅助决策主要包括假阴性和假阳性,其中假阴性即漏诊,可能导致后续诊疗活动延误,特别是要考虑快速进展疾病的诊疗活动延误风险,而假阳性即误诊,可能导致后续不必要的诊疗活动;非辅助决策从算法设计目标能否得以实现角度,亦可参考辅助决策分为假阴性和假阳性。应输出《风险管理报告》,明确过拟合与欠拟合、假阴性与假阳性、数据扩增与数据偏倚等风险的控制措施。

7.算法可追溯性分析

医疗器械全生命周期管理中,应实现算法的可追溯性,并形成算法可追溯性分析报告等相关文件及记录,即追溯算法需求、算法设计、算法实现、算法验证与确认、风险管理、数据集的管理。

在数据收集过程中,数据采集、数据整理、数据标注、数据集构建过程中形成《数据脱敏交接记录》《数据清洗记录》《数据标注记录》《数据审核记录》《数据仲裁记录》《数据集构建记录》,以上记录均由操作人员签字确认。

数据集管理过程中,每一例数据都可追溯到唯一识别号、脱敏人员、清洗人员、标注人员、审核人员、仲裁人员、入库人员,保证了数据收集各环节的数据和操作人员的可追溯。

8.算法更新控制

人工智能医疗器械若发生算法更新、软件更新,均应当按照质量管理体系的要求,开展与算法更新、软件更新的类型、内容和程度相适宜的验证与确认活动,将风险管理、可追溯分析贯穿于更新全程,形成记录以供体系核查。

对于算法更新,无论算法驱动型更新还是数据驱动型更新,均应开展算法性能评估、临床评价等验证与确认活动,以保证算法更新的安全有效性。对于软件更新,具体要求详见医疗器械软件指导原则、医疗器械独立软件生产质量现场检查指导原则。

人工智能医疗器械所含的每个人工智能算法,均应独立开展需求分析、数据收集、算法设计、验证与确认、更新控制等活动,同时考虑人工智能算法组合的整体评价要求,以保证产品的安全有效性。

若有人工智能医疗器械注册咨询服务需求,欢迎您随时方便与杭州证标客医药技术咨询有限公司联络,联系人:叶工,电话:18058734169,微信同。

Copyright © 2018 医疗器械注册技术咨询 浙ICP备18025678号 技术支持:熙和网络