1970-01-01
上一期我们聊到针对定量资料的一致性评价,除了相关系数(ICC)外,还可以用“画图”来搞定一致性评价,即Bland-Altman法和ATE/LER区域法,本期我们接着聊聊ATE/LER区域法。
相对于Bland-Altman法,大家可能对ATE/LER区域法可能更陌生一些。该方法是美国FDA推荐用于评价定量测量一致性的指标[1],其主要原理是分析一种仪器(或方法)的测量结果与另一种仪器(或方法)测量结果的总体吻合度,并用图形直观地反映这一结果,最后结合临床意义,得出两种测量仪器(或方法)是否具有良好的一致性(是不是和Bland-Altman法原理如出一辙~~~)。
如上图所示,假定是甲方法目前常用的一种检测方法,而乙方法是待评价的检测方法。当两种检测方法完全一致时,散点的分布在图中的“对角线”y=x上。一般而言,散点围绕“对角线”上下波动。结合临床意义和统计学主要考虑两个区域:
① ATE区域(the Allowable Total Error zones),围绕y=x附近的浅灰色区域(假定两种方法误差允许范围为D nmol/L,该区域即为y=x-D与y=x+D之间),散点在该区域是临床上可以接受的,就总体而言,落入ATE区域内应超过95%,此外,考虑到抽样误差,还需要对该比例的单侧置信区间的下限予以限定,比如单侧95%置信区间的下限应大于92%(“92%”这个值的选取要考虑一致性评价的精度,精度要求的高低与所需样本量大小有关)。
② LER区域(the Zones of limits for Erroneous Results),图中最外围的深灰色区域,它的划分确定了两种检测方法的误差范围上限,即此区域内误差不可接受,并且散点数必须为0,若有散点落入此区域,表示两种检测方法的一致性差,检测方法不适用于临床应用。
同样,需要限定落入该区域比例的单侧置信区间的上限,比如不应单侧95%置信区间的上限应小于1%(同样,“1%”这个值的选取要考虑一致性评价的精度,精度要求的高低与所需样本量大小有关)。
总结一下,只有同时满足①②的判定要求,此时才可以认为两种检查方法一致性良好。
实际应用过程中,还要考虑测量指标的特征,一般来说数值越大误差相对也会越大。这时候对于ATE区域和LER区域的划分界值就不再是一个固定值D,比如上面举的例子±0.1nmol/L,而要针对测量指标进行“深度定制”——引入%R(即误差限制范围为测量数值的倍数)。
例如,对上述的例子做如下调整:当CM测得结果<1.5nmol/L,ATE区域被定义为CM±0.3nmol/L;当CM≥1.5nmol/L时,ATE区域被定义为CM±20%*CM。实际获得的ATE/LER区域图里各条界限不再是平行于“对角线”y=x的一条直线,而是一条折线,甚至可能是一条不平滑的曲线。
讲这么多理论,我们来实际操作一下。比如,我们想比较一下市面上两种品牌的手环监测心率一致性如何,共采集20位健康志愿者的数据,如下:
1. 绘制两种手环测得心率的散点图
2. 绘制对角线y=x
3. 根据临床确定的最大允许差异确定ATE和LER区域
这一部分是整个一致性评价最关键的部分,如何设定好ATE和LER区域的界限值以及相应95%CI的上限或下限,就需要结合临床和统计两方面的考虑。(以下标准仅为了本次演示,大家千万不要随意套用~~~)
a. ATE区域为:两种仪器测得心率偏差范围:当心率<80次/分时,应在±4次/分的偏差范围内;当心率≥80次/分时,应当在±5%的偏差范围内。
b. LER区域为:当心率<80次/分时,偏差在±12次/分以外;当心率≥80次/分时,偏差在±15%以外。
4. 计算各数据点落在ATE和LER区域的百分比
除了要报告各数据点落入ATE和LER区域的比例,还要报告ATE区域比例的95%CI下限值,以及LER区域比例的95%CI上限值,这里推荐使用Newcombe-Wilson得分法[2]来估计。
其中,n为样本量,p为落入ATE/LER区域的比例(以0.xx数据形式参与计算),q为1-p,z为α=0.05单侧值,即1.645。
本例结果如下:
结果:A和B两种手环测得心率数值落在ATE区域的比例为80.0%(95%CI下限为62.2%)远低于要求的95%(95%CI下限设定值92%),且落在LER区域的比例为5.0%(95%CI上限为19.6%)也远高于要求的0%(95%CI上限设定值1%)。综合考虑两种手环在测量心率的一致性方面较差(当然啦以上仅是模拟数据,大家千万不要有代入感~~~)
参考文献
1. Recommendations for Clinical Laboratory Improvement Amendments of 1988 (CLIA) Waiver Applications for Manufacturers of In Vitro Diagnostic Devices Guidance for Industry and Food and Drug Administration Staff. 2008
2. Stat Med. 1998;17: 857-72
百度浏览 来源 : 医咖会
版权声明:本网站所有注明来源“医微客”的文字、图片和音视频资料,版权均属于医微客所有,非经授权,任何媒体、网站或个人不得转载,授权转载时须注明来源:”医微客”。本网所有转载文章系出于传递更多信息之目的,且明确注明来源和作者,转载仅作观点分享,版权归原作者所有。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。 本站拥有对此声明的最终解释权。
发表评论
注册或登后即可发表评论
登录注册
全部评论(0)