医微客 - 给打算做预测建模的人提几点建议

给打算做预测建模的人提几点建议

热点资讯

2023-03-08

1550 0

最近审稿时候见到了很多预测建模类的文章，既喜且忧，喜的是临床科研工作者终于认识到利用已有数据开展分析，忧的是生怕预测建模成为第三波被国人玩坏的内容。前两波分别是meta分析、公共数据库挖掘，十年前的meta分析、5年前的公共数据库挖掘（时间不一定准确，虚词），都有相同的特点，都是红极一时，一拥而上，然后盛极而衰，当然最重要的特点是国人发文量极大。有篇文章提到，2014年全球共发表9135篇meta分析，其中国人占了34%。

作为统计学家，我是真心不希望预测建模沦为第三波这种量产类文章。我最近审稿的各种预测建模类文章中，真正的质量高的真的凤毛麟角，大多数都是流于形式，一看就是只为发文章而发文章（当然这可能更多的是一种无奈吧）。

虽然从文章量产来说，meta分析、公共数据挖掘、预测建模似乎有相似之处，但从实用角度，预测建模的应用性更强，医学中如果一个预测模型最终目的不是为了临床应用，那构建出来预测模型有什么用呢？从这一角度来讲，我们很多的预测模型恐怕都不是出于这一目的，绝大多数模型就是发表文章，然后……，然后好像就没有然后了。

如果一个模型从一开始就是为了应用，必然会对数据质量、统计方法、模型的优劣等非常仔细，会非常认真地核对每一环节，否则一旦应用中出点问题，后果不堪设想。但如果只是为了发表文章，那恐怕就未必如此认真了。

我想，预测建模的文章写没问题，但一定要慎重。我个人经常讲预测模型的内容，几乎每次都会强调，决不能滥用。我也做了一些预测模型，基本全部都投入临床应用，也算是有点价值吧。虽然我做的模型也并非十全十美，也许在将来的应用中需要改进，但至少在应用方面努力，而不是只为了发文章。

因此，有几点个人建议希望临床科研工作者能够在开展预测建模之前仔细考虑一下（当然不一定全面，只是暂时想到的）：

（1）先仔细考虑一下，这个模型是不是有应用价值。临床推广的可能性有多大。不是所有的预测模型都有意义的。比如我曾见过一篇文章，因变量是根据某一量表评价是否存在某不良行为，作者找出了十几个指标进行预测，最终给出了一个似乎挺好的预测模型。但我就不明白了，要看这个人是不是存在这种不良行为，既然已有现成的量表，为什么不直接量表测评就完了？为什么还得绕一下，用其它这么多指标预测？

（2）数据质量是否过硬？你在把数据扔到软件跑模型之前，有检查过数据的质量吗？可能很多人都没有这个习惯，很多人都是从医院系统调取数据后就直接分析，跑出一个模型，跑出一个ROC，一看挺好，就完事了。根据我个人的多年临床数据分析经验，我分析的数据中95%以上都会存在各种问题，非常整齐的、一点问题没有的数据极其罕见。

（3）数据是否有代表性，是否可以用来建模？比如我曾见到一篇文章，写的是用医院的数据构建一个预测模型，最终结论却说将来这个模型有多好，可以推广到人群中一定能提高什么什么东西之类的。医院的数据跟基于人群的数据分布很不相同，各种特征也不尽相同，这种推广恐怕没什么价值。

（4）你的样本量够不够？样本量这个东西其实是相对的，不能绝对地一概而论。虽然不少作者在文章里也都提到了根据自变量个数，10倍理论之类的。但是，即使达到10倍以上，构建预测模型就足够了吗？我个人认为未必。比如有的疾病十分常见，可能全国有几百万例，你用几百例来构建一个预测模型，即使阳性例数是在自变量的10倍以上，但这种总觉得很难让人接受，毕竟变异性太大了。目前很多文章都是基于自己医院的前几年的数据，收起来做一个模型，这种不能说错，但恐怕也很难说价值有多大。如果是一个来自于全国各地的权威医院，病例丰富，可能还好一些。如果是一个地方医院，主要是本地病例，那就很难说了。

（5）你对预测建模方法是不是真的了解？恐怕这句话在医学中没几个人敢正面回答，包括流行病与卫生统计学专业。在当前一切都追求“快”的时代，有多少人还会真正埋头钻研方法呢？国内的流行病与卫生统计学专业，我不知道有多少人还在真正喜欢医学统计学，据我了解，大多数学生更喜欢短平快，做做实验，做个调查，赶紧发文章。当然这没什么对错，个人爱好不同。只是希望还是能够有一些像我这样相对笨的人，还在喜欢研究方法。其实何止在这一领域呢，国人的发文量已经世界领先了，可这能说明中国的科技领先吗？从我个人角度，还是真正希望大家能对使用的方法有所了解，如果不了解，也建议请一定与统计学家合作，“我会用软件做出logistic回归的结果”并不等于“我会logistic回归”。

从我审稿的文章来看，很多文章一眼就能看出作者根本对方法不了解，不管是名词、分析思路等，其实都在很清楚地告诉审稿人：我不懂这个方法，但是我用软件做出结果了。

（6）请一定弄清楚你的目的和思路。这句话似乎有点抽象，其实很实际。很多人会觉得，我写的文章，我会不知道研究目的，会不知道怎么写吗？遗憾的是，确实如此。我的审稿中，很多人都不清楚自己在干什么。比如有的文章，题目中明明写的评价某某指标对某病的预测效果，然后文章里却在大量篇幅介绍如何筛选危险因素，最后发现筛选出了5个危险因素，这5个危险因素包含了题目中的某某指标。如果你真的没有弄明白预测建模的含义和思路，建议还是先不要写，请不要匆忙写文章匆忙投稿。

（7）建议从临床和统计两个角度来评价模型的好坏。我前面说过，预测模型的价值在于应用，不打算转化应用的模型不是个好主意，建议你直接放弃。统计学的评价很容易，有很多评价指标都能说明你的模型好像不错，然而这就完事了吗？你在告诉大家模型很好，目的是什么呢？既然有这么好的预测模型，为什么不建议大家使用呢？我每次审稿几乎都会带着这种疑问，你的灵敏度和特异度都这么高，各种指标无一不说明模型的优秀，为什么不推广应用呢？我很困惑。

（8）建议参照TRIPOD声明好好对照一下。虽然TRIPOD声明并不是完美的，也不是必须的，但却可以帮助你捋一下一些应用的框架，尤其对刚接触预测建模文章的人，如果你大多数的条目都达不到，建议还是慎重投稿。

以上是暂时想到的几点问题，这些都不是具体的统计方法，更多的是大面上的一些建议。如果说到文章中具体的统计方法，那问题就更多了，后面如果有时间再慢慢整理一下。