移动医疗领域图文识别（OCR）技术的探索及产品测评

作者Dr.2，珍立拍股份公司董事长     

背景（Introduction）

      随着计算机网络飞速发展，信息电子化已经成为一个时代必然趋势。文字作为信息中最重要、最集中的载体，其电子化进程显得尤为重要。而图文识别（OCR）技术则是文字电子化过程中重要的环节，它改变了传统纸质介质资料输入的概念。

      OCR（Optical Character Recognition）即光学字符识别，是指电子设备（如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法 将形状翻译成计算机文字的过程：即对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。如何除错或利用辅助信息提高识别正确率， 是OCR最重要的课题，衡量一个OCR系统性能好坏的主要指标有：拒识率、误识率、识别速度、用户界面的友好性，产品的稳定性，易用性及可行性等。

      基于OCR技术的原理：OCR进行文本识别的过程就是将光学图像信息转化为计算机可识别和处理的文本信息，图为识别流程图：

      通过OCR技术，用户可以将通过摄像机、扫描仪等光学输入方式得到的书籍、文稿、表格等印刷品的图像信息转化为可以供计算机识别和处理的文本信息。因此，与传统的手工录入方式相比，OCR技术大大提高了人们进行资料存储、检索、加工的效率。

       目前，OCR技术在识别印刷体等标准字体领域已经处于成熟期，以广泛用于银行、政府、税务等各行各业的报表以及纸质文档的整理。但是，目前OCR在移动医疗 领域的应用还处于探索阶段，Dr.2团队从今年1月份开始启动图文识别项目，4月份上线初测至现在，一直在完善体系。昨天晚上忽然万能的微信群友转发消 息，“杏树林“公司再一次自称：其发布了国内首创的图文识别系统能把病历照片自动识别为文字，就和之前号称”第一次“发布移动医疗语音识别系统一样，虽然 只不过是外嵌了”云知声“的系统。既然其敢于发言，对行业来说总是好事，Dr.2必须公正地测评一下此领域目前主要的两款宣称有此功能的移动医疗APP， 并从OCR的拒识率、误识率、识别速度、用户界面的友好性，产品的稳定性，易用性等方面给出测评报告。

材料与方法（Material and Method） ：

测试平台：

2部手机（iPhone4、红米1S，我们有意选择用比较低端的手机，更普适一些）、珍立拍V1.8.5、病历夹V3.0.5

测试方法：

分别使用珍立拍和病历夹的OCR识别功能，对相同的图片（包括：标准病历、宋体、表格、英文、数字、手写病例）进行识别。

测试步骤：

1. 在两部手机上分别安装珍立拍和病历夹，并使用不同的账号登陆。

2. 使用相机拍摄各种识别素材（避免使用两个系统拍照的误差）。

3. 分别在两个系统中创建病历，并在OCR识别功能中，从相册导入提前准备好的图片。

4. 对比两个OCR识别系统的识别速率、正确率以及系统的稳定性等。

测评结果（Result）

1.OCR（图文识别）界面：

珍立拍：直接进入图文识别进行拍照或者从相册选择，上传即可自动识别，并且可以对各个文件进行分类搜索，便于管理。

病历夹：需要创建病程，从创建病例页面选择拍照或者相册，然后需要点击图片上方的“OCR识别”，之后进行24小时的识别结果等待。

                                         珍立拍

                                       病历夹

2.识别速率：

珍立拍： 上传图片之后实时自动识别，一般单张图片识别速率在2分钟左右（包括上传、识别、返回结果时间），我们对单张图片的识别速率，使用秒表计时进行了速率测 试。里面包括了英文、数字、宋体汉字，在图片清晰的前体下，识别率的正确率在90%以上，如果对识别结果不满意还可以选择人工识别和重新识别。

      此图是我们的测试人员一次性从相册中选择了多张上传图片进行识别，传输列表中显示的时间为：9:02，在识别列表中显示“已识别”状态后，显示的时间为 9:03，算上选择图片后进行截图的时间差，总体的识别时间在2分钟左右，与我们单张图片以秒计时的识别速率测试结果基本一致。

病历夹： 识别结果，于前一天晚上9:55分上传，截止第二天上午9:59分，12个小时后，还处于识别中，所以Dr.2推测病历夹所谓的OCR识别，是采用纯人工 识别的方式，这样我们不仅质疑，这样的人工识别虽然可以基本达到100%的识别正确率，但是在提高工作效率上能够起到多少作用？

测试小结（Discussion）

      1.显然经过各种测试，杏树林病历夹的图文识别属于全人工识别，第二天结果才能回来了，没有应用任何的自动化的OCR技术，所以Dr.2白高兴了一场，还测评个起劲，以为困扰了我们半年多的技术难题终于有人全部解决了，正准备学习一下，哎，失望了！

      2. 由统计结果可以看出，目前珍立拍的自动OCR识别技术对标准的印刷版字体识别率较高，英文95%，中文基本达到80-90%左右，但对于手写字体无法识 别，表格如化验单无法识别（这个超出了我们的技术能力）。而识别结果主要由以下几点决定：1）图片质量2）图片颜色3）拍摄的角度4）字体。

      3. 在珍立拍OCR识别的正确率上，对于印刷体我们可以使用如下技巧，例如：在拍照时，适当的调整亮度以及对比值；不要留阴影，同时边框留白等方式。但是对于 识别率极低的手写体，目前以Dr.2团队的技术水平根本无法解决，也不抱有任何幻想，唯一可以做的就是将此类需要识别的图像信息，通过人工进行整理，之后 将整理过的文档信息返回给用户。珍立拍采用首先自动化识别以后，遇有用户不满意的或者不想自己手工修订的，可以标记后提交人工辅助识别。但是可以在已经部 分识别成功的文档上，对照原图进行二次整理，效率提升约3倍左右，同时降低了成本，尤其是未来高通量数据来临之后。因此我们可以承诺，之前所有参加我们 500VIP封闭内测1年半的“天使用户“，终身免费使用”云端秘书“的人工整理功能，而所有新用户都可以免费使用人工整理图文识别结果3个月以上甚至更 久，自动化图文识别则终身免费。

      4. Dr.2之所以没有将研发了两年半的珍立拍系统上线的原因是，觉得此app还没有过我这一关，当然UI之类的东西无关大局，因为我们是重应用。不过后面还 有几个非常重要的技术难点需要克服，由于我们是采用高清照片不压缩的格式，单个病例数据量比较大。你想啊，医生都会什么时候上传呢？可能晚上8-10点左 右是一个非常集中的高峰，假设你的系统真的有很多医生使用，那么在很短的时间内同时上传高通量数据，将面临一个“洪水攻击”的问题，会速度奇慢，经常掉 线，或者导致服务器瘫痪，或者启动自动拦截。此外还有云服务的负载均衡、成本核算与任务流自动匹配等技术问题。

       总体来说，我们任重而道远，努力吧！另外我们历时8个月，耗资20多万的中国大城市三甲医院医生，移动医疗app使用情况与市场占有率调查就要出炉，敬请期待！

       PS：请 iPhone用户下载安装珍立拍应用后，不要存储病例，就随便玩玩即可，因为近期在准备上架，从企业版变为app store上可以下载的版本，而之前位于www.medicool.cn的官网版本将准备不再更新，仅供内部测试使用。Android版本没有这个问题， 可以去官网自由下载！

（欢迎转载，注明作者和来源即可，愿意与Dr.2交流的请加微信号：2823095726）