开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

栏目: 软件资讯 · 发布时间: 5年前

内容简介:深度好玩!文章开始红色石头先在草稿纸上写一道高数微积分题目给大家看看如何求解:怎么算呢?趁着高数知识还没忘完,赶紧拿起纸演算起来。大部分人是这么做的。但是如果现在跟你说,可以用 AI 来做,你信吗?

深度好玩!文章开始红色石头先在草稿纸上写一道高数微积分题目给大家看看如何求解:

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

怎么算呢?趁着高数知识还没忘完,赶紧拿起纸演算起来。大部分人是这么做的。但是如果现在跟你说,可以用 AI 来做,你信吗?

现在就有这样一个 AI 程序,你只要轻松上传上面这张手写算术题,程序就能帮你自动分析,写出解题步骤和答案!你信吗?就像下面一样:

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

Amazing!有没有!今天就给大家介绍这个有趣的 mathAI 项目。它是一个拍照做题程序。输入一张包含数学计算题的图片,就会自动输出识别出的数学计算式以及计算结果。

项目介绍

该项目名为:mathAI,是一个自动计算手写公式的程序。作者是一名中山大学的学霸硕士小哥 Roujack,他的研究方向就是计算机视觉。

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

整个程序使用 Python 实现,具体处理流程包括了图像预处理、字符识别、数学公式识别、数学公式语义理解、结果输出。

整个系统流程图如下:

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

1. 预处理

首先,需要对手写图片进行预处理。图片预处理以 OpenCV 作为主要工具。预处理的主要目的是把图片中的字符切割出来,同时避免无关变量对字符识别的影响。

预处理主要包括:灰度化、二值化、高斯滤波、字符切割与细化。

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

对图片预处理的效果如下图所示:

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

2. 字符识别

预处理之后,下一步就是对字符进行识别。选择的模型是卷积神经网络 LeNet5,因为不需要提取字符特征值,而且图像识别精确度高。

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

训练网络选用的数据集是国际数学公式识别比赛数据集(CROHME)。CROHME 数据集具有海量字符集图片,而且图片类型与实际输入非常相似。每种字符有 400 张图片,其中 60% 的图片用于训练,40% 的图片用于测试。

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

接下来就是结构分析和语义分析。

总的来说,对于数学公式的识别,主要是将识别出的独立的字符组织成计算机能够理解的数学公式(这里的数学公式就是纯字符的可求解的数学计算题)。大概的方法是使用编译原理的算符优先法和递归下降法进行实现。 然后根据属性文法的值传递思想,将数学公式的值计算出来。最后使用 Python 的 Matplotlib 库把计算过程和答案打印出来。

实验结果

模型训练完成之后,作者验证了字符识别的准确率:

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

然后,作者对 160 道测试题进行测试,系统做对 127 道题目,正确率为 79.38%。可以说相当不错了!

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

项目开源

真正令人激动是作者已将这个项目的源码发布在了 GitHub 上,供大家查看。开源地址为:

https://github.com/Roujack/mathAI

GitHub 上公开了系统代码。

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

其实,这是一个半开源的项目,目前上传的版本只能处理较简单的一维算术表达式(如果想要识别更加复杂的表达式,可以参考数学公式识别的论文)。可以参考的代码是前面字符识别部分以及整个算法处理框架。

例如图像预处理代码:

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

例如字符识别代码:

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

运行程序

要运行这个系统分为两种,一种是网页模式,一种是接口模式。

1. 网页模式

在项目的网页上,输入图片,即可获得处理结果。

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

2. 接口模式

项目有一个 solver 的 Python package。里面的 solve 方法封装了整个系统。其功能是输入一张图片路径,将输出计算题识别过程和计算结果。

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?

作者还专门录制了一个视频,讲解如何在网页模式上运行程序并验证正确率。视频放在下面,感兴趣的可以看一下。

https://v.qq.com/x/page/u0871v81oin.html

优点与缺点

优点:这是一整套拍照做题的算法框架,同时能够处理多种多样的计算题,目前市面上还没有看到实现。OCR 技术如此成熟的今天字符识别已经不算有挑战的东西了。

缺点:字符空间关系判断只用了人类启发式规则,图像预处理不够鲁棒,数学公式的结构识别算法不够完美(可以考虑使用二维文法来做)。系统还有很大的提升空间。

总的来说,这个程序相对比较简单,能够实现一般的手写图片微积分高数题,较复杂的还不能实现。但是该项目确实是一个有意思的尝试,相信作者也会不断优化。有兴趣的可以看一下,试一试你手写的算术题,看看准确率如何。

开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?


以上所述就是小编给大家介绍的《开源!mathAI 手写拍照自动能解高数题,AI 还能这么玩?》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

深入理解程序设计

深入理解程序设计

[美] Jonathan Bartlett / 郭晴霞 / 人民邮电出版社 / 2014-1 / 49.00

是否真正理解汇编语言,常常是普通程序员和优秀程序员的分水岭。《深入理解程序设计:使用Linux汇编语言》介绍了Linux平台下的汇编语言编程,教你从计算机的角度看问题,从而了解汇编语言及计算机的工作方式,为成就自己的优秀程序员之梦夯实基础。 很多人都认为汇编语言晦涩难懂,但New Medio技术总监Jonathan Bartlett的这本书将改变人们的看法。本书首先介绍计算机的体系结构,然后......一起来看看 《深入理解程序设计》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

SHA 加密
SHA 加密

SHA 加密工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器