简介

image-to-latex 是一个能将 LaTeX 数学方程的图像映射到 LaTeX 代码的应用程序。

Yuntian Deng 等人在 2016 年提出并尝试了 image-to-markup 的问题。他们通过解析来自 arXiv 的 LaTeX 论文来源，提取了大约 10 万个公式。他们使用 pdflatex 渲染公式并将渲染的 PDF 文件转换为 PNG 格式。在他们的模型中，首先使用 CNN 来提取图像特征。然后使用 RNN 对特征行进行编码。

最后，编码特征由 RNN 解码器使用。该模型共有 948 万个参数。最近，Transformer 在很多语言任务上都超过了 RNN，所以作者在这个问题上进行了新的尝试。

项目地址：

https://github.com/kingyiusuen/image-to-latex

下载安装

安装

将源代码 clone 到本地文件夹：

git clone https://github.com/kingyiusuen/image-to-latex.git 
 
cd image-to-latex 
1.
2.
3.

创建名称为 venv 的虚拟环境，并安装所需的包：

make venv 
 
make install-dev 
1.
2.
3.

数据预处理

运行以下命令下载 im2latex 数据集并进行所有预处理，图像裁剪步骤可能需要一个多小时。

python scripts/prepare_data.py 
1.

部署

创建 API 以使用经过训练的模型进行预测。使用以下命令启动并运行服务器：

make api 
1.

可以通过 http://0.0.0.0:8000/docs 上生成的文档查看 API 的使用方法。

模型架构

运行例子