Versatile-OCR-Program是什么？

Versatile-OCR-Program是一個專門針對機器學(xué)習(xí)訓(xùn)練優(yōu)化的OCR系統(tǒng)，能夠從復(fù)雜的教育材料（如考試試卷）中提取結(jié)構(gòu)化數(shù)據(jù)并輸出JSON或Markdown格式。支持日語、韓語、英語，可擴展到其他語言、數(shù)學(xué)公式、表格、圖表和圖表，還能以語義注釋的方式進行標(biāo)注，生成自然語言描述。

Versatile-OCR-Program主要特點

• 優(yōu)化機器學(xué)習(xí)訓(xùn)練：提取的元素（如圖表、表格和圖形）會進行語義注釋，包括自動生成視覺內(nèi)容的自然語言描述，以增強下游模型訓(xùn)練。

• 多語言支持：支持日語、韓語和英語，并且可以輕松定制其他語言。

• 結(jié)構(gòu)化輸出：以JSON或Markdown格式生成ai就緒的輸出，包括數(shù)學(xué)表達(dá)式的人類可讀描述、表格摘要和圖形標(biāo)題。

• 高精度：在EJU生物學(xué)和東京大學(xué)數(shù)學(xué)等真實世界學(xué)術(shù)數(shù)據(jù)集上，準(zhǔn)確率可達(dá)90% - 95%。

• 復(fù)雜布局支持：能夠準(zhǔn)確處理包含密集科學(xué)內(nèi)容、公式密集段落和豐富視覺元素的考試風(fēng)格PDF。

• 技術(shù)實現(xiàn)：使用了DocLayout-YOLO、Google Vision API、Gemini Pro Vision、MathPix OCR、OpenAI API、OpenCV等技術(shù)。

樣例輸出

• 提供了實際的樣例輸出，包括數(shù)學(xué)和生物學(xué)問題的輸入圖像和轉(zhuǎn)換后的輸出圖像，以及英語翻譯的語義上下文和提取的數(shù)據(jù)。

• 數(shù)學(xué)問題樣例：展示了如何從一個包含幾何圖形和角度的圖像中提取信息，并生成相關(guān)的描述和問題。

• 生物學(xué)問題樣例：展示了如何從一個顯示洋蔥根尖細(xì)胞有絲分裂過程的圖像中提取信息，并生成相關(guān)的描述和問題。

Versatile-OCR-Program使用流程

1. 第1步：初始OCR提?。哼\行ocr_stage1.py腳本，從輸入PDF中提取原始元素（文本、表格、圖形等），執(zhí)行布局檢測并存儲中間結(jié)果。

2. 第2步：語義解釋和最終輸出：運行ocr_stage2.py腳本，處理中間數(shù)據(jù)并將其轉(zhuǎn)換為結(jié)構(gòu)化、人類可讀的輸出，包括生成自然語言解釋、摘要，并將內(nèi)容組織成AI就緒格式（JSON/Markdown）。

技術(shù)實現(xiàn)

• 表格處理優(yōu)化：使用DocLayout-YOLO檢測表格區(qū)域，使用Google Vision OCR進行表格處理（對于日語文本效果更好），并以結(jié)構(gòu)化的JSON格式保留表格結(jié)構(gòu)。

• 圖像和特殊區(qū)域處理：使用Google Vision API的圖像分析功能處理圖像區(qū)域，使用Google Cloud Vision API生成圖像描述，使用Google Cloud Vision API的文檔分析功能處理圖表/圖表，并以結(jié)構(gòu)化的JSON格式存儲處理結(jié)果。

輸入效果

輸出效果

Versatile-OCR-Program應(yīng)用

• 教育領(lǐng)域：用于提取和整理考試試卷、學(xué)術(shù)論文等教育材料中的數(shù)據(jù)，為教育研究和學(xué)習(xí)提供支持。

• 機器學(xué)習(xí)訓(xùn)練：生成高質(zhì)量的訓(xùn)練數(shù)據(jù)集，用于訓(xùn)練機器學(xué)習(xí)模型，特別是在教育領(lǐng)域的應(yīng)用。

• 多語言文檔處理：適用于需要處理多種語言文檔的場景，如國際學(xué)術(shù)交流、多語言教育材料的數(shù)字化等。

github項目：https://github.com/ses4255/Versatile-OCR-Program