Sửa lỗi văn bản OCR Tiếng Việt sử dụng mô hình ngôn ngữ thống kê

Abstract

Nhận dạng ký tự quang học (OCR) là công cụ chuyển đổi văn bản giấy thành văn bản số. Tuy nhiên, văn bản số OCR thường chứa nhiều lỗi do các hạn chế trong kỹ thuật nhận dạng hoặc do chất lượng văn bản giấy thấp. Trong bài báo này, chúng tôi trình bày một mô hình ngôn ngữ thống kê sử dụng cho sửa lỗi văn bản OCR. Mô hình này kết hợp các mô hình n-gram và mô hình lỗi OCR, trong đó mô hình n-gram dựa trên thống kê các ngữ cảnh n-gram và mô hình lỗi OCR dựa trên thống kê các mẫu ký tự sửa lỗi. Mô hình được đánh giá trên một tập dữ liệu văn bản OCR tiếng Việt tiêu chuẩn và cho kết quả sửa lỗi chính xác và hiệu quả.