OCR에서 특수기호를 패턴으로 인식하게 된 이유

배경

• 프로젝트 환경: GPU 없이 CPU만 사용 가능한 온프레미스 서버

• 사용 모델: PaddleOCR + EasyOCR

• 제약사항: 모델 재학습 불가, 이미지 전처리/후처리만 활용 가능

인사이트의 출처: "JPEG은 왜 디지털 풍화가 생길까?"

JPEG은 이미지를 8×8 블록 단위로 나눈 뒤 DCT(이산 코사인 변환)을 적용하고 고주파 정보를 제거해 시각적으로 손실이 적은 정보만 남깁니다. 마지막으로 양자화(quantization)를 통해 이미지를 패턴처럼 정제해 저장하죠.

"OCR이 놓친 기호도, 시각적인 패턴 기반 인식으로 복구할 수 있지 않을까?"

문제 상황

• OCR 결과에서 특정 문장의 시작 부분이 비정상적으로 잘리거나 누락됨

• 특히 , 특수기호가 앞에 올 경우 더 자주 발생

• OCR 결과는 example인데 실제 이미지는 - example

해결 방법: 패턴 기반 후처리 방식 도입

핵심 아이디어

OCR 실패 영역의 이미지를 직접 분석하여 저장된 특수기호 패턴과 유사도를 비교 → 보정 삽입

적용 방법

1. 기호 패턴 템플릿화
• 자주 사용되는 특수기호 (+, -, =, *)를 정제된 이미지 형태로 저장
• 각 기호 이미지를 벡터화하여 패턴 템플릿으로 구성

2. OCR 후처리 로직
• OCR 결과가 문자열 앞부분을 누락했을 경우, 해당 바운딩 박스의 좌측 픽셀 패턴을 추출
• 템플릿과 90% 이상 유사한 경우, 해당 기호로 보정 삽입

예시

[원본 이미지]    = formula
[OCR 결과]        formula
[패턴 유사도]    = 템플릿과 93% 일치
[최종 보정]      = formula

이 방식의 장점

• 기존 OCR이 인식하지 못한 특수기호를 복원 가능

• JPEG 등 손실 이미지에서도 높은 인식 정확도 유지

• 모델 수정 없이, 단순 후처리만으로 문제 해결 가능

• 휴리스틱 기반이므로 추가 연산 부담이 적음

얻은 인사이트

• "노이즈가 많아서 그런가?"

• "해상도가 낮아서 그런가?"

이미지 속 시각 정보도 패턴 단위로 해석하면 텍스트처럼 다룰 수 있다.

OCR이 놓친 영역도 시각적 패턴을 통해 복구가 가능하다.

마무리하며