HTR모델

Handwriting recognition and language modeling with MXNet Gluon

• ResNet and biLSTM

pretrained

1. MXNET : 줄까지 자동 디텍트https://mxnet.apache.org/versions/1.6/api/python/docs/tutorials/packages/gluon/image/pretrained_models.html
2. https://github.com/githubharald/SimpleHTR

   1. just handwriting

      FAQ: Build a Handwritten Text Recognition System using TensorFlow

알고리즘 발전계보

https://nanonets.com/blog/handwritten-character-recognition/

transformer이 들어가면 최신!

OCR모델

process

1. 전 처리 - object detection
   1. 전 처리 단계는 이미지로부터 텍스트인 영역을 컴퓨터가 보다 쉽게 인식할 수 있도록 이미지를 보정하는 역할
2. 글자 검출(text detection)
   1. 그 영역의 회전 각도를 구하고 수평 형태로 만드는 것
3. 글자 인식(딥러닝 알고리즘)
   1. 문자가 어떤 문자인지 알아내야 하는 것
   2. 컴퓨터가 학습을 함
4. 후처리
   1. 텍스트의 내용적인 부분을 따져서 부자연스러운 부분을 수정

• Textsnake [Long et al., 2018]: , 매우 복잡한 텍스트 모양을 처리하는 특이성을 가진 Text Detection(텍스트 감지) 알고리즘.
• MORAN [Luo et al., 2019], Rectification Network와 Attention 메커니즘을 사용하여 복잡한 텍스트 상자를 수정하고 읽는 Text Recognition(텍스트 인식) 알고리즘.

Transformer + CNN

: https://github.com/fengxinjie/Transformer-OCR

End-to-End model