STR(Scene Text Recognition) 모델 관련 링크

Scene Text Recognition

Scene Text Detection

Naver clovaai - CRAFT-pytorch

Naver clovaai - deep-text-recognition-benchmark

딥러닝을 이용한 원거리 판서 한글문자 인식 (논문)

앞으로 생각해봐야 할 것들

• 관련 앱 시장 조사하기
  • OCR, handwriting 변환 앱 중심
  • 강의 자료 자동생성
• 제약 조건 설정하기
  • user selection이 가능하도록?
• 테스트 셋 15~20개 정도 만들어서 모델 테스트해보기
• 영어/한국어/수식에 대한 엔진을 각각 돌려야 할까..?
• step1 : 판서내용 디지털 문자화
  • 어떤 부분을 토큰 처리할 것이고, 어디까지 텍스트로 변환할 것인지
• step2 : 디지털 문자화된 문맥 파악
  • ex. 이후 얘네를 어떻게 처리할 것인가에 대해서도 구체적으로 고민해야 할 부분
• step3 : 디지털 문자를 강의자료 형태로 transform
  • ex. 템플릿에 넣어서 강의 자료로 만들어주는 부분?

시장 조사

• 콴다

  수식 풀이 서비스는 유저가 풀이과정을 알고자 하는 수식을 사진으로 찍어 서버로 전송하면 자체 개발한 수식 인식 및 풀이 엔진을 통해 단계별 풀이과정을 유저에게 제공합니다.

제약 조건 → user select option

• 어떤 환경의 글씨를 읽어올 것인지 select

  1. 어두운 초록색에 하얀 글씨

  2. 하얀 배경에 검은 글씨