OCR과 HTR 기술의 차이와 고문서 문자 인식 활용법

인공지능 시대의 문자 인식 기술 이해하기

우리는 매일 수많은 글자와 마주합니다. 스마트폰으로 문서를 스캔하고, 영수증을 찍어 가계부에 자동으로 입력하며, 옛날 사진 속의 글자를 검색하는 일이 이제는 너무나 자연스럽습니다. 이렇게 이미 속의 글자를 컴퓨터가 읽을 수 있는 디지털 텍스트로 바꾸어주는 기술을 통틀어 문자 인식 기술이라고 부릅니다.

기술이 발전하면서 단순히 인쇄된 글자를 읽는 것을 넘어, 사람의 손글씨나 수백 년 전에 쓰인 오래된 고문서까지 읽어내는 수준에 이르렀습니다. 이 과정에서 가장 핵심적인 역할을 하는 두 가지 기술이 바로 OCR과 HTR입니다. 두 기술은 비슷해 보이지만 적용되는 대상과 작동하는 원리에서 뚜렷한 차이가 있습니다.

이 글에서는 인쇄물에 강한 기술과 손글씨 및 고문서에 특화된 기술이 어떻게 다른지 살펴보고, 역사적 가치가 있는 자료를 디지털로 변환할 때 어떻게 활용할 수 있는지 실용적인 정보를 나누어보겠습니다.

OCR과 HTR의 개념과 결정적 차이

문자 인식 기술의 세계에 첫발을 내디딜 때 가장 먼저 마주하는 두 용어가 있습니다. 바로 OCR과 HTR입니다. 두 기술 모두 이미지 속 픽셀을 분석해 글자로 변환한다는 목적은 같지만, 다루는 대상과 접근 방식에서 큰 차이가 있습니다.

정형화된 인쇄물을 읽어내는 OCR

OCR은 광학 문자 판독 기술을 의미합니다. 주로 컴퓨터로 타이핑된 인쇄물, 스마트폰 화면의 글자, 표지판의 텍스트 등을 인식하는 데 최적화되어 있습니다. 글자의 폰트가 일정하고 자간과 행간이 규칙적일 때 가장 높은 정확도를 보여줍니다.

이 기술은 정해진 형태의 패턴을 찾아내는 방식으로 작동합니다. 예를 들어 돋움체로 적힌 가라는 글자와 궁서체로 적힌 가라는 글자의 기하학적 특징을 미리 학습된 데이터와 비교하여 판독합니다. 도로 표지판 인식, 주민등록증이나 신용카드 번호 자동 입력, PDF 문서 텍스트 추출 등 우리 주변에서 가장 흔하게 접할 수 있는 문자 인식 기술입니다.

불규칙한 필체와 예술적 글씨를 다루는 HTR

반면 HTR은 필기체 텍스트 인식 기술을 뜻합니다. 사람이 직접 펜으로 쓴 손글씨나 타이포그래피가 적용된 예술적인 폰트, 그리고 형태가 일정하지 않은 옛날 글씨를 판독하는 데 사용됩니다.

사람의 손글씨는 쓸 때마다 모양이 미묘하게 다르고, 글자와 글자가 서로 이어져 쓰이기도 하며, 크기도 제각각입니다. 따라서 단순한 패턴 매칭 방식의 OCR로는 정확한 판독이 어렵습니다. HTR은 인공지능 딥러닝 기술을 활용하여 앞뒤 문맥을 파악하고, 전체적인 흐름 속에서 글자의 의미를 유추해가며 인식합니다. 마치 사람이 악필로 쓰인 메모를 읽을 때 앞뒤 단어를 보고 의미를 짐작하는 것과 비슷한 원리입니다.

고문서 문자 인식이 가진 특별한 도전 과제

고문서를 디지털 데이터로 변환하는 작업은 현대의 일반 문서나 손글씨를 인식하는 것보다 훨씬 더 높은 난이도를 자랑합니다. 박물관이나 도서관 수장고에 잠들어 있는 수많은 고문서와 고서적을 해독하는 일은 역사 연구와 문화재 보존에 있어 매우 중요하지만, 물리적인 한계와 특수성 때문에 많은 어려움이 따릅니다.

우선 고문서에 사용된 한자나 고유 문자는 현대에 쓰이는 글자들과 형태가 많이 다릅니다. 오랜 세월 동안 종이가 삭거나 바래서 글씨가 희미해졌고, 얼룩이 지거나 찢어진 부분도 많습니다. 또한 옛날 학자들이 쓴 초서체나 행서체는 글자와 글자가 물 흐르듯 이어져 있어, 현대의 숙련된 전문가들조차 해독에 오랜 시간을 쏟아야 하는 경우가 부지기수입니다.

여기에 세로쓰기 방식과 띄어쓰기가 없는 전통적인 문장 구조는 컴퓨터가 문장의 경계를 인식하는 것을 더욱 방해합니다. 이러한 이유로 고문서에는 단순한 인쇄용 기술을 적용할 수 없으며, 고대 문자의 형태와 역사적 맥락까지 학습한 특화된 HTR 솔루션이 반드시 필요합니다.

고문서 문자 인식 기술의 실생활 활용과 사례

고문서 문자 인식 기술은 단순히 학자들이 옛것을 연구하는 용도에만 머무르지 않습니다. 우리 주변의 다양한 영역에서 역사적 가치를 발굴하고 활용하는 데 실질적으로 기여하고 있습니다.

• 지방자치단체의 향토사료 디지털화 사업을 통해 지역 주민들이 조상의 호적이나 토지 매매 문서를 집에서 편하게 인터넷으로 열람할 수 있게 되었습니다

• 박물관이나 미술관에서는 소장 중인 고서화의 낙관과 제화시를 빠르게 판독하여 전시 기획이나 유물 설명 자료를 더욱 정확하게 작성합니다
• 족보나 문집을 소장한 문중에서 종원의 역사와 가문의 전통을 기록한 방대한 자료를 데이터베이스화하여 후손들에게 손쉽게 물려줍니다
• 역사 소설가나 시나리오 작가들이 조선시대나 고려시대의 실제 판결문, 일기 등을 검색하고 분석하여 창작 활동의 완성도를 높입니다

성공적인 고문서 인식을 위한 실용적인 접근법

수백 년 된 고문서를 컴퓨터에 입력해 텍스트로 바꾸는 작업은 생각만큼 간단하지 않습니다. 비용과 시간을 아끼면서 만족스러운 결과를 얻기 위해 실무에서 적용할 수 있는 몇 가지 요령이 있습니다.

가장 먼저 선행되어야 할 작업은 원본 이미지의 품질 개선입니다. 스마트폰으로 대충 찍은 사진이나 어둡게 나온 스캔본은 인공지능의 인식률을 극단적으로 떨어뜨립니다. 전문적인 북스캐너를 사용하거나 조명을 균일하게 맞춘 상태에서 고해상도로 촬영하는 것이 원본 확보의 기본입니다.

또한 한 번에 모든 문서를 완벽하게 변환하겠다는 욕심을 버려야 합니다. 고문서의 상태와 필체에 따라 AI의 인식률은 천차만별입니다. 먼저 대표적인 페이지 몇 장을 샘플로 테스트하여 해당 문서에 가장 잘 맞는 엔진이나 파라미터를 찾아내는 것이 현명합니다.

일반 상용 솔루션보다는 조선왕조실록이나 승정원일기 같은 거대한 공공 데이터셋을 학습하여 고문서에 특화된 오픈소스 HTR 모델이나 맞춤형 인공지능 서비스를 선택하는 것이 유리합니다. 최근에는 클라우드 기반으로 고문서 이미지를 업로드하면 자동으로 판독해 주는 전문 서비스들도 점차 늘어나는 추세입니다.

문자 인식 기술을 대할 때 흔히 하는 오해와 진실

문자 인식 기술이 눈부시게 발전했음에도 불구하고 여전히 많은 사람들이 기술의 능력에 대해 과대평가하거나 과소평가하는 경향이 있습니다. 올바른 활용을 위해 몇 가지 사실관계를 바로잡을 필요가 있습니다.

버튼 하나만 누르면 완벽한 현대어 번역까지 끝난다는 오해

많은 이들이 고문서 이미지를 넣기만 하면 컴퓨터가 원문 인식은 물론이고 완벽한 현대어 해석까지 한 번에 끝내줄 것이라고 기대합니다. 하지만 현재의 기술은 이미지 속의 옛날 글자를 현대의 유니코드 텍스트로 옮겨주는 데 초점이 맞춰져 있습니다. 한문 고문서의 경우 글자를 정확히 읽어냈더라도 한자 어휘의 뜻을 풀이하고 문맥에 맞게 번역하는 과정은 여전히 전문가의 손길이나 별도의 번역 인공지능의 도움이 필요합니다.

컴퓨터가 읽었으니 오타가 전혀 없을 것이라는 믿음

인공지능의 정확도가 95퍼센트를 넘는다고 하더라도 나머지 5퍼센트의 오류는 치명적일 수 있습니다. 특히 고문서의 경우 글자 하나가 바뀜으로써 인물이나 지명, 연도가 완전히 달라져 역사적 사실이 왜곡될 수 있습니다. 따라서 기계가 인식한 결과물은 반드시 사람이 직접 눈으로 원본과 대조하며 검수하는 후가공 단계를 거쳐야만 신뢰할 수 있는 데이터가 됩니다.

비용 부담을 줄이고 효율성을 높이는 전략

고문서 디지털화 프로젝트나 개인적인 고서적 연구를 진행할 때 가장 큰 걸림돌은 예산입니다. 전문 기업에 전면 위탁을 맡기거나 고가의 전용 소프트웨어를 도입하는 것은 일반 연구자나 소규모 기관에게 큰 부담이 될 수 있습니다.

이럴 때는 오픈소스 기반의 인공지능 프레임워크와 클라우드 컴퓨팅 자원을 조합하여 비용을 최소화하는 전략을 고려할 수 있습니다. 전 세계의 연구자들이 공유하는 오픈소스 HTR 모델을 활용하면 라이선스 비용을 아끼면서도 준수한 성능의 판독 시스템을 구축할 수 있습니다.

또한 전체 문서를 한 번에 외주 맡기기보다, 자원봉사자나 학생들과 함께 클라우드 기반의 협업 플랫폼을 구축하여 오인식된 텍스트를 함께 교정하는 방식을 도입하는 것도 좋습니다. 이는 비용 절감뿐만 아니라 참여형 역사 아카이브를 구축한다는 긍정적인 부수 효과도 거둘 수 있습니다.

전문가들이 조언하는 올바른 기술 도입의 자세

디지털 인문학 분야의 전문가들은 문자 인식 기술이 역사 연구의 패러다임을 바꾸고 있다고 입을 모읍니다. 몇 달씩 걸리던 사료 조사 작업을 며칠 만에 끝낼 수 있게 해주는 강력한 도구인 것은 분명합니다.

하지만 기술은 어디까지나 연구를 돕는 도구일 뿐, 역사적 맥락을 읽어내고 그 가치를 재해석하는 주체는 언제나 사람이어야 한다고 강조합니다. 기계가 뱉어낸 결과물을 맹신하기보다는, 기술의 한계를 명확히 이해하고 보완책을 마련하는 태도가 중요합니다.

새로운 기술을 도입할 때는 화려한 마케팅 문구에 현혹되기보다는, 우리 기관이나 개인이 보유한 문서의 특성에 알맞은 데이터 학습이 가능한지, 그리고 지속적인 유지보수와 피드백이 가능한지를 꼼꼼히 따져보는 지혜가 필요합니다.

자주 묻는 질문과 실용적인 답변

고문서 문자 인식을 처음 접하는 사람들이 자주 묻는 질문들을 모았습니다.

Q. 한글로 된 옛날 편지도 HTR로 읽을 수 있나요?

네, 가능합니다. 조선시대 여성들이 주로 쓰던 규방가사나 언해본 등의 고대 한글 필체 역시 특화된 학습 데이터를 거치면 높은 정확도로 판독할 수 있습니다.

Q. 스캔 화질이 나쁘면 아예 인식이 안 되나요?

인식률이 급격히 떨어집니다. 가능하면 원본의 형태와 색감을 살리면서 해상도를 높여 스캔하고, 필요시 이미지 보정 프로그램을 통해 대비를 조절한 뒤 인식 작업을 진행하는 것이 좋습니다.

Q. 일반 스마트폰 앱으로도 고문서를 읽을 수 있나요?

일반적인 번역 앱이나 문서 스캔 앱에 탑재된 OCR은 현대 인쇄물용이므로 고문서나 옛날 손글씨를 제대로 읽지 못합니다. 고문서 전용으로 학습된 모델이나 서비스를 이용해야 합니다.