본문 바로가기
자유게시판

인간 대 인공지능 번역대결 공정성 논란

페이지 정보

작성자 곽중철 쪽지보내기 메일보내기 자기소개 아이디로 검색 전체게시물 작성일-1-11-30 00:00 조회15,195회 댓글3건

본문

인간 대 인공지능 번역대결 공정성 논란

입력 : 2017.02.24 17:56:08 IT 조선 김남규 기자

이번주 '한주간 IT 이슈진단'에서는 인간 전문 번역사와 인공지능(AI) 번역기가 번역 실력을 겨루는 이색적인 대결에 대해 다뤘다. 이번 대결은 당초 예상대로 인간의 완승으로 싱겁게 끝이 났다.

이번 대결은 인간과 인공지능이 실력을 겨룬다는 점에서 이세돌 프로바둑 9단과 알파고의 바둑경기 이후 진행된 세기의 대결로 세간의 이목을 집중시켰다. 하지만 막상 뚜껑을 열어보니 싱거운 결말 외에도 미흡한 준비 등으로 공정성 논란까지 불러왔다.



번역대결에는 전문 번역사와 구글 번역기, 네이버 번역기 파파고, 시스트란 번역기가 참여해 즉석에서 번역 대결 형태로 진행됐다. 번역할 문장의 길이는 영한번역을 330단어 내외로 제한했고, 한영번역은 750자 내외로 정했다.

인간 번역사는 50분 안에, 인공지능은 10분 내로 번역을 마쳐야 한다는 기준을 적용했고, 구글 번역기와 네이버 번역기, 시스트란 번역기에 지문을 넣어 번역기를 돌리는 작업은 세종사이버대학교 영어학과 곽영일 교수와 김대균 교수가 담당했다. 주최측은 원활한 진행을 위해 인간 번역사는 50분 먼저 번역을 시작하도록 해 끝나는 시간을 같도록 했다.

인간 번역사 팀은 한글을 영어로 번역한 문제에서 30점 만점에 24점을 받았고, 영어를 한글로 번역한 문장은 25점을 받았다. 반면 인공지능이 한글을 영어로 번역한 문장은 13점, 7점, 8점을 받았고, 영어를 한글로 번역한 인공지능 점수는 각각 15점과 8점, 9점을 받아 인간과의 격차를 확인했다.


번역 앱 성능은 구글 번역기가 가장 우수했고, 뒤를 이어 네이버와 시스트란 순으로 나타났다. 하지만 이번 결과에 대해 네이버 측은 비공식적으로 억울하다는 속내를 밝혔다. 파파고는 200자 내외를 번역하는데 최적화된 것으로, 장문을 넣어 번역한 기준이 불공정했다는 입장이다. 시스트란도 자사 번역기가 아직 학습이 덜 된 상태로, 향후 2년 안에는 인간 번역사 수준의 결과물을 낼 수 있다고 설명했다.
행사 주최 측도 역시 이번 이벤트에 대한 준비가 미흡하다는 점을 인정했다. 곽중철 심사위원장인 한국외대 교수는 이번 평가가 인공지능을 활용한 자동번역기와 인간 번역사의 번역 완성도를 비교해 보고, 인간 번역사의 직업 정체성을 확인해 보기 위해 마련된 것이기 때문에 지나치게 극단적인 평가를 자제해 달라고 요청했다.

이번 대결이 미흡한 준비와 기대에 미치지 못하는 진행, 모호한 평가 방식 등으로 사람들의 눈총을 받았다. 하지만, 이번 대회를 기회로 인공지능 번역의 발전 현황을 확인하고, 또 앞으로 사람들이 어떤 형태의 영어 교육을 받아야 하는지에 대한 숙제를 던져줬다는 점에는 의미를 부여할 수 있다.

댓글목록

곽중철님의 댓글

곽중철 쪽지보내기 메일보내기 자기소개 아이디로 검색 전체게시물 작성일

심사위원들의 평가 결과도 논란을 부추겼다. 심사를 진행한 곽중철 한국통번역협회장(한국외대 교수)은 “번역기는 문법도 안 맞고 문장도 안 되고 문제가 많다”고 지적했다. “평가를 수치화한 근거를 설명해달라”는 기자들의 요구에 곽 교수는 “점수의 근거는 없지만 원하면 작성해드리겠다”는 납득이 가지 않는 답변을 했다. 번역 기계 점수를 비공개로 부친 것도 이해가 안가는 대목이다. 구글과 네이버 번역 서비스는 일반인들도 온라인으로 이용할 수 있는 서비스다. 주최 측이 공개한 문제만 쳐봐도 어느 기계가 어떤 번역 결과를 내놨는지 즉각 알 수 있다. 비밀로 할 일이 아닌 것이다.

이날 행사장에서의 낯뜨거운 학교 홍보도 문제였다. 신구 세종대 총장은 개회사에서 “세종대와 시스트란은 협력 체계를 구축해 공동 번역하는 작업을 해오고 있다”고 강조했다. 시스트란은 이날 번역 대결에 나온 번역 기기 회사다. 대회 시작전 주최 측과 심사위원들의 포토라인에는 시스트란의 임원도 함께 했다. 대회의 공정성을 생각했다면 세종대와 시스트란 모두 좀 더 신중을 기했어야 했다. 구글과 네이버 관계자는 이날 행사장에 참석하지 않았다. 주최 측이 이날 대회에서 강조하고 싶은 것이 과연 인공지능 번역 기술의 현 주소인지 아니면 세종대와 국제통번역협회 자랑인지 알 도리가 없었다.

하선영 산업부 기자 dynamic@joongang.co.kr

[출처: 중앙일보] [현장에서] 인간엔 50분 주고, AI에겐 10분 … 뒤끝 남긴 번역 대결

곽중철님의 댓글

곽중철 쪽지보내기 메일보내기 자기소개 아이디로 검색 전체게시물 작성일

이번 결과에 대해, 본 대회의 심사위원장을 맡은 곽중철 한국외대 교수는 “아직까지 인공지능이 정복하지 못한 분야가 바로 텍스트의 이해이다. 인간의 언어는 인간의 다양한 감정이 녹아있어 그 뉘앙스가 바둑보다 경우의 수가 많고, 문맥이 다양하다. 따라서 아직까지 역사도, 전통도, 영혼도 없는 AI가 이를 정복하지 못한 것”이라는 총평을 전했다.
곽 교수에 따르면, AI 번역의 발전을 위해서는 빅데이터로 ‘인간의 텍스트’마저 이해시키는 것이 관건이라고 한다. 하지만 이것이 5년이 걸릴지 10년이 걸릴지는 그 누구도 예언할 수 없다고 한다.
대한민국 정책기자단 송민재 papu2004@naver.com

곽중철님의 댓글

곽중철 쪽지보내기 메일보내기 자기소개 아이디로 검색 전체게시물 작성일

-이세돌 기사는 한 개인 기사가 패배한 것일 뿐 인간이 기계에게 패배한 것은 아니라고 애써 변명했다. 그런데도 인공지능이 지금껏 인간의 고유 기능이라고 간주해 온 논리적 사고와 추론에 도전장을 던진 것만은 부정할 수 없는 사실이다.
-더구나 ‘Flying planes can be dangerous’라는 영어 문장에 이르러서는 문제가 훨씬 더 복잡해진다. 변형문법을 창시한 노엄 촘스키가 언어의 표층구조와 심층구조를 설명하기 위해 예로 든 문장이다. ‘flying’을 ‘planes’를 수식하는 현재분사로 해석할 것인지, 명사절을 이끄는 동명사로 해석할 것인지에 따라 그 의미는 크게 차이가 난다. 전자로 해석한다면 ‘하늘에 날아가는 비행기는 위험할 수 있다’는 뜻이 된다. 후자로 해석한다면 ‘비행기를 이륙시키는 일은 위험할 수 있다’는 뜻이 된다. 숙달된 전문 번역가가 아니라면 이 두 가지 중 어느 쪽으로 옮겨야 할지 적잖이 헷갈린다. 전후 맥락을 잘 살펴서 판단을 내리지 않으면 자칫 오역할 위험이 아주 크다.
-AI 번역기는 알파고 같은 로봇과는 사뭇 다르다. 알파고가 인간처럼 사고력과 추리력을 갖출 수 있을지는 모르지만 인간처럼 사물을 직관적으로 처리하고 감성을 지닐 수는 없다. 번역에는 무엇보다 직관과 감성이 필요하다. ‘어 다르고 아 다르다’는 속담이 있지만 번역에서만큼 이 말이 피부에 와 닿는 경우가 없다. AI 번역기는 신문이나 잡지 기사를 비롯해 과학 또는 기술과 관련한 논문, 광고 문안이나 상품 이용 안내서 같은 기술 번역 분야는 몰라도 적어도 문학 번역에서만큼은 아직 인간 번역사를 따라잡을 수 없다.

[김욱동 창문을 열며] 인공지능 번역은 가능한가
서울신문 입력 : 2017-03-05 18:04 ㅣ 수정 : 2017-03-05 19:05
김욱동 문학평론가·UNIST 초빙교수