실시간 번역 이어폰이 대화에서 막히는 지점

번역 이어폰 광고를 보면 두 사람이 각자 모국어로 자연스럽게 대화해요. 저희도 전화로 음성을 주고받는 걸 만드는 회사라 그 장면이 실제로 얼마나 가능한지 궁금했어요. 결론부터 말하면 번역 품질은 이미 충분한데 지연이 안 줄어요. 그리고 지연은 노력으로 줄일 수 있는 종류가 아니에요.

왕복 한 번에 무엇이 쌓이나

음성으로 오가는 시스템은 단계가 정해져 있어요. 상대가 말을 끝냈는지 판단하고, 소리를 글자로 옮기고, 그걸 처리하고, 다시 소리로 만들어 내보내요. 번역이 붙으면 그 사이에 한 단계가 더 들어가고요.

각 단계가 아무리 빨라도 순서를 건너뛸 수는 없어요. 말이 끝나기 전에 번역을 시작하면 문장 뒷부분에서 뜻이 뒤집히는 언어가 있고(한국어와 일본어가 특히 그래요, 부정이 문장 끝에 와요), 그래서 끝까지 듣는 쪽이 안전해요. 안전하게 만들수록 느려져요.

사람의 대화는 0.2초에서 굴러가요

대화 연구에서 자주 인용되는 숫자가 있어요. 사람이 상대 말에 반응하기까지 걸리는 시간이 평균 0.2초 안팎이라는 거예요. 언어와 문화가 달라도 이 숫자는 크게 안 변해요.

그러니까 왕복에 2초가 붙는 순간 그 대화는 사람의 리듬 밖으로 나가요. 내용은 정확하게 전달되는데 대화가 아니게 돼요. 각자 말하고, 기다리고, 번역기가 읽어 주고. 그건 교대로 하는 발표예요.

그리고 못 넘어가는 것들

지연을 다 없앤다고 해도 남는 게 있어요.

동시 발화. 사람들은 상대 말이 끝나기 전에 끼어들고 맞장구쳐요. “아 진짜?” “그래서?” 이런 게 대화를 굴리는데, 번역기는 한 사람씩 처리해요. 일본어 대화는 특히 맞장구가 많은 말이라 이게 더 크게 보여요. 상대가 말하는 내내 はい, ええ 하고 받아 주는 게 그 대화의 절반이거든요.

농담의 타이밍. 농담은 바로 웃어야 농담이에요. 정확하게 번역된 농담을 2초 뒤에 들으면 웃을 타이밍이 지나 있어요.

눈을 보는 것. 이어폰을 낀 사람은 상대 얼굴이 아니라 소리를 기다려요. 시선이 미묘하게 다른 데 가 있고, 그건 상대가 알아채요.

그래서 남는 자리

번역기가 이 셋을 다 해내는 날이 올 수도 있어요. 다만 그날이 와도 남는 게 하나 있는데, 상대의 언어로 직접 말을 건다는 사실 자체예요. 이건 성능 문제가 아니라 성의의 문제라 기술이 좋아진다고 대체되지 않아요.

저희가 만드는 것도 결국 거기에 있어요. 번역이 아니라 직접 말하는 연습을 붙이는 일이요. 읽고 쓰는 건 이미 기계가 더 잘하니까, 남은 건 실시간으로 주고받는 그 하나예요.