네이버 뉴스 알고리즘 검토 위원회, 6개월간 네이버 뉴스 알고리즘 등 검토
네이버 알고리즘 공개, 기업 기밀인데다 어뷰징 등에 역이용될 가능성 커
“공정성 100% 만족 알고리즘, 존재하지 않아”…기사 품질 평가 방법 개선 필요
뉴스편집 개입과 정치적 편향 의혹 등이 끊이지 않았던 네이버 뉴스의 편집이 알고리즘을 통해 자동으로 이뤄지고 관리자 개입이 불가능하다는 검토 결과가 나왔다.
네이버 뉴스 알고리즘 검토 위원회는 29일 서울 중구 프레스센터에서 기자간담회를 열고 이같은 내용을 골자로 하는 네이버 뉴스 알고리즘 검토 결과를 발표했다.
검토위는 지난 6개월에 걸쳐 ▲ 네이버 뉴스 검색(랭킹 알고리즘) ▲ AiRS 뉴스 추천(에어스, 개인 맞춤형 뉴스) ▲ 스포츠·연예 서비스의 기사 배열 알고리즘 및 자질 등 전반을 검토해왔다. 드루킹 사태 이후 지난 5월 발족한 검토위는 알고리즘 등에 대한 전문성과 학술 및 기술적 관점이 필요한 만큼 컴퓨터 공학, 정보학, 커뮤니케이션 총 3개 분야의 전문가 11인으로 구성됐다.
이들은 데이터의 확보 과정, 실제 검색 결과를 결정하는 알고리즘과 그에 반영되는 자질(feature), 이용자에게 서비스가 실제로 공개되는 과정, 전체 과정에 대해 수립된 업무 절차의 적절성 등을 분석했다.
네이버 뉴스 알고리즘 검토 위원회 맹성현 위원장(한국과학기술원 전산학부 교수)는 먼저 뉴스검색 부문에 대해 “관리자의 개입은 원칙적으로 불가능하다”고 밝혔다. 알고리즘을 통해 자동으로 배치되고, 뉴스검색 개발-운영-개선에 대한 의사 결정 이력이 모두 기록되고 있어 인위적인 개입은 어려운 구조라는 설명이다.
네이버 자체 AI 편집 ‘에어스’ 뉴스 추천에 대해선 “편집자 개입 없이 자동적으로 뉴스 이용자들의 피드백 데이터를 수집해 학습 데이터를 확보하고 있다”면서 “협력 필터와 품질 모델을 결합해 이용자 기사 선호도와 기사 품질을 고려한 개인화된 추천 점수를 계산하는 알고리즘을 활용하고 있음을 확인했다”고 분석했다.
특히, 이 과정에서 이용자의 기존 관심사와는 다른 분야의 기사도 함께 추천되도록 해 관심 뉴스만 계속 추천되면서 편향성을 가질 수 있는 ‘필터버블(Filter Bubbles)’ 확증편향 문제도 최소화하고 있는 것으로 나타났다고 덧붙였다.
연예 및 스포츠 기사 추천 서비스에 대해서는 해당 영역의 특성을 반영한 최신성과 기사 클릭 수치와 같은 피드백 정보를 바탕으로, 비 맞춤형 뉴스 추천 서비스를 제공하고 있는 것으로 조사됐다. 다만, 일반 분야 뉴스 기사와는 수집되는 기사의 양과 형태, 매체의 전문성, 뉴스 정보의 유효기간 등이 매우 다르다는 특징이 고려됐다.
검토위는 연예 및 스포츠 기사가 앞선 두 서비스에 비해 데이터 기반의 기계 학습 이 아닌 규칙 기반의 알고리즘을 바탕으로 서비스가 운영되고 있는데 , 정형화된 특성이 존재하는 해당 영역의 특징을 반영한 것이라 분석했다.
이어 “연예 및 스포츠 기사 추천 알 고리즘의 핵심 역할을 하는 자질이 현재로서는 체계적으로 적절히 활용되고 있다”면서도 “시간이 지남에 따라 효용성에 변화가 있을 수 있으므로, 자질에 대한 꾸준한 검증이 필요할 것”이라고 강조했다.
검토위는 이같은 검토 결과를 토대로, 학습 데이터 구축 주기를 더욱 단축하고 다양한 연령층을 포괄할 수 있는 알고리즘 연구개발에 힘쓸 것을 네이버에 권고했다. 아울러 ‘좋은 기사’에 대한 공통 기준을 확립하고 기사 품질 평가 방법을 개발해 주기적으로 실행할 것과, 그 결과를 문서화해 전체 서비스에 공유하는 업무 관리체계를 갖출 필요가 있다고 강조했다.
이같은 검증 결과를 놓고 사람의 개입이 없는 기계적 공정함이 능사인가에 대한 지적이 나왔다. 김용찬 검토위 위원은 “이는 뉴스 알고리즘에 언론사 평판, 생산 전력 등을 얼마나 반영하냐인데 어려운 문제”라며 “네이버의 심도 있는 논의가 필요하다”고 말했다.
맹성현 위원장도 “공정성이 100% 만족되는 알고리즘은 존재하지 않는다”면서 “위원회는 알고리즘 조직상 문제가 있는지 여부를 본 것”이라고 덧붙였다.
네이버가 알고리즘을 공개해야 하는지에 대한 공방도 제기됐다. 이에 대해 맹성현 위원장은 “알고리즘을 공개하면 투명성은 확보할 수 있을 지언정 이는 기업 기밀이고, 공개되는 순간 어뷰징(반복 전송) 같은 이를 악용하는 기사가 속출할 수 있다”며 우려를 나타냈다.
알고리즘 검토 과정에서 검토위는 각 분야의 기술 프로세스에 대한 세부 내용을 파악할 수 있는 문서와 학습 데이터 샘플 등에 대한 상세 내용을 네이버 측으로부터 공유 받았다.
맹 교수는 “전문가 집단이 한 인터넷 기업의 서비스 전반에 걸친 알고리즘과 이에 반영되는 자질을 구체적으로 검토하고, 발전 방안을 논의한 것은 세계 최초의 시도로, 매우 고무적인 일”이라고 평가했다.
이어 “네이버가 이용자 피드백을 수집하고 반영해 실제 이용자들의 검색 품질 만족도를 꾸준히 평가하고 있음을 확인했다”면서 “뉴스 검색 서비스 영역에서 명확한 가이드라인을 기반으로 품질평가 방향이 정립돼 있었고, 앞으로도 계속 이러한 시스템을 정착시키는 것이 중요할 것”이라고 전했다.
맹 교수는 “네이버 뉴스 알고리즘 검토 위원회를 진행하며 전달한 위원회의 의견들이 공적 가치와 기업적 가치를 동시에 추구해야 하는 뉴스포털로서의 네이버가 더욱 신뢰받고 국제적 경쟁력에서도 밀리지 않는 플랫폼으로 진화하는데 소중한 밑거름이 될 수 있기를 바란다”고 덧붙였다.
<저작권자(c) 노컷뉴스, 무단 전재-재배포 금지>
