Semantic Web은 과연 어떤 분야에 적용할 수 있을까요? 개인적인 생각으로는 Semantic Web은 구조화된 웹이라는 변화속에서 거의 모든 다양한 분야에 스며들어갈 것이라고 생각합니다. 요즘 이러한 Semantic Web이 실제로 많은 도움을 줄 수 있는 분야를 찾던 차에, 마침 '검색'이라는 분야에 관심이 생겨, 관련내용을 잠시 살펴보았습니다. 그래서 이번 글에서는 검색이라는 분야에 Semantic Web이 적용될때의 가능성에 대해서 알아보겠습니다. (개인적으로 검색에 대해서는 기초적인 수준의 이해조차 부족합니다 ^^; 부족한 점, 틀린 점이 있으면 따끔히 지적해주세요)
정보 검색의 현재
현재의 정보검색은 근본적으로, 구조화되지 않은 데이터(Unstructured Data)속에서 정보를 효율적으로 찾는데 초점을 맞추고 있습니다. 본질적으로 현재의 웹이 비구조적인 형태를 띄고 있기 때문에 당연한 접근방법이기도 합니다. 웹 문서(Document)들의 구조를 한번 살펴보세요. 우리가 찾고자 하는 정보에 비하면, 문서 자체에 대해 기술하는 정보는 정말 미약한 수준입니다. 따라서, 현재까지의 정보검색도 기본적으로 빈도-정확도 중심의 접근법을 벗어나지 못하고 있는 것일테구요.
아래는, 하니가모님이 만드신 Text Retrieval and Mining이란 자료에 나온, 정보 검색의 아키텍쳐 다이어그램입니다.
이 다이어그램을 기반으로 이해해보면, 정보검색은 아래의 4가지 요소로 나눠볼 수 있습니다. 하나씩 살펴보며, 각각이 지닌 한계를 알아보겠습니다.
- 웹 문서를 분석하고 텍스트 처리를 하는 Text(Document) Analysis
여기서는 문서를 대표하는 단어인 '색인(Index)'이 중심이 됩니다. 하니가모님이 지적하신대로 현재의 색인 모델은, 동음이의어,상위어,연관어등의 개념관계를 반영하지 못합니다. 필요하면 별도의 후처리 작업을 거치게 됩니다.
- Text Anaysis에서 구축한 색인(Index)와 질의(Query)간의 상관관계를 분석하고, 적합한 결과를 알려주는 Matching(Ranking)
이 과정에서는 문서와 단어간의 유사도를 계산해 가중치를 매기고, 이를 바탕으로 랭킹을 만들게 됩니다. (여기서 주로 사용되는 TF-IDF 모델에 대한 설명은 이 글을 참조하세요) TF-IDF 모델의 단점이라면, 이 글에서 언급된 것처럼 '문서에 사용자가 언급한 단어가 직접 명시되어 있지 않으면 무용지물'이라는 점이겠지요. 구글의 Page Rank모델등이, 웹 문서 링크간에 나타나는 네트워크적인 속성을 활용했지만(Link Structure) 이런 근본적인 문제를 모두 해결해주지는 못합니다.
- 사용자의 질의를 분석해서, 원하는 것인지를 분석해내는 Needs(Query) Analysis
사용자는 기본적으로 자신이 원하는 의도를 자세히 표현하지 못합니다. 그러기엔 연상비용의 너무 크기 때문이죠. 따라서 상당히 함축된 형태로 의도를 표현하는 사용자 질의에 대해, 여러가지 접근법이 필요해집니다. 질의를 사전 데이터와 비교해 확장하는 Query Expansion같은것이 좋은 대안 중 하나라고 하겠지요 (하지만, 구축된 DB에 의존하기에, DB구축비용이나 선별이 만만치 않겠지요)
- 최종적으로 이런 대응된 결과값을 표현해주는 Result Retrieval
결과 표현은 사실, 조금 다른 문제이긴 합니다. 랭킹을 어떻게 표현할것인가를 넘어서는 다양한 가능성이 존재하는 부분이기도 합니다. 1) 결과를 어떻게 조직하고, 2) 어떻게 표현할것인가를 복합해서 생각해야 하겠지요. 국내에서의 흐름만 보아도 단순히 '통합검색'이라고만 보기에는 더 많은 Factor들이 작용하고 있는 것 같습니다. 일단, 이해를 넓히기 위해서는, 시루님이 공개해주신 웹에서의 정보시각화 현황 - 검색분석 서비스 관점이라는 문서를 참고하시면 좋을것 같네요.
Semantic Web이 검색을 만날때
Semantic Web이 과연 무엇이길래, 이러한 정보 검색(Information Retrieval) 분야에 대한 해결책을 제시한다는 걸까요?
Semantic Web이 뭐길래
이 글에서 언급했던 것 처럼, Semantic Web은 크게 아래의
- 구조화된 데이터 정의 및 구축 (Web Ontology)
- 그 구조화 데이터간의 연결 (Linked Data)
이라는 두 가지 관점에서 볼 수 있겠습니다. 1은 여태까지의 Web은 거의 구조적이지 못했기에, 기본이 되는 문서와 데이터에 구조를 심자는 것이고 , 2는 그 구조화된 데이터간의 연결을 통한 가능성에 초점을 맞춘 것이지요. 자세한 내용은 이 팀블로그를 통해 계속 접하시게 될겁니다 ^^
Semantic Web이 검색을 만나면?
자, 그럼 이 글에서는 이런 Semantic Web이 검색 아키텍쳐에서 어떻게 적용가능할까?를 살펴보겠습니다. 다시 한번 정보검색의 4가지 요소를 들여다봐야겠군요
- Text(Document) Analysis - 구조화된 데이터들을 찾기
구조화되지 않은 문서 안에서, 최대한 구조라고 할 수 있는 요소들을 추출하고 분석하는 것. 이것이 여태까지 IR(정보검색)이 집중했던 방향이라고 할 수 있겠습니다. 반면, 웹에 조금씩 구조화된 데이터들이 늘어난다면 어떨까요? 그 가능성을 한번 활용해봐야하지 않을까요? 얼마 전 Yahoo가 발표한 Semantic Web을 검색에 도입하겠다는 발표가 바로 이 맥락에서 이해될 수 있습니다. 여태까지는 메타데이터가 황폐하다시피 없어서 웹 문서를 쥐어짜야(!)했지만, 이제는 곳곳에 퍼지고 있는 메타 데이터를 한번 활용해보자는 것이지요. 따라서, 검색의 관점에서는 이런 사용자의 질의 의도에 맞는 메타 데이터군을 선택해서, 좀 더 유의미한 결과들을 찾아낼 수 있게 됩니다.
이런 구조화된 데이터가 언제 쌓이겠느냐구요? Tim Berners Lee가 말한것처럼 일반 웹 페이지로부터 메타데이터를 추출하는 식의 Top Down Approach가 대세일수도 있구요. 컨텐츠 자체에 메타 데이터를 심거나 , 추가하는 RDFa나 Microformat 같은 시도들이 대세가 될 수도 있습니다. 분명한건 변화는 지금 양쪽에서 모두 일어나고 있고, Major Vendor들이 촉각을 세울만큼 진전되어 가고 있다는 점이지요.
- Matching(Ranking) - 문서 ,단어의 연결과 유사도
빈도에 따른 가중치에, 문서 연결관계 속의 구조라는 양념을 더한 것이 여태까지의 접근 방법이었다면, 여기서 한 걸음 더 나아가면 어떨까요? 1) 문서와 문서 , 문서와 단어, 단어와 단어 사이의 유사도를 파악해 이용해 보는 겁니다. 2) 그리고 이런 유사도 비교에는 기존에 구축해놓은 온톨로지가 상당 부분 이용될 수도 있겠구요. 3) 구조화된 데이터를 이용할 수도 있습니다. 구글의 Social Graph와 같이, 연결관계를 규정해놓은 API들로 인해, 데이터간의 관계가 쉽게 확보된다면, 굳이 문서 차원의 비교가 아니라, 메타데이터에서 유도된 문서들을 찾아도 될테니까요
물론, 이 부분에도 다른 부분처럼 많은 분야의 연구가 있어왔습니다. Data Clustering이나 Document Classification과 같은것은 여러 분야에서 논의되어온 고전적인 주제이니까요. 다만, Semantic Web은 여기에서도 작은 부분 - 온톨로지와 구조화된 데이터-을 통해 새로운 가능성을 제공합니다.
사실, Semantic Web이 많은 가능성을 보이는 부분은 이 부분입니다. 사용자가 '무엇'을 궁금해 한다고 질의를 던질때. 그 '무엇'이 담긴 '의도(Intention)'을 우리는 잘 잡아내지 못하기 때문입니다. 가장 기초적인 동의어, 동음이의어와 같은 문제도 아직 제대로 해결되었다고 볼수는 없는 상황이구요. 질의를 온톨로지와 비교하고, 확장해나가면서, 사용자의 진짜 의도를 찾아내는 것. 어쩌면 이 부분이 검색이 새로운 가능성을 무궁무진하게 펼칠 수 있는 부분이 아니겠냐는 생각을 해봅니다.
얼마전에 서점에 들렸다가 우연히 발견한, 노영희 교수님의 '개념 기반 정보검색 기법(Concept-based Information Retrieval Techniques)'란 책에서는, 사용의 질의를 온톨로지 기반의 지식 베이스(Knowledge Base)와 비교해, 질의 확장(Query Expansion)하는 방법을 제안하고 있습니다. 책을 마저 읽어보아야 겠지만 무척 재미있습니다. 이러한 지식베이스는 어떻게 만드느냐구요? 문헌 정보학이나 자연어처리쪽에서 논의되어온 학습이나 통계에 기반한 다양한 기법이 있다고 하네요. (구글에서 '동적 시소러스'로 검색해보시면 관련된 재밌는 연구들이 여럿 나옵니다) 이래저래 재밌고, 가능성이 숨겨진 부분입니다.
결과를 어떻게 보여주느냐의 문제는 사실, 특정 기술에 국한된 것은 아닙니다. 가장 사용자에게 맞닿아있는 부분이며, 기술이 아닌 사용자 경험이 중요시되는 부분이기도 합니다. 태그 클라우드도, 결과 클러스터링도, 요즘 선보이고 있는 많은 검색 솔루션들이 실험적으로 구축하고 있는 인터페이스들이 어필하는데 실패하는 이유는 '사용자'라는 가장 복잡한 존재와 닿아있기 때문입니다. 그래서, 단순 Text + Ranking List 식의 사용자 경험이 오랫동안 검색 서비스의 (어쩔수 없는)대안이 되어왔는지도 모르겠습니다.
이 부분에 대해서는 정보의 '관계'와 '구조'에 가능성이 있다는 얘기를 거듭할 수 밖에 없겠네요. 일단 야후가 보여주었던 것처럼, 메타 데이터의 종류에 따라, 각기 다른 표현 방법을 사용하는 것도 대안이 될 수도 있겠구요. 파란의 Stars처럼, 정보의 관계에 집중해서, 사용자가 미처 떠올리지 못했던 의도를 '펼쳐'보여줄 수도 있겠습니다. 좀 더 진득한 논의를 기대하셨다면, 실망하셨겠네요. 대신, 정보 시각화쪽으로는 일단 Ben Fry의 Computerational Information Design의 일독을 추천해드립니다.
Semantic Web과 검색의 동상이몽
물론, 아직 두 분야간에는 많은 이견이 존재합니다. IR and SW communities라는 글의 내용처럼, 정보검색분야는 이미 구축한 정형화된 방법론의 틀안에서 개선을 원합니다. IR의 기본 토대는 그대로 두면서, 다른 분야의 성과들을 따져서 하나 둘 도입해보려는 입장이지요. 반면에 Semantic Web과 관련 분야의 연구는, 대체적으로 IR의 작은 분야 하나하나를 겨냥한것이 대부분입니다. 하지만, 점차 연구의 폭을 넓혀가면서 굳이 IR의 기존 방법론에 구애받지 않는 다양한 시도들을 시험해보려고 하고 있는 것이지요.
사실, 학문적인 성과가 아닌, 실제 세상에 얼마나 기여를 할 수 있느냐, 즉 어떤 방향이 더 성공할 수 있느냐? 라고 묻는다면, 딱히 정답은 없는 것 같습니다. 다만, 그만큼 Semantic Web이 바라보고 있는 가능성들이, 다른 분야들의 성과와 맞물려 새로운 가능성을 창출할 수 도 있겠다는 생각을 해보는 것이지요.
분명한 것은 그러한 가능성이 점차 구체화되고, 실현되고 있고, '검색'이라는 분야도 그 흐름을 비껴가지는 않을것이라는 것입니다. 변화의 흐름은 이미 시작되었으니까요.
이 글은 스프링노트에서 작성되었습니다.
이올린에 북마크하기
이올린에 추천하기
