컴퓨터에서 작업하는 로봇, 이미지 크레디트: Venturebeat
생성형 AI는 항상 검색을 뒤엎어 왔습니다. 거의 모든 질문에 대한 답을 찾을 수 있는 기술입니다. 그리고 검색의 세계를 변화시키는 과정에서 AI 개발자들은 검색과 생성형 AI를 더욱 결합할 수 있는 것에 매달렸습니다.
생성형 AI는 사람들이 정보를 묻고 찾는 방법, 답변을 얻기 위해 데이터를 얻는 방법, 기업이 고객에게 이 정보를 제공하기 시작하는 방법이라는 검색의 세 가지 필수 측면을 변화시켰습니다.
수년 동안 Google은 검색을 지배해 왔습니다. 검색 트래픽의 거의 82%를 차지하는 지배적인 검색 엔진으로서 사용자와 고객이 정보를 찾는 방법과 브랜드가 결과에 표시되는 방식을 결정합니다. 기업은 검색 엔진 최적화(SEO) 전략에 의존해야 했고, 사람들은 쿼리를 키워드 샐러드로 구성했습니다. 항상 좋은 결과를 낳은 것은 아니었지만 무난했고 모든 사람이 질문을 키워드로 번역하고 결과 페이지의 웹 사이트 목록 중 원하는 것이 있을 수 있는 웹 사이트를 해석하는 방법을 배웠습니다.
대규모 언어 모델(LLM)은 특히 OpenAI의 ChatGPT와 같은 챗봇에 배포될 때 이를 변화시켰습니다. 사람들은 갑자기 원하는 질문을 할 수 있고(가드레일 이유 내에서) 바로 답변을 받을 수 있습니다. 일련의 웹 사이트를 클릭할 필요가 없습니다. 모든 것이 설명됩니다.
데이터 관리 플랫폼 Yext의 최고 데이터 책임자인 Christian Ward는 VentureBeat와의 인터뷰에서 "검색 결과를 이해하고 결과를 설명하기 위해 분명한 방식으로 대화할 수 있는 AI가 있다면 500만 페이지의 결과를 검토하는 것에 비해 엄청난 발전이 될 것"이라고 말했습니다.
키워드 대신 질문하기
생성형 AI는 이제 사람들이 키워드에 집중하는 대신 자연어로 실제 질문을 하도록 장려합니다. 사람들이 충분히 좋은 웹사이트를 찾을 필요 없이 필요한 정보를 볼 수 있도록 합니다.
AI 회사인 Perplexity는 이러한 검색 방법의 변화를 활용하여 코드나 아트를 생성할 수 있는 챗봇이 아닌 검색 엔진으로 포지셔닝했습니다. 이 회사는 데이터를 더 잘 수집하기 위해 Yelp 및 Wolfram Alpha와 같은 데이터 제공업체와 파트너 관계를 맺었습니다. 이 전략은 효과가 있었습니다. 벤처비트(VentureBeat)는 퍼플렉시티(Perplexity)의 플랫폼이 트래픽 추천에서 성장했다고 보고했습니다.
Google조차도 Google I/O 중에 데이터에 대한 방대한 액세스를 사용하여 인터넷 검색을 수행할 수 있다는 것을 깨달았습니다. Google 검색을 Gemini 챗봇에 통합하는 것 외에도 쿼리 결과를 요약하는 AI 개요를 도입했습니다.
그러나 기업의 경우 질문을 할 때 자연어를 사용하는 방법을 배우는 것만이 아닙니다. 또한 문서를 기반으로 답변할 수 있어야 합니다.
RAG는 엔터프라이즈 검색의 게임체인저입니다
RAG(검색 증강 생성: Retrieval Augmented Generation)는 모델 제공업체가 기업에 추가 서비스를 제공할 방법을 모색함에 따라 생성형 AI 분야에서 큰 트렌드가 되고 있습니다. RAG를 통해 기업은 자체 데이터에서 AI 모델을 "접지"하여 회사 내 문서에서 결과를 얻을 수 있습니다.
"LLM이 상당히 좋아졌기 때문에 갑자기 많은 것을 할 수 있습니다. 하지만 실제로 고객 지원 및 기타 내부 사용 사례와 같은 사례에 대한 관심이 많았는데, 이는 기업들이 관련된 위험에 대해 매우 잘 알고 있기 때문입니다"라고 MongoDB의 제품 관리 이사인 Ben Flast는 말했습니다.
그는 RAG 아키텍처의 가치는 실제 문서를 참조할 수 있는 기능에 있어 사용자가 원하는 답변에 쉽게 접근할 수 있다는 데 있다고 덧붙였습니다.
AWS(Amazon Web Services) 및 Microsoft와 같은 하이퍼스케일러는 고객에게 RAG 관련 서비스를 제공하기 시작했지만 RAG 생태계는 성장하고 있습니다. Elastic, Pinecone 및 Qdrant와 같은 회사는 지식 그래프를 RAG 프레임워크에 매핑하기 위한 벡터 데이터베이스를 제공합니다. Flast는 또한 RAG 시스템용 모니터링 도구가 아직 초기 단계라고 지적했습니다.
기업은 RAG를 점점 더 많이 수용하고 있지만 현재로서는 여전히 환각에 빠지기 쉽기 때문에 많은 사용 사례가 내부에 남아 있습니다. 제공업체는 기업이 RAG 모델을 먼저 평가하도록 권장합니다. Amazon Q 제품을 통해 RAG를 생성형 AI 전략의 큰 부분으로 만든 AWS는 RAG 결과의 정확성을 테스트하는 새로운 방법을 고안했습니다.
회사별 검색 플랫폼이 미래가 될 수 있습니다
RAG가 성장함에 따라 기업은 검색에서 또 다른 변화에 직면할 수 있습니다. 검색어를 게시할 수 있는 많은 방법이 계속 증가하고 있으므로 기업은 데이터를 직접 제공할 것인지 아니면 Google과 같은 정보 수집업체에 수동적으로 정보를 계속 제공할 것인지 파악해야 합니다. 이를 통해 고객에게 정보를 제공하는 방법을 제어할 수 있습니다.
Yext의 Ward는 모든 회사가 RAG와 생성형 AI로 구동되는 자체 검색 플랫폼을 구축하여 고객이 브랜드 데이터를 기반으로 최고의 정보를 찾을 수 있는 시대가 올 것이라고 말했습니다. 자체 데이터로 검색을 시작하는 기업은 고객에게 제품 및 서비스에 대한 구체적인 답변을 제공할 수 있습니다. 예를 들어, 누군가 Everlane의 바지가 몇 가지 색상으로 나오는지 알고 싶어합니다. Google과 같은 대형 검색 엔진으로 이동하는 대신 Everlane 웹사이트로 이동하여 플랫폼에 질문을 할 수 있습니다.
"검색의 끝은 아니지만 특정 검색어에 대한 검색의 분산이 있을 수 있습니다. 가장 가까운 피자 가게를 알고 싶다면 구글이 필요한 곳이지만, 가게의 알레르겐 정보를 알고 싶다면 가게 자체에 물어봐야 한다"고 말했습니다.
이상의 기사는 2024년 7월 4일 VentureBeat에 게재된 “AI is upending search as we know it”제목의 기사내용을 편집하여 작성하였습니다.
* 원문정보 출처 : AI is upending search as we know it | VentureBeat
저작권자 ⓒ 창조아고라, 무단 전재 및 재배포 금지