용어 색인

A   B   C   D   E   F   G   H   I   J   K   L   M   N   O   P   Q   R   S   T   U   V   W   X   Y   Z


용어 색인

A   B   C   D   E   F   G   H   I   J   K   L   M   N   O   P   Q   R   S   T   U   V   W   X   Y   Z


용어 색인

A   B   C   D   E   F   G   H   I   J   K   L   M   N   O   P   Q   R   S   T   U   V   W   X   Y   Z

용어

분할 테스트

간략한 정의

분할 테스트는 웹 사이트 또는 디지털 자산에 유입된 트래픽을 사용하여 각 방문자에게 서로 다른 경험 또는 서로 다른 콘텐츠를 임의로 할당한 다음 각 방문자의 활동을 추적함으로써 서로 다른 경험이 결과에 미치는 영향을 확인하는 작업입니다.

주요 내용

 

분할 테스트는 고객 세그먼트가 다양한 변화에 어떻게 반응하는지를 살펴봄으로써 고객 경험을 최적화해 나갈 수 있는 손쉬운 방법입니다. 

테스트의 두 가지 주요 형식으로 A/B 테스트와 다변수 테스트(MVT)가 있습니다. 

분할 테스트를 할 때 주로 하는 실수는 테스트가 끝나기 전에 결과를 보려고 하는 것입니다. 

테스트에 대한 목표 또는 가설을 세우고, 테스트 결과를 바탕으로 변경 사항을 적용해야 합니다.


Q: 분할 테스트란 무엇입니까?

A: 분할 테스트는 웹 사이트 또는 모바일 앱과 같은 디지털 경험으로 유입되는 트래픽을 서로 다른 그룹으로 무작위로 할당한 다음, 각 그룹에 서로 다른 콘텐츠나 경험을 제공하는 것입니다. 분할 테스트의 목표는 서로 다른 경험을 전달했을 때 클릭, 구매, 뉴스레터 구독 신청 등 특정 결과를 얻게 되거나 고객 전환율이 향상되는지 확인하는 것입니다.

Q: 분할 테스트의 유형은 어떤 것이 있습니까?

A: 가장 일반적인 유형은 A/B 테스트와 다변수 테스트입니다. A/B 테스트는 방문자가 볼 수 있는 각각의 전체 경험을 수동으로 지정하는 것으로 여러 개의 콘텐츠를 조합하여 하나의 전체 경험 또는 하나의 전체 뷰로 전달할 수 있습니다. 이 유형의 테스트는 두 가지 경험만 테스트할 수 있는 것이 아니라 그 이상도 가능하므로 A/B/C/D... n 테스트라고 표현하는 것이더 정확합니다.

다변수 테스트는 여러 개의 구성 요소를 자동으로 결합하여 최종 경험을 만드는 것으로, 헤드라인 텍스트, 이미지, 클릭 유도 문안 버튼 등의 구성 요소를 다른 버전의 헤드라인 텍스트, 다른 이미지, 다른 색상의 클릭 유도 문안 버튼 등으로 만들어 테스트합니다. 여러분이 구성 요소의 각 버전을 만들면 시스템에서 각 버전의 조합을 자동 생성합니다.

둘 중에 A/B 접근 방식이 더 간단합니다. 방문자에게 전달되는 다양한 경험을 전부 볼 수 있기 때문입니다. 하지만 테스트 설정에 시간이 오래 걸립니다. 테스트하려는 기능의 수에 따라 조합을 모두 생성하다 보면 경험 버전을 50개 이상 만들어야 할 수도 있습니다. 

다변수 테스트는 조합 프로세스를 자동화하지만 이렇게 만들어낸 각각의 조합이 실제로 보기 좋아야 한다는 문제가 남습니다. 예를 들어 보라색 배경에 빨간색 버튼이 조합되면 시각적으로 아름답지 않을 수 있습니다. 이와 같이 각 구성 요소가 조합되었을 때 실제로 잘 어울리도록 신경 써야 합니다.

Q: 테스트 결과를 분석하는 방법에는 어떤 것이 있습니까?

A: 두 가지 주요 통계 분석 방법이 있습니다. 첫 번째 방법은 T 테스트(Student's T-Test)이고, 두 번째 방법은 멀티암드 밴딧(MAB)으로 알려진 방법입니다.

멀티암드 밴딧 접근 방식의 주요 이점은 훨씬 더 유연하게 결과를 살펴볼 수 있다는 것입니다. 반면, 전통적인 T 테스트는 분석이 정형화되어 있습니다. T 테스트는 테스트에 앞서 테스트에 사용할 트래픽 양, 테스트 실시 기간, 기대 검정력 등을 설정해야 합니다. 이 모든 데이터를 살펴보고 표본 크기를 계산기로 계산하고 테스트를 실시해야 하는 기간을 결정한 다음, 해당 테스트 기간이 끝난 시점에만 결과를 살펴보아야 합니다.

테스트가 끝난 시점에만 결과를 확인하는 것은 기업에 매우 어려운 일입니다. 테스트 조건을 제대로 준수하기 위해서는 이 통계 분석에 대한 충분한 정보를 회사의 모든 구성원에 알려야 하기 때문입니다. 보통, 사람들은 테스트가 시작되고 1시간 경과된 시점, 2시간 경과된 시점, 2일 경과된 시점의 결과를 확인하고 싶어합니다. 그래서 한두 시간 지난 후 살펴보고 테스트 결과가 안 좋으면 손해가 나는 것으로 생각합니다. 하지만 다양한 버전을 테스트하고 있기 때문에 전체 견본 크기가 끝나는 시점에 도달할 때까지 기다려야 결과를 볼 수 있는데, 사람들이 이 전체 과정을 기다리지 못하고 어기는 바람에 테스트 검증이 실패로 돌아가게 됩니다.

멀티암드 밴딧 접근 방식의 경우 원할 때마다 결과를 볼 수 있습니다. 언제나 정확한 결과를 확인할 수 있고, 테스트 결과에 영향을 주지 않고도 초반부터 결과를 볼 수 있습니다. 

두 테스트의 또 다른 차이점을 보면, T 테스트의 경우 테스트하는 각각의 버전에 대해 많은 것을 파악할 수 있으므로 어떤 옵션이 효과가 있고 어떤 옵션이 효과가 전혀 없는지 확인할 수 있습니다. 멀티암드 밴딧의 경우 어떤 것이 효과가 있는지는 확인할 수 있으나 서로 비교할 수 없으므로, 두 번째로 효과가 있는 옵션, 세 번째로 효과가 있는 옵션, 네 번째로 효과가 있는 옵션이 각각 어떤 것인지 알 수 없습니다. 가장 효과가 있는 옵션만 알고 싶다면 멀티암드 밴딧이 적합하고, 더 과학적인 접근 방식을 이용하여 각각의 옵션을 이해하고 싶은 경우라면 T 테스트가 더욱 나은 통계 방법입니다.

Q: 분할 테스트를 수행하려면 어떻게 해야 합니까?

A: 랜딩 페이지와 같이 기업이 테스트하려는 구성 요소를 방문자가 이용하려고 할 때마다 요청이 전송되고, 이 요청은 일반 콘텐츠를 웹 페이지에 표시하는 대신, 일종의 테스트 서비스로 전달되어야 합니다. 이러한 테스트는 내부적으로 수행할 수도 있고, 또는 타사의 분할 테스트 툴을 이용해 실시할 수도 있습니다.

테스트 툴은 이 방문자가 누구인지 살펴보아야 하며, 방문자가 테스트에 포함되어 있는지 확인해야 합니다. 테스트에 포함된 방문자라면 이 방문자에게 기존의 테스트 콘텐츠를 전달합니다. 테스트에 포함되지 방문자라면 테스트 서비스는 임의 할당을 수행하고 이 방문자에게 콘텐츠를 표시하기 전에 새로운 경험을 전달합니다.   

그다음으로 테스트 서비스는 성공 여부를 추적해야 합니다. 테스트를 설정할 때에는 목표를 구체적으로 정하여 사용자 참여에 미친 영향을 측정하지 않은 채 콘텐츠를 변경하는 일이 없도록 합니다. 이를 위해 초반에 가설을 수립해야 합니다. 즉, 콘텐츠를 변경하면, 더 많은 사람이 클릭할 것이다 또는 장바구니에 제품을 추가할 것이다 또는 구매를 할 것이다 등의 가설을 세웁니다. 그리고 테스트 서비스를 통해 이러한 지표를 추적하면서 애초에 유도한 동작을 방문자가 하는지 확인하고, 그런 다음 해당 동작을 방문자가 본 경험에 연결해야 합니다.

Q: 분할 테스트 결과를 실행에 옮기려면 어떻게 해야 합니까?

A: 세그먼트별로 결과를 살펴보고, 전 세그먼트에 걸쳐 공통적으로 효과가 있는 것으로 나타난 옵션이 있는지 또는 세그먼트마다 서로 다른 옵션이 효과가 있는 것으로 나타났는지 확인합니다. 그러고 나서 결과를 코드로 작성하여 경험을 만든 다음 모든 세그먼트에 제공할 페이지를 업데이트하든지 아니면 세그먼트마다 다른 버전의 페이지를 전달합니다.

기업의 리소스와 역량이 충분하다면 페이지나 경험을 구축한 것으로 작업을 끝내지 않는 것이 좋습니다. 인구통계학적 정보와 환경이 끊임없이 변하기 때문에 페이지나 경험에 대해 테스트를 지속적으로 수행하여, 계속 새로운 아이디어를 내야 합니다.

Q: 분할 테스트가 중요한 이유는 무엇입니까?

A: 고객에게 아무것도 부탁하지 않고 고객으로부터 정량적 데이터를 확보할 수 있는 가장 간편한 방법입니다. 포커스 그룹도 필요 없습니다. 고객에게 일상생활을 잠시 접어두고 회사 실험실에 나와달라고 할 필요도 없습니다. A/B 테스트를 실시하면 고객들이 브랜드와 일상적으로 상호 작용하는 동안에 고객에게 접근할 수 있습니다. 고객은 테스트가 진행되고 있는지조차 모릅니다.

분할 테스트는 변경 사항을 대규모로 적용한 다음 성공하기만을 바라는 것보다 더 비용 효과적입니다. 성공하기만 바라고 있으면 지표를 추적하기 어려워 변화의 효과를 확인하기 힘듭니다.

Q: 분할 테스트를 최적화하려면 어떻게 해야 합니까?

A: 콘텐츠의 측면에서 변화가 클수록 좋습니다. 녹색이 감도는 블루에서 남색 계열의 블루로 색상을 미세하게 바꾸고 눈에 띄는 결과를 기대하기는 어렵습니다. 또한, 바뀐 콘텐츠가 방문자 행동에 직접적으로 영향을 줄 수 있게 해야 합니다. 다시 말해 홈페이지에 있는 이미지를 변경하고, 고객이 이를 본 후 10페이지 뒤에 제품을 구매하게끔 유도하려는 경우 분석에 엄청난 노이즈가 들어가게 되므로 추적이 상당히 어려워집니다. 실제로 전환할 옵션이 있는 페이지에 변경 사항을 적용하고 테스트하는 것이 더 좋습니다.

Q: 분할 테스트를 수행하는 데 필요한 툴에는 어떤 것이 있습니까?

A: 먼저, 직원이 낸 훌륭한 아이디어를 추적할 툴이 필요합니다. 다양한 조직 구성원들이 내놓는 아이디어를 수집하고 이 중에서 어떤 아이디어를 테스트할지 정하는 것입니다. 따라서 간단한 화이트보드나 Excel 스프레드시트와 같은 프로젝트 플래너가 필요합니다. 현재 수행 중인 작업을 추적해야 테스트를 어느 기간 동안 수행하고 결과를 언제 살펴볼 수 있는지 파악할 수 있습니다.

필요한 툴 중 가장 기술적인 테스트 툴은 사이트에 유입되는 트래픽을 실제로 분할하고 변경 사항의 성과를 측정하는 툴입니다. 패키지 서비스를 사용하지 않는 경우에는 결과를 개별 방문자에게 연결하여 정확하게 결과를 해석하기 어려울 수 있습니다. 세션당 방문자가 무엇을 했는지 파악해야 하며, 이것을 방문자에게 전달된 콘텐츠와 연결해야 합니다.

Q: 분할 테스트 수행 시 직면하게 되는 문제에는 어떤 것이 있습니까?

A: 직면하게 되는 가장 큰 문제는 테스트가 끝나기도 전에 경영진이 결과를 보려는 것입니다. 경영진은 테스트를 적용한 지 2시간 만에 결과를 보고서 새 경험의 성과가 형편없다고 생각하게 됩니다. 하지만 어떤 결과든지, 심지어 정상적인 웹 트래픽 결과도 짧은 시간 동안 보면 위아래로 요동치며 매우 불규칙적으로 움직입니다. 따라서 테스트가 종료되기 전에 결과를 보면 변경 사항을 조기에 폐기하는 잘못된 의사 결정을 내릴 수 있습니다.

마케팅 담당자 중 정식으로 통계학을 배운 사람이 아주 드물기 때문에, 테스트 수칙을 지키는 것이 얼마나 중요한지 알 만큼의 배경지식이 없어 위와 같은 함정에 빠지기 쉽습니다.

전형적인 A/B 테스트의 문제는 사이트의 평균 방문자에게 가장 적합한 경험을 찾는 것입니다. 하지만 사실 "평균" 방문자가 없을 수 있습니다. 예를 들어 한 신발 매장을 찾는 사람 중에 $300짜리 고급 신발을 사는 고객 그룹이 있는가 하면, 몇 달러짜리 양말을 사는 그룹이 있을 수 있습니다. 이 경우 이 매장의 평균 주문액은 $100이지만 실제로 $100를 지출하는 고객은 한 명도 없습니다. 그 결과, 존재하지도 않는 평균 고객 그룹에 최적화된 옵션을 제시하게 됩니다. 여러분의 데이터에는 여러 개의 최고점과 최저점이 있을 수 있습니다.

이 경우 분석을 통해 각 그룹에 효과가 있는 경험을 찾아야 합니다. 즉 양말 구매 고객에게 어필하는 경험과 신발 구매 고객을 위한 경험을 찾습니다. 그러면 고객의 구매 습관에 따라 다양한 버전의 사이트를 방문자에게 계속 전달할 수 있습니다.

Q: 분할 테스트의 한계는 무엇입니까?

A: 분할 테스트는 한 시점만을 살펴보기 때문에 근시안적일 수 있습니다. 전체 고객 여정을 테스트하기에는 데이터가 너무나 많을 뿐만 아니라 각 방문자 간의 차이도 너무 커 정확하게 추적하기 어렵기 때문입니다.

분할 테스트에서 나오는 모든 데이터는 정성적 데이터가 아닌 정량적 데이터입니다. 그래서 특정 방문자 그룹이 빨간색 버튼보다 파란색 버튼을 좋아하는 이유가 무엇인지, 특정 구성 요소를 더 선호하는 이유가 무엇인지는 알 수 없고 방문자가 보인 행동만 알 수 있습니다. 이와 같은 한계를 극복하기 위해 분할 테스트와 함께 정성적 유용성 테스트를 같이 실시하기도 합니다. 이때 정성적 유용성 테스트는 기업이 가장 주목하는 여러 세그먼트를 대상으로 녹화 세션, 대면 포커스 그룹, 인터뷰 등의 방법을 통해 실시합니다.

Q: 아무 채널에서나 분할 테스트를 수행할 수 있습니까?

A: 마케터가 제어할 수 있는 채널이라면 어디서나 테스트를 수행할 수 있습니다. 자신이 특정 채널을 얼마나 통제할 수 있는지 알아야 합니다. 예를 들어 이메일 테스트는 까다로운 작업입니다. 일부 브랜드는 수신자가 이메일을 열면 이미지가 즉시 로딩되면서 해당 이미지에서 테스트가 실행되는 열람 시간 테스트를 실시합니다. 하지만 많은 이메일 제공업체가 이러한 콘텐츠를 캐시로 보관하기 때문에 각 수신자가 서로 다른 버전의 이미지를 받아보는지 확인할 수 없습니다.

Q: 분할 테스트는 비용 효과적입니까?

A: 분할 테스트는 ROI에 영향을 미치는 변수는 매우 많지만, 그래도 변경 사항을 전면적으로 적용하여 효과가 왜 생각만큼 나지 않는지를 고민하는 것보다는 비용이 덜 듭니다. 후자의 경우 문제가 무엇인지 알아낼 데이터도 없습니다. 또한 분할 테스트를 하지 않고서는 수익성 개선이라는 목표를 달성하기 위해 잠재적으로 위험성이 있는 변화를 시도할 확신을 가질 수 없을 것입니다.

Q: 분할 테스트는 얼마나 자주 실행해야 합니까?

A: 원칙적으로 일단 테스트가 시작되면 모든 것을 자동으로 테스트하고 변경 사항을 적용할 때마다 테스트하는 것이 좋지만, 현실적으로 관리가 거의 불가능합니다. 다양한 경험 버전을 만드는 것도, 이를 테스트하여 추적하는 것도 시간이 오래 걸리고 비용도 많이 듭니다.

Q: 분할 테스트는 SEO에 영향을 줍니까?

A: Google이 명확하게 답하지는 않았지만 일반적으로 고객 경험을 향상시키고 더욱 연관성 있는 경험을 만들기 위해 A/B 테스트를 수행한다면 아무 문제 없습니다. 하지만 기업이 무언가 숨기려는 목적으로 한 버전은 엔진에 전달하고, 다른 버전은 고객에게 전달하기 위해 A/B 테스트를 사용하면 문제가 됩니다.

기업이 원시 사이트를 업데이트하지 않으면 SEO 문제가 발생할 수 있습니다. 원시 사이트를 업데이트하지 않으면 고객이 전혀 보지 못하는 오래된 기존 웹 사이트가 존재하게 되고, 이 웹 사이트를 고객은 못 봐도 검색 엔진 스파이더는 기본 콘텐츠를 확인합니다. 그러면 검색 엔진에 노출되는 웹 사이트가 고객에게 표시되는 웹 사이트와 동일하지 않게 되고, 해당 기업은 의도한 것이 아니라고 하더라도 정보 은폐 문제로 곤란해질 수 있습니다.

Q: 분할 테스트는 앞으로 어떻게 바뀝니까?

A: 현재 목격되고 있는 가장 큰 트렌드는 멀티채널 경험으로의 전환입니다. 대부분의 기업이 웹 사이트만을 운영하던 시절 분할 테스트는 웹 사이트만을 대상으로 수행되었습니다. 하지만 이제 모바일 앱, 모바일 웹, 데스크탑 웹, 그리고 음성 비서와 같은 신생 채널이 등장했습니다. 기업이 한곳에서 이러한 다양한 클라이언트와 각각 상호 작용할 수 있는 최적화 기능을 갖추게 된 것이 큰 변화입니다. 따라서 이제는 방문자가 다양한 디바이스에서 기업이나 브랜드와 상호 작용할 때 일관된 스토리를 전하는 것이 중요합니다.

다른 변화가 있다면, 자동화를 향한 끊임없는 진보입니다. 수동으로 분할 테스트를 수행하는 것은 어려울 뿐만 아니라 시간이 너무 많이 걸립니다. 모든 세그먼트를 일일이 만들어야 하기 때문입니다. 따라서 많은 기업이 이 작업을 머신 러닝에 맡기고 있습니다. 하지만 주요 목표는 특정 순간에 고객에게 전달할 최적의 경험이 무엇인지를 판단하는 것입니다. 이를 위해서는 전통적인 분할 테스트 기법과 머신 러닝 결과를 조합하는 것이 필요합니다.

Adobe가 도와드리겠습니다

Adobe Experience Cloud를 통해 지식을 행동으로 전환하십시오.