Como o time responsável por onboarding e engajamento do usuário na OLX usou experimentação para aumentar em 300% o uso da funcionalidade de favoritar pesquisas, com um impacto potencial de 6 milhões de negócios por ano entre compradores e vendedores.

Nota: este post foi publicado originalmente em inglês no blog de tecnologia do OLX Group. O estudo de caso não se refere à OLX no Brasil, mas sim à OLX na Europa.

O desafio

O Grupo OLX opera uma rede de marketplaces que atende 322 milhões de pessoas todos os meses em mais de 30 países ao redor do mundo. Embora o Grupo OLX tenha mais de 20 marcas – como Avito, OLX Autos, Otomoto e Property24 – neste estudo de caso iremos mergulhar no produto OLX da Europa.

A OLX é um mercado onde milhões de decisões de compra acontecem por meio de mensagens ou ligações entre usuários, por isso é importante para o OLX aumentar a porcentagem de compradores que mandam mensagens paea os vendedores. Por isso, criamos ferramentas para que os usuários encontrem o que procuram. Um desses recursos é “favoritar uma busca”. Depois que uma pesquisa é favoritada, o usuário é notificado quando novos anúncios que correspondem à sua pesquisa vão ao ar.

Essa funcionalidade é importante porque sabíamos que havia uma correlação positiva entre favoritar uma pesquisa e aumentar a probabilidade e o número de mensagens que os compradores enviariam aos vendedores.

Mas salvar uma pesquisa não era o único recurso com uma correlação positiva com as mensagens. Não era nem mesmo o recurso com maior correlação. Mas salvar pesquisas tinha uma base de usuários muito pequena: em outras palavras, a maioria dos usuários nunca o utilizava.

Por que a funcionalidade de favoritar buscas não era muito usada?

Observamos que uma porcentagem muito pequena da base de usuários estava salvando pesquisas. Mas quem favoritava uma busca fazia isso com frequência. Por que uma pequena porcentagem de usuários adora salvar pesquisas e a maioria nunca usou a feature?

Nosso primeiro instinto foi procurar comportamentos do usuário que poderiam ser relacionados a favoritar uma pesquisa. Descobrimos que um número considerável de compradores estava repetindo a mesma pesquisa em dias diferentes. Esta foi uma indicação clara de que tínhamos espaço para aumentar o uso da funcionalidade de favoritar buscas.

A OLX é uma empresa muito focada em dados. Mas os dados só podem nos levar até certo ponto. Os dados dirão o que está acontecendo, mas não por quê . Para entender o motivo pelo qual alguns usavam a funcionalidade e a maioria não, conduzimos uma pesquisa qualitativa por meio de entrevistas com usuários.

Descobrimos que o problema era na verdade bastante simples: os usuários não conheciam a funcionalidade. Alguns a confundiam com outra feature (salvar um anúncio específico). E dos usuários que favoritavam pesquisas, muitos deles descobriram a funcionalidade por acidente.

Havia um problema claro de descoberta e compreensão. Esta era uma oportunidade que iríamos explorar.

Gerando hipóteses de solução

Agora precisávamos gerar ideias sobre como aumentar a descoberta da funcionalidade de favoritar pesquisas, bem como entender o que ela fazia. Aqui, muitas equipes se fecham para pensar, com gerentes de produto e UX designers fazendo a maior parte do brainstorm e da tomada de decisões. Mas nossa equipe acredita que todos são uma fonte valiosa de inputs, então fomos à caça de ideias.

A primeira coisa que fizemos foi envolver qualquer pessoa na empresa que quisesse contribuir em um exercício de brainstorm assíncrono. Esta é apenas uma maneira elegante de dizer que as pessoas podiam adicionar suas próprias ideias. Neste caso, usamos uma quadro no Easyretro , mas poderíamos facilmente ter usado um Google Form. Muitas equipes fazem isso de forma síncrona, mas há pesquisas que mostram que as pessoas têm um desempenho melhor na geração de ideias quando fazem isso sozinhas .

Um adendo: para obter ideias relevantes, é bom fazer as pessoas entenderem o que você já descobriu e qual é o problema. Portanto, incluímos um pequeno vídeo explicando tudo o que sabíamos sobre o problema, por que ele era importante e demos alguns exemplos de ideias úteis versus ideias inúteis (por exemplo, uma ideia não muito específica).

Mesmo com o vídeo explicativo, havia ideias “inúteis” ou ideias que atacavam o problema errado. Antes de fazermos qualquer outra coisa, categorizamos as ideias em três grupos:

1. aumenta a adoção de favoritar buscas (nosso objetivo);
2. melhora a eficácia da funcionalidade (ou seja, conversão, que não era nosso objetivo atual. Poderíamos atacar esse problema depois, quando mais usuários estivessem utilizando a feature); e
3. outros.

Embora sejamos melhores em gerar ideias sozinhos, somos melhores em escolher as melhores ideias em grupo. Então, reunimos toda a equipe, mais alguns engenheiros do time responsável pela funcionalidade. Votamos nas ideias que achamos que trariam mais impacto para a meta. Assim que tínhamos escolhido algumas ideas, mapeamos como elas funcionariam e quais premissas precisavam ser verdadeiras para que a ideia funcionasse como planejado:

Com tudo isso mapeado, priorizamos os experimentos com base em uma matriz de impacto na meta versus esforço para construir. Agora estávamos prontos para projetar a UX dos nossos experimentos.

Nossos principais experimentos

Mesmo que tenhamos uma intuição forte em relação a qualquer ideia, não podemos realmente saber se ela trará o impacto desejado. Então, fazemos testes A / B (C / D / E …) para entender se nossa mudança tem o impacto desejado ou não.

Experimentos 01 a 04: Primeira experiência de pesquisa (várias tooltips)

A escolha óbvia para aumentar a descoberta da existência da funcionalidade era informar o usuário disto. O problema é que já havia uma tooltip na primeira vez que um usuário procurava algo na OLX. Mas essa tooltip não tinha uma boa taxa de cliques e, como vimos na pesquisa qualitativa, não estava funcionando para educar os usuários. Não que não acreditássemos em tooltips. Funcionava em vários outros produtos, então decidimos iterar com vários formatos e conteúdos diferentes:

Testamos muitos formatos e, para nossa surpresa, aqueles com imagens tiveram um desempenho pior do que a tooltip só com texto. Nesse caso específico, acreditamos que o melhor desempenho não era tanto sobre o conteúdo ou formato, mas focar os usuários no que queríamos que eles fizessem (favoritar a pesquisa), colocando uma sobreposição escura no topo da página. Talvez quanto mais elementos, menos focado fica o usuário para clicar no coraçãozinho.

Experimento 05: Botão sempre visível

Uma de nossas hipóteses era que o botão de favoritar pesquisa estava muito oculto na parte superior dos resultados da pesquisa. Além disso, formulamos a hipótese de que favoritar a busca era uma decisão tomada depois de olhar os resultados da pesquisa, de modo que o usuário teria que rolar até o topo da página para salvá-la. Não é muito legal. Então, experimentamos ter o botão para favoritar a busca sempre visível na página.

Isso teve um aumento muito melhor na métrica do que esperávamos 🎉

Experimento 06: busca repetida

Sabíamos que os usuários estavam pesquisando a mesma coisa mais de uma vez, então apenas aproveitamos seu comportamento: na primeira vez que um usuário repetisse a mesma pesquisa 3 vezes, mostrávamos uma tooltip ensinando como favoritar a busca e por quê.

Isso era muito semelhante à tooltip dos primeiros experimentos. Só com um conteúdo diferente. Isso também teve um efeito positivo surpreendentemente alto.

Resultados e aprendizados

Conseguimos aumentar em 300% o uso de favoritar buscas. Mas esse era apenas um proxy para aumentar a troca de mensagens entre compradores e vendedores, lembra? Nossos experimentos trouxe um aumento de 44% no número de mensagens geradas por buscas favoritadas. Projetando isso ao longo de um ano, são 6 milhões de mensagens adicionais trocadas entre compradores e vendedores. Essa foi uma grande vitória!

Aqui estão nossos principais aprendizados:

• Cuidado com a diferença entre mobile e desktop : o desktop é nossa plataforma mais antiga, então tem mais débitos técnicos que as outras. Isso torna mais difícil fazer experimentos no desktop (leva muito tempo). Então, realizamos nossos experimentos na web mobile, iOS e Android. Mas quando implantamos essas mudanças no desktop, elas simplesmente não funcionavam. É muito diferente do celular, precisávamos de experimentos dedicados para mover as métricas no desktop.
• O Async funciona muito bem para o brainstorm, e você também pode envolver muitas pessoas para que se sintam ouvidas e contribuam para o sucesso da iniciativa. Já reuniões síncronas são ótimas para a tomada de decisões, embora você precise restringir o número de participantes.
• Experimente, porque coisas que são “obviamente” melhores não são necessariamente melhores: eu tinha certeza de que personalizar a tooltip e adicionar imagens contextuais aumentaria na conversão, mas na verdade foi o contrário! Isso acabou distraindo o usuário da ação principal.
• Reserve algum tempo para limpar os experimentos: não há problema em ser rápido com os experimentos, mas uma vez que eles se tornam parte do produto principal, você precisa limpar o código e remover a “hackeragem”.