Essa é a transcrição do podcast “Episódio 13 –  “Experimentação com Alex Corcioli”. O link para ouvi-lo está no final desse conteúdo.

Quer saber quais são as principais vantagens de estratégia para fazer produto? O convidado do nosso décimo terceiro episódio, Alex Corcioli, vai dizer.

Ele que é formado em sistema de informação e que trabalhou em grandes empresas como Catho, Conta Azul, Gympass, Viva Real, e hoje é CPO da Donus, Corcioli conta pra gente nessa conversa como evoluir um produto através de Experimentação, e também compartilhou vários aprendizados e deu várias dicas sobre o assunto.

A: Sejam bem-vindos a mais um Product Backstage. Hoje eu tô aqui falando com o Corcioli. Corcioli, muito obrigado por ter aceito bater esse papo comigo, e já pra gente começar,  cara, eu já vou pedir pra tu se apresentar, falar um pouquinho da tua trajetória, como é que tu chegou até aqui? 

C: Legal! Obrigado, é um prazer tá aqui conversando contigo. Cara, eu sou formado em sistema de informação e comecei minha carreira em desenvolvimento e muito focado em infraestrutura também, trabalhei numa empresa de hospedagem de site, lá em 2006, 07, e daí eu fui pra Catho, foi lá meu principal momento ali de carreira, onde eu desenvolvi grande parte do meu background em desenvolvimento de produtos digitais e gestão de produto, fiquei lá durante 8 anos na Catho, e depois desses 8 anos eu fui pra Conta Azul, fiquei na Conta Azul em Joinville por 3 anos, foi uma experiência muito legal, pessoal muito jovem, o espírito muito inovador, foram 3 anos de Conta Azul e depois eu fui pro Viva Real, quando eu fui ainda era Viva Real, e na sequência eu participei da fusão, do Grupo ZAP, né, fiquei lá durante 2 anos e meio… 1 ano e meio, 2 anos, depois, agora mais recente, eu tava no Gympass, então trabalhei lá mais ou menos um ano e meio também, foi uma experiência bem legal, uma experiência global bem interessante, e agora eu tô na Donus, uma startup de uma venture captor da Ambev. Então, tá sendo bem interessante, é uma fintech focada em microempreendedor, pra ser mais específico, a gente tá sendo bem específico agora, bem focado no público ali de bares e restaurantes.

A: Bacana! E na Donus hoje qual é a tua posição?

C: Hoje eu tô na Donus como CPO, então eu sou responsável ali pela visão de produto, de todo o desenvolvimento do time de produto.

A: E acho até que uma curiosidade do pessoal aqui, como é que tá sendo pra ti entrar numa fintech? Como é que foi essa transição de sair, enfim, de gympass etc., Viva Real que são… Enfim, produtos fora dessa área de Fintech e entrar pra trabalhar com isso, pra trabalhar com serviços bancários e etc.?

C: Cara, tem sido bem legal, na minha carreira eu não trabalhei em sequência em produtos do mesmo mercado, então eu sempre trabalhei em mercados diferentes, então pra mim foi bem… Sempre foi natural transigir de empresa e transigir de mercado ao mesmo tempo, sabe? Uma fintech tem muita regulação, tem muita coisa específica, então tem um pouco mais dessa dificuldade e é um mercado que no Brasil tá em alta evolução, tem muitos players muito relevantes, como Nubank  que é relativamente novo comparando com bancos, e tem muita gente tentando disruptar ao mesmo tempo. Então, tem sido desafiador e ao mesmo tempo muito interessante.

A: Pra mim eu acho que esse ponto da regulação foi um negócio que até por… Eu nunca tinha trabalhado também com fintechs antes do Nubank, e eu senti bastante essa diferença de sair, por  exemplo, do mercado de marketing digital, quando eu tava na RD antes que a gente considerava que já tinha algumas coisas ali, principalmente com a entrada de LGPD etc. GDR já tava pegando um pouco, mas realmente, acho que serviços bancários têm um volume muito maior de regulação e isso pra mim impactou bastante até a forma como faz produto, porque essa parte regulação toda tem que tá envolvida no processo, que é uma coisa que antes pra mim pelo menos não tava tanto.

C: Exatamente isso. O que eu eu senti… Eu percebi que alguns momentos eu tava trabalhando com o meu time discovery, levando isso em conta, mas de uma forma um pouco mais leve, e aí chegava num determinado momento que eu tinha que dar alguns step back porque acabava esbarrando numa regulação e tinha que voltar alguns estágios, então acho que é uma forma… Tem que levar em consideração quase que em 100% do processo de trabalho, senão acaba dando muito step back.

A: E, cara, me corrija se eu tiver enganado, mas desde a Conta Azul, eu não sei como é que foi no Gympass, se também trabalhou dessa forma, mas eu sei que na Conta Azul sim, tu tem trabalhado bastante com experimentação, e eu queria escutar um pouco de ti  quais são as principais vantagens que tu vê em usar esse tipo de estratégia pra fazer produto?

C: Pra mim, Conta Azul acho que foi onde eu consolidei isso, foi onde eu tive que usar isso de uma forma muito intensa, eu comecei mesmo na Catho, trabalhando um pouco com experimentação, só que aí no Conta Azul eu trabalhava no time de growth e ele era muito baseado em experimentação, pra mim, acho que a grande vantagem é como você consegue ter certeza dos passos que você tá dando. Então, como você pega a sua hipótese, faz um experimento em cima e tem certeza do resultado positivo ou negativo, quando eu falo certeza aqui, eu tô falando uma certeza estatística, isso facilita muito o aprendizado e automaticamente faz com que você consiga se movimentar mais rápido pra chegar em resultado. Quando você tem aprendizados mais qualitativos e um pouco menos pragmático, fica difícil de você tomar as conclusões e mover rápido pra frente. Então, pra mim trabalhar com o experimento gera esse benefício muito rápido, apesar de várias dificuldades que a gente vai discutir ao longo, mas eu acho que você ganha muito em velocidade como um aprendizado pro time.

A: Legal! E tira um pouco daquele negócio também de eventualmente você ter alguma pessoa que tenha uma opinião mais forte, alguma coisa nesse sentido, você tira completamente isso do jogo, porque passa a ser um negócio completamente quantitativo.

C: Exatamente, porque a opinião ela acaba misturando um pouco com as informações qualitativas, você tem uma informação qualitativa dali você tenta, acho que é natural do ser humano, a gente escuta alguma coisa e tenta chegar numa conclusão e normalmente as pessoas tentam chegar numa conclusão com base em uma resposta, do que é o certo e do que é o errado, e a resposta do experimento te ajuda a ter certeza, tira todas as opiniões.

A: E como é que tu trabalha nesse… Do ponto de vista de experimentação, sempre tem aquela discussão de ser data driven versus ser data oriented, não necessariamente tudo aquilo no sentido de: não necessariamente tudo aquilo que o dado tá te mostrando é o caminho correto ou o melhor caminho a ser tomado. Como é que tu trata isso do ponto de vista de experimentação? É uma coisa que tu também leva pra discussão nesse sentido? Ou tu acha que no caso experimentação é um negócio mais data driven mesmo e o resultado da experimentação é o que a gente deveria seguir?

C: Eu vejo que a experimentação é uma etapa mais final do processo, então você tem que usar tudo que você tem de informação, seja conhecimento de mercado, conhecimento sobre seu cliente, todos os processos ali que você for fazer de discovery e fechamento ali do que você vai chegar na hipótese, pra que você confie no final em fazer um teste de hipótese com a experimentação e aí pra mim, se você chegar numa conclusão positiva ou negativa, ela deveria ser conclusiva, você não deveria ter dúvida disso, nesse caso aí você tem que, na minha opinião, você deveria ser bem focado na resposta do teste, apesar que muitas vezes uma experimentação acaba te dando uma resposta não conclusiva e aí uma resposta não conclusiva você tem que tratar como uma resposta também dos dados que você tá extraindo, mas pra mim você tem que dividir essas etapas, então você usa toda a informação que você tem prévia pra formatar a sua hipótese, formatou sua hipótese, faz a experimentação e aí você confia no resultado da sua experimentação, seja positivo, seja negativo ou seja inconclusivo.

A: Bacana! E tem algum tipo de problema ou desafio que tu acredita que experimentação não se aplica, não é o melhor caminho pra resolver?

C: Pra mim fica muito difícil usar a experimentação quando você tá começando um produto ou uma empresa porque você não tem uma amostra. Então, acho que pra mim esse é o principal, vamos dizer assim, é o principal caso. E pra mim você consegue usar experimentação em vários momentos pra você decidir um caminho do seu produto caso você tenha amostra. Então, você pode usar pra você descobrir se você vai mostrar uma informação um pouco mais detalhada ou menos detalhada e isso te ajuda a decidir um pouco do caminho que você vai seguir. Agora pra mim, o melhor caso que funciona experimentação é pra você fazer o que eu chamo aqui de growth, dado que você já tem uma coisa que o seu cliente já conhece, já entrega valor, essa é uma forma de você experimentar muitas formas de mostrar pra ele, muitas formas de explicar a mesma coisa pra ele, pra que você gere mais atenção nele e pra que você aumente o uso do seu produto, ou venda mais o seu produto.

A: Então talvez uma forma simplória de ver isso, tu vê muito mais experimentação sendo aplicada pra otimizar um produto que já existe, do que pra de fato criar um novo produto, seria isso?

C: Exatamente! Eu acho que pra criar um produto você até pode usar experimentação, mas ele tá tão no final do processo que ele acaba sendo menos importante. Agora, pra você otimizar um produto pra mim é essencial, sem experimentação você não consegue otimizar bem o produto, você vai ser muito lento e vai ter respostas… Se você tentar trabalhar com base em resposta qualitativa provavelmente você não vai conseguir otimizar o suficiente.

A: Porque que vai acabar caindo… Quando tu fala de amostra, tu fala de aplicação de método científico etc. naturalmente a gente vai cair na questão de relevância estatística dessas medições que tá fazendo, e daí no caso de uma amostra pequena você acaba não atingindo essa relevância estatística e daí pra ti isso invalida o uso de experimentos, seria isso? 

C: Exatamente. Exatamente. Eu acho que é a primeira avaliação que tem que ser feita pra ver se faz sentido fazer o experimento. Você avaliar a amostra que você tem, avaliar a hipótese que você tem, o quanto você acredita que ela vai dar de melhora, e aí você tentar fazer um cálculo ali, quanto tempo você precisa de amostra, de pessoas chegando dentro da sua experimentação ali pra atingir aquele resultado, muitas vezes você vai chegar na conclusão de que vai demorar, um exemplo aqui, um ano pra você ter amostra daquele experimento, e aí provavelmente não vai fazer sentido porque você vai se mover muito devagar.

A: Deixa eu fazer um pouco papel de advogado do diabo aqui agora, mas imagina a situação e onde tu tá criando um produto, onde tu ainda não tem essa amostra pra chegar em uma amostra que seja estatisticamente relevante, mas você quer fazer algum experimento x ali pra entender, sei lá, botar uma fake door no produto pra entender se os meus clientes eles tão interessados ou não em um determinado nova feature, ou até fazer um teste AB simples pra entender se um copy de botão funciona melhor que o outro, mas no cenário onde eu não tenho relevância estatística, tu acha que esses dados, mesmo se eu olhar eles de um ponto de vista qualitativo e não quantitativo, eles são inúteis? Tu não faria esse tipo de coisa? Ou tu ver valor em fazer talvez experimentos mais rudimentares, digamos assim, olhando qualitativamente e não quantitativamente, ou não, é uma coisa que tu nem recomenda fazer porque é uma perda de tempo?

C: Cara, eu… Sendo bem direto ao ponto, eu não recomendo fazer se você não tem amostra e não vai ter significância, por quê? Porque se não tem significância significa que se você fizer o teste de novo pode dar um resultado diferente, se você fizer de novo pode dar outro, se você fizer de novo pode dar outro. Então se você fizer alguma coisa desse tipo você vai tirar uma informação que ela não é uma informação válida pra você, você pode chegar na conclusão que o A é melhor que o B, só que se você testar daqui uma semana, o B vai ser melhor que o A. Então, na minha opinião, é melhor não fazer, porque você vai acabar se baseando numa informação que não necessariamente é verdadeira, e aí vai acabar… E você trabalhar numa informação não necessariamente verdadeira vai te atrapalhar, porque você vai se basear numa premissa e, na verdade, aquela premissa ela pode ser falsa, ela vai te atrapalhar muito na frente.

A: Pra fechar essa pergunta especialmente, tu tem alguma dica de ferramenta, ou um cálculo simples pra entender se tem relevância estatística ou não, de acordo com tamanho de base que cada um tem no seu produto? Tu usa alguma coisa pra calcular isso? 

C: Cara, eu na verdade eu criei um uma planilha no Google docs que me ajuda a, primeiro, avaliar dado uma amostra X e uma expectativa de aumento de conversão Y, quanto tempo o meu experimento precisa rodar. Então na verdade eu criei isso, é relativamente simples, eu posso até de repente a gente pode compartilhar aqui com o seu público, pro pessoal usar, mas eu prefiro usar a minha ferramenta, particularmente, porque eu vejo que tem muita ferramenta que você pega pronta e eu particularmente não confio muito, eu não tenho muita certeza como foi feito o cálculo, então eu prefiro usar uma ferramenta própria.

A: E tu consegue citar 1 ou 2 exemplos de experimentos que tu rodou e que tiveram bastante impacto no produto que tu tava construindo no momento?

C: Consigo. Eu vou acabar citando dois do Conta Azul porque lá realmente a gente teve alguns experimentos que foram muito relevantes pro negócio. O primeiro, quando eu cheguei lá no Conta Azul a gente tinha um tempo de trial do produto, de teste do produto pro cliente de 15 dias, e aí a gente fez uma sequência de experimentos que foi muito interessante, o primeiro teste que a gente fez, e assim, o nosso objetivo pra esse teste era basicamente aumentar a conversão em compra do produto do Conta Azul, e a gente tinha uma hipótese que menos tempo faria o cliente comprar mais rápido, então a primeira coisa que a gente fez foi diminuir de 15 dias pra 7 dias, e aí o que que a gente observou no teste? A gente avaliou que acabou diminuindo o ciclo médio de vendas, então o ciclo médio de vendas quando o trial era de 15 dias, o ciclo médio de vendas era de 1 mês, quando a gente baixou pra 7, o ciclo médio de vendas caiu pra 20 dias. Então assim, aumentou… A conversão efetivamente não aumentou tanto, mas o ciclo diminuiu tanto que aí eu conseguia colocar, vamos dizer assim, mais gente no time de vendas e automaticamente no final acabava aumentando as vendas. E depois que a gente fez o teste de 15 pra 7 dias, a gente falou: não, por que a gente não diminui mais ainda? E aí o que que a gente fez? Diminuiu de 7 dias pra 3 dias, e aí falhou. Eu acabei tendo menos conversão do que 7 dias, e aí a gente não satisfeito, a gente falou: não, mas a gente ainda acredita na hipótese de menos tempo mais conversão. Então o que que a gente fez? Diminuiu de 7 dias pra 3 dias, quando ele chegava no quarto dia a gente dava mais 4 dias pra ele. Aí desse jeito a gente teve mais conversão do que 7 dias, de trial padrão, e com um ciclo médio de vendas de 8 dias, então desse jeito a gente otimizou muito o processo de vendas. Então o time conseguia fechar uma venda e partir pra outra muito mais rápido, e a gente acabou aumentando coisa de 30% nossa taxa geral de conversão em vendas naquela época. Então, eu sei que é mais de um teste, mas normalmente eu acho que o legal de trabalhar com experimento é isso, você aprende e aí você consegue otimizar o seu teste e lançar um teste novo pra você chegar no máximo de otimização possível. O segundo teste, esse foi muito focado num teste de elasticidade de preço, a gente basicamente conseguiu aumentar o preço do produto, então assim, até pra contextualizar um pouco aqui, o Conta Azul é um produto, um SaaS né, que o cliente contrata normalmente mensal, então ele paga por mês ali o produto, e a gente aumentou o preço em 50%, isso daqui eu tô resumindo porque a gente fez vários testes de aumentar 70%, 50%, 20% até a gente chegar a elasticidade perfeita de conversão de clientes de trial pra pagante com o melhor preço. Então basicamente a gente conseguiu aumentar em 50% o preço e a gente perdeu mais ou menos em 20% a conversão, o que pra gente naquele momento foi perfeito porque desse jeito a gente acabou rentabilizando 30% mais o produto em pouquíssimo tempo. Então a gente entendeu que esse era o melhor ponto de preço pro nosso cliente. Então, unindo esse experimento que eu tô te falando, de preço, com a diminuição de ciclo, do tempo de trial, a gente conseguiu basicamente muito rápido, assim, ter mais de 50% de receita a mais em coisa de 3 meses.

A: Animal! Bacana! Pra chegar nesse tipo de resultado que tu mencionou, que no caso da Conta Azul foram bem expressivas, eu acredito que pra um PM conseguir realmente liderar um time pra desenvolver um produto através de experimentos etc. ele precisa de alguns pré requisitos pra que isso aconteça, a gente falou de algumas coisas técnicas, foi o caso de amostra etc. e na minha visão também tem algumas coisas culturais, porque como tu falou, tu mencionou em algum ponto, às vezes não vai ser um experimento só que vai de fato trazer um puta de um resultado, um negócio que às vezes vai… Um experimento atrás do outro, isso vai evoluindo aos poucos até que de fato você consegue um resultado mais expressivo. Então acho que tem um pouco dessas duas visões e com certeza acho que deve ter mais coisa aí. Se isso fizer sentido pra ti, se tu concordar com essa visão, quais são os principais pré requisitos que tu vê pra realmente fazer um time de experimentação funcionar dentro de uma organização de produto?

C: Concordo, tem que ter algumas coisas, eu não tenho certeza se ele tem que adquirir tudo antes, ou também faz sentido ele adquirir um pouco durante o processo, né? Porque eu acho que durante o processo que você ganha corpo de entendimento dessas coisas, mas eu acho que o primeiro, ele tem que entender basicamente um pouco de estatística, então, significância estatística, margem de erro, relevância estatística, nível de confiança, ele tem que ter um pouco dessa informação técnica sobre estatística, não é uma coisa extremamente difícil, mas eu recomendo conhecer isso ao invés de só usar uma ferramenta pronta que te fala: experimento validado ou não validado, hoje em dia tem muita ferramenta desse jeito. Eu recomendo que você entende e consiga interpretar estatisticamente o seu experimento, porque isso vai te ajudar a tomar um pouco de decisão, porque você tem nível de significância de 95%, de 90%, de 80%… E se você entender um pouco disso você pode ter diferentes formas de enxergar o seu experimento, essa é a primeira coisa. A segunda coisa, como eu acredito que experimentação tem a ver com otimização, tem muito mais a ver com otimização do que criação de produto, pra mim é importante que o PM tem um mindset de otimização, então ele tem que saber que em vez de acender o fogo, ele não tá acendendo o fogo da fogueira, ele tá basicamente jogando gasolina, e ele tem que puxar todo o time dele pra jogar essa gasolina junto com ele e pra que a fogueira fique muito mais alto, então pra mim tem um pouco de conhecimento de estatística, um pouco de mindset de experimentação, e é claro, eu acho que aqui terceiro, é importante que ele saiba um pouco de processo de design thinking, alguma coisa desse tipo, pra ele poder chegar em hipóteses mais relevantes de uma forma rápida, porque desse jeito ele vai acabar tendo mais sucesso nos experimentos dele. Então eu diria que esses são os 3 principais fatores ao meu ver.

A: Legal! E se tu chegasse hoje numa organização que nunca teve um time de Growth, nunca rodou experimentos dentro do time de produto e tu fosse ter que implementar isso dentro dessa organização, dentre essas três coisas que tu mencionou, que foi entender de estatística, foi ter esse mindset de otimização, enfim, design thinking, qual que seria a tua prioridade? Por onde tu começaria se tivesse com um PM que não tem experiência com isso? Se tivesse em uma organização que não tem experiência com isso? Por onde que tu começaria ou até se é uma coisa além dessas três coisas, pra criar essa cultura de experimentação dentro da empresa?

C: Cara, é interessante a sua pergunta, eu posso até te… Quando eu cheguei no Conta Azul não existia esse mindset de experimentação, era muito incipiente. Então, eu tive um pouco de experiência lá de um dos PMs que trabalhava comigo naquela época, que ele não tinha essa experiência e eu comecei a ajudar ele a desenvolver isso. E pra mim a melhor forma de fazer, é primeiro, desenhar um processo muito claro de trabalho, então, como que o time vai coletar ou vai desenhar as hipóteses pra poder experimentar? Quantos testes o time tem que fazer e em quanto tempo? Eu criaria pro time uma forma de algum Canvas, alguma coisa, pra ajudar ele a definir o que que é o experimento dele, ajudaria a criar um método de priorização dos experimentos, por exemplo, eu gosto muito baseado no Rise, que o intercom criou. Depois eu tentaria preparar um pouco das ferramentas, deixar a ferramenta um pouco mais pronta, organizada pra que o time começasse a rodar, e aí com o tempo, o time rodando com as ferramentas e dentro do processo, eu ajudaria o PM a entender estatisticamente ali o que que aquelas coisas querem dizer. Pra mim, esse é um jeito… Eu gosto muito do jeito prático de aprender, só que assim, é claro que essa pergunta eu tô respondendo pra você como eu faria, porque eu tenho experiência, né, fazer isso sem ninguém com experiência é um pouco mais difícil.

A: E eu acho até uma pergunta que me surgiu aqui no meio da tua resposta, que ela tangencia a tua resposta, mas não necessariamente pega em cheio, digamos assim, mas a gente tem falado bastante de experimentação, tu mencionou também o time de growth, aí também me corrige se eu tiver enganado, mas eu queria escutar um pouco de ti, mas o time de growth é um time que essencialmente tá trabalhando com experimentação o tempo todo, é um time que tá extremamente focado em fazer produto através de experimentações, mas tu acredita que mesmo que em times, e daí se sim, qual que é a diferença que tu vê, mas mesmo em times que não são times de growth, que não são times que tão o tempo todo preocupado com otimização, que normalmente vai acontecer… Mesmo em organizações maiores, mas com certeza em organizações menores que não tem ainda a capacidade de investir em um time exclusivamente de growth, tu acredita que experimentação também pode funcionar nesse tipo de ambiente? Ou tu não recomendaria isso pelo menos de início, tu recomendaria mais na direção de  ter um time de growth primeiro pra entender o que é experimentação dentro daquela organização etc. depois disseminar esse conhecimento? Ou tu começaria mais fazendo experimentos dentro de times que já existem pra depois no futuro criar um time de growth?

C: Vamos lá… Acho que não necessariamente você precisa ter um time de growth pra rodar experimentação. Se a sua organização tem dinheiro, quando eu digo dinheiro, recursos e tempo pra separar um time pra focar em otimização, eu recomendo, por quê? Porque é um mindset muito específico de otimização, é muito específico quando você compara com o cara que tá criando o produto. O cara tá criando o produto, ele tá sempre falando com o cliente, ele tá num outro… É o builder, é o cara que tá construindo o futuro. O cara de otimização, ele tá focando numa métrica e correndo atrás igual louco em cima de uma métrica, então eu não vou ser radical aqui e falar que não funciona essas duas coisas juntas, eu acho que pode funcionar, acho que funciona, mas é mais difícil, então, em resumo é, se sua empresa tem dinheiro, separa. E aí, minha recomendação é: tenta pegar alguém com alguma experiência em experimentação pra colocar dentro do seu time que vai te ajudar a ter mais tração nisso. Se você não tem dinheiro pra separar, tudo bem, começa a fazer as experimentações dentro do seu próprio time de produto, mas tenta separar as etapas. Então, aqui eu tô criando produto, então aqui eu tô criando, procurando market fit, e daqui pra frente eu tô otimizando, pra que você como PM e seu time inteiro consiga chavear o mindset, porque eu acho que dá uma boa diferença.

A: E quais são as principais falhas que tu vê em pessoas quando elas tão começando a rodar experimentos?

C: Acho que a principal falha que as pessoas cometem é ignorar a significância estatística, então, acabar tomando decisão baseada, vamos dizer assim, na matemática simples. Se o A converteu mais que o B, ignorar. Se eles têm realmente significância estatística… Se ele é relevantemente diferente, e esse pra mim é o erro mais clássico e aí esse erro acaba fazendo com que parece que teste AB não funciona, né, porque quando você abrir pra todo mundo não necessariamente vai repetir o resultado do seu teste porque ele não tem significância estatística, esse pra mim é o primeiro erro. O segundo erro principal é, uma coisa que eu aprendi com o tempo é que saber em qual ponto do fluxo do seu produto você vai startar o seu teste AB é muito importante, por quê? Se você coloca muito no início, vamos pensar aqui num funil, se você coloca muito no início do seu funil o start do teste AB, você acaba dispersando… Você tem um monte de gente que nem vai chegar lá no final onde você tá testando, por exemplo, e aí você acaba tendo um monte de gente que nem tá participando do seu teste direito e fica muito mais difícil, muito mais longo ter significância estatística. Então, aqui até como recomendação de como resolver isso é, encontra o ponto mais perto da onde tem a diferença do seu teste AB pra você implementar a divisão entre o teste A e o teste B, porque isso daí vai te ajudar muito a chegar mais rápido na significância estatística, pra mim esse é o segundo erro. O terceiro erro é o cara conhece significância estatística, ele olha pra significância estatística, ele colocou no momento certo a divisão do teste AB, só que ele não tem uma ferramenta pra avaliar durante o tempo se tem significância estatística, então ele fica ali batendo numa ferramenta o tempo inteiro pra ver se tem significância estatística, e aí pode ser… É muito difícil você encontrar qualquer variação que pode ter dado no seu produto, ou algum comportamento não previsto, e pode ser que durante algumas horas, vamos dizer assim, o seu produto bateu significância estatística na diferença entre os testes, mas pode ser que isso não é conclusivo, então uma coisa que eu aprendi é que o ideal é você esperar por algum tempo se manter essa significância estatística, porque aí você tem certeza de que não foi nenhuma influência da amostra que fez o seu teste bater a significância estatística, então pra mim esses são as três principais situações.

A: Uma coisa que eu acho que talvez tenha a ver com o segundo ponto que tu trouxe, que eu queria escutar um pouco de ti também, mas uma coisa que eu percebo também é a escolha da métrica que eu vou usar em si pra fazer o experimento, eu vou dar um exemplo, que pra mim talvez seja um pouco mais fácil de entender e te explicar, mas daí da época de RD ainda, por exemplo, quando a gente trabalhava com email marketing, e daí eu quero fazer uma experimentação em cima de email marketing de uma forma geral, dando uma simplificada eu mando o email pra alguém pra vender alguma coisa pra essa pessoa, dando uma simplificada aqui nessa história, só que entre a venda que vai ser triggada por aquele email e o disparar aquele email, tem muita coisa que tem que acontecer ali, o email tem que chegar na caixa de entrada da pessoa, aquela pessoa tem que abrir aquele email, esse email ela vai ter que clicar num CTA que tem nesse email, até que de fato ela vai ter que ir eventualmente pra uma página, se for um email de venda direta, tipo um ecommerce, sei lá, vai pra essa página do ecommerce, que daí vai pro carrinho etc. até que vai pra de fato concretizar essa venda. Se eu tô tentando otimizar pra venda em si, digamos que eu tô mexendo no copy do meu email pra otimizar pra venda, num caso desse de ecommerce talvez seja um pouco mais simples porque é um negócio um pouco mais direto, se for uma venda um pouquinho mais complexa, tipo Conta Azul, isso pode demorar alguns dias até de fato essa venda se concretizar, então, aí vai entrar naquela história de você ter alguns indicadores que eles demoram um tempo pra de fato converter, que é o caso de uma venda, quando tu vai fazer experimentação, escolher exatamente qual a métrica, se tu vai otimizar pra abertura, pra clique ou pra venda lá na ponta, acho que ela importa bastante, se isso fizer sentido pra ti, olhando pra um cenário desse como exemplo, tu pode citar outros aqui se tu achar mais fácil explicar, como que tu escolhe exatamente qual é a métrica que tu vai utilizar pra fazer esse experimento?

C: Eu particularmente tento olhar pro objetivo final, então, por exemplo, no caso que você explicou o objetivo final é venda, a gente pode pegar o Conta Azul como exemplo. Eu usava basicamente… Se eu tava trabalhando com venda, eu olhava basicamente duas principais métricas, quanto convertia em venda, então, de lead pra venda, e qual que era o ticket médio dessa venda, basicamente olhava pra essas duas métricas, só que eu olhava pra uma outra métrica interessante que era a cohort de tempo do ciclo de quanto tempo isso demorava. Então na verdade, eu olhava pra esse conjunto de informações pra tomar essa decisão, por quê? Normalmente eu tinha três objetivos, vender mais, vender antes e vender mais caro. No final eu queria fazer essas três coisas, então eu tô concordando com você, é super importante organizar qual que é a sua métrica, só que o que eu recomendo é: olhar o resultado final. Métrica intermediária, acho que é bom você olhar, por exemplo, clique no botão do email, é bom você olhar, mas eu tiraria a conclusão do teste baseado no resultado final, por quê? É muito difícil… Muitas vezes você muda um email, ele diminui o número de clique, porém ele gera um entendimento melhor do seu cliente e no final ele gera mais conversão, então se você olhar o intermediário e não olhar o resultado final do que você quer, do seu objetivo, você pode se enganar, então algumas vezes pode ser que aumente mais o número… Deixa eu tentar dar um exemplo aqui, imagina que você tira informação do email, do email marketing e automaticamente… O cara fica mais em dúvida e gera mais clique no botão, então ele passa da etapa do clique do botão do email, porém ele ficou mais em dúvida e aí quando ele chega na segunda tela ele não tem essas informações e ele dá bounce, ele sai. Se você otimizar pelo clique do botão do email, você vai falar que o experimento foi bom, só que talvez se você considerar o fluxo inteiro, talvez ele foi pior… Eu não sei se eu consegui explicar, até se você quiser fazer mais perguntas pra eu completar, mas pra mim, tentando resumir aqui é: procura qual é exatamente o objetivo do seu experimento e mede o objetivo, procura não medir pelo intermediário. Eu acho que você tem que conhecer os cliques e o processo intermediário, porém não otimize o seu teste por ele.

A: Eu acho que ficou claro, mas uma dúvida que ainda permanece pra mim, eu acho que essa discussão que nem a gente falou de data driven ou data oriented, quando a gente fala de legging metrics versus lead captors também acho que é uma discussão grande, né, mas se a gente pegar uma métrica que ela é legging, de novo, no caso de vendas no exemplo que a gente pegou, eventualmente pode ser outras coisas do tipo adoção do produto, seja lá o que for, mas acho que vendas eu acho que é mais fácil de entender, se eu pegar esse caminho de vendas, no caso de uma venda um pouco mais complexa pode ser que eu vou mandar aquele email, aquela pessoa vai de repente ler aquele email naquele momento em si ela não vai eventualmente talvez clicar pra comprar, talvez ela demore 2, 3, 4 dias, um tempo X pra de fato dar o segundo passo, seja ele entrar num site ou seja ele pedir a ligação de alguém ou fazer qualquer outra coisa nesse sentido, esse cenário pra mim ele é mais confuso e daí pra mim um pouco mais difícil de fugir do tal do lead indicator, de ter alguma coisa que te diga que parece que você tá indo pro caminho certo, porque pode ser que demore um certo período de tempo, que às vezes eu não sei nem qual é, pra dizer se aquela alteração que eu fiz foi de fato eficiente ou não num processo de venda. E daí, eu vejo duas possibilidades nisso, pelo menos no meu conhecimento, e eu adoraria discutir isso, mas uma delas é naturalmente usar um lead indicator, então usar alguma métrica que me diga, sei lá, vou dizer aqui clique ou abertura daquele email por exemplo, que não é métrica final de venda, mas já tá me dando algum indicativo que parece que eu tô indo pelo caminho certo, a outra é tentar ter mais controle sobre esse processo de venda. Então, talvez, esse meu processo de venda, nesse exemplo que eu tô citando aqui ele tá muito… Pouco mensurável ainda, digamos assim, e daí por isso eu tô tendo essa sensação de que é um negócio muito legging, que é um negócio que eu tenho pouco controle, não tenho pouca previsibilidade, então talvez eu tenha que trabalhar pra primeiro criar, digamos, essa cama pra daí depois otimizar esse processo, e daí eu queria escutar um pouco de ti a respeito dessas duas coisas.

C: Concordo muito com você, acho que nas duas coisas, tá, eu acho que lá no Conta Azul, por exemplo, que era um processo de vendas que quando eu cheguei lá o ciclo médio de vendas era 30 dias, só que eu acho que você consegue setar… Mas é importante você ter informação, né! Você tem que saber antes de começar o teste que o ciclo é 30 dias, pra que você consiga avaliar a sua conversão durante o tempo, né, e aí uma coisa até, que pra mim, no caso do Conta Azul quando eu comecei era muito legging, por quê? O ciclo médio era 30 dias, só que uma das coisas que eu fiz com a experimentação foi transformar em menos legging isso, que foi diminuir esse ciclo médio de vendas, então, eu acho que mesmo que a conversão for lenta eu acho que é importante você saber, que é o que você falou, de criar essa base de conhecimento antes de começar seu experimento, mesmo assim eu acho importante você fazer o experimento e também trabalhar pra diminuir esses ciclos de venda, e aí como você falou também de olhar o intermediário, eu concordo, a gente tem que olhar as métricas intermediárias, se tá dando mais clique, se tá parecendo que vai ser melhor, eu acho que é importante, mas eu só tiraria a conclusão, se é melhor ou pior, com o resultado final mesmo, se a gente estiver com objetivo de aumentar a venda e o ciclo médio for 30 dias, cara, então o nosso experimento… Você tem que considerar isso pra fazer o cálculo de quanto tempo o seu experimento vai ficar no ar. Então nesse caso, com ciclo médio de 30 dias, provavelmente, vamos dizer aí, uma amostra de 800 clientes novos por dia com conversão de 6%, você teria uns dois meses de experimento, e tudo bem! Você consegue usar esse legging pra fazer essa análise. Agora, se for muito mais do que isso, aí realmente fica difícil você otimizar uma experimentação baseada nisso, talvez você tenha que encontrar coisas mais próximas da conversão pra fazer experimento e depois ir voltando, entendeu? Acho que alguma coisa nesse sentido.

A: Bom, acho que agora falando um pouco mais genericamente de processo pra aplicar experimentação, acho que assim, não é muito difícil você encontrar vários artigos aí falando sobre isso, eu particularmente…Daí também não sei se é um nome que tu gosta muito ou não, mas eu tenho visto bastante coisa por exemplo, a lista do spot tem várias coisas a respeito, mas enfim não é muito difícil você encontrar artigos nessa linha, depende do autor, mas eu queria entender um pouco de ti, da tua experiência, como é um bom processo de desenvolvimento de produtos baseado em experimentos? Como é que é a receitinha de bolo, digamos assim, de fazer isso, e tu mencionou em algum momento de ser uma das primeiras coisas que tu faria, será que há um processo de como fazer isso?

C: Cara, pra mim é um processo relativamente simples, primeiro, eu gosto de citar uma meta de experimentos por tempo, por quê? Desse jeito você sabe qual o pacing que você tem que trabalhar, então, vamos dar um exemplo aqui, acho que até pra gente citar um pouco essa conversa aqui, na minha visão, principalmente, quando você tá trabalhando com growth, quanto mais experimento, mais chance você tem, então o ideal é que você chegue no limite da sua amostra de experimentos simultâneos que você for fazer. Então vamos supor que você vai fazer 10 testes por mês, isso eu acho que é um número ok, então, primeiro você seta quero fazer 10 testes por mês,  e aí eu gosto de setar um pace semanal, então, em uma semana você desenvolve as suas hipóteses… Então como que eu desenvolvi as minhas hipóteses? Basicamente, eu fazia brainstorm pra tentar encontrar quais são as principais hipóteses, isso é uma forma fácil e rápida de fazer, depois disso, eu colocava isso dentro de um framework de priorização, eu gostava muito de usar o Rise pra fazer isso. O Rise ele é baseado em reach, que é o alcance, impacto, confiança e o esforço, então, ele usa essas quatro dimensões pra poder priorizar o experimento. Então baseado nisso, priorizava os experimentos que seriam desenvolvidos na semana, e aí pegava com o time de designers, o time de produto pra deixar mais claro e desenhar como… E muitas vezes tinha uma pessoa de marketing também nesses times, então, desenhava ali como seria, deixava muito mais claro e tangível pra desenvolver na próxima semana, e aí toda a semana fazia isso em torno de… Tinha que ir pra todo o sprint, eu tinha que preparar de dois a três testes pra que o time, na sequência, na outra semana desenvolvesse esses dois ou três testes e colocasse em produção, colocasse no ar o experimento. E aí basicamente já era trackeado com teste AB ,e aí uma coisa que a gente gostava muito de fazer também, a gente gostava de colocar dentro de um canvas a definição desse teste, então qual resultado esse teste iria alcançar? Quanto tempo esse teste precisa de amostra? E aí deixava tudo isso já prefixado, porque quando a gente colocasse o teste no ar, esse teste só ia rodar pelo tempo que ele já foi predeterminado antes, então, dava esse tempo a gente avaliava, deu certo, deu errado, a gente efetivava o teste, então colocava… Se desse sucesso a gente efetivava, se desse falha a gente tirava o teste do ar, acho que é basicamente isso. Ferramenta pra avaliar o teste, eu particularmente gosto muito de usar a ferramenta própria então eu desenvolvi uma ferramenta usando o MetaBase como dashboard e a gente criou um micro serviço super simples, randômico ali de marcar os clientes dentro do teste A ou do teste B. 

A: Legal! Então, só deixa eu tentar recapitular aqui uma coisa, mas seu eu fosse imaginar o teu Kanban, digamos assim, de como é que esses experimentos são organizados, tu tem ali uma parte de geração de ideias através de brainstorm, aí depois vai pra uma etapa de priorização, depois dessa etapa de priorização vai pra uma etapa de implementação desse teste, e depois uma etapa de análise de resultado que pode retroalimentar essa cadeia, seria mais ou menos isso?

C: Exatamente, seria mais ou menos isso. Então, avaliação das hipóteses, implementação das hipóteses, avaliação de resultado das hipóteses, efetivação ao desligamento do teste, acho que grandes linhas é mais ou menos por aí. 

A: Legal! E essa etapa de geração de ideias, de brainstorm, como é que tu faz? Tu coloca todo mundo numa sala, o time inteiro? E a galera começa a gerar ideias… Enfim, como é que é esse processo inicial?

C: Cara… É interessante, assim, eu acho que é difícil… E isso é uma coisa que você não deve, na minha opinião, você não deve fazer sempre igual porque senão você acaba não tendo resultados diferentes. Primeiro, eu acho que você tem que variar as pessoas, cada vez que você fazer o brainstorm você varia as pessoas, então, eu gostava de basicamente colocar pessoas diferentes com contextos diferentes na mesma sala, setar o objetivo que eu tenho pra aquele brainstorm, e eu citava algumas regras do brainstorm, por exemplo, não critique a ideia de ninguém, esse tipo de coisa, relativamente simples, e o pessoal falando as ideias e a gente colocando ali num quadro as ideias enquanto o pessoal vai falando. Então, numa sessão de brainstorm ali de 30, 50 minutos, chegava num número bem alto de ideias, assim 30, 40 ideias pra depois ser priorizada e ser descartada… Um monte de ideia ali era descartada, mas muitas ideias acabavam indo pra frente. 

A: Legal! E qual que é… Nesse processo todo, né, não só nessa parte de brainstorm, mas qual que é o papel do PM nesse processo de experimentação?

C: Pra mim o papel do PM, principalmente é: avaliar todas as ideias e organizar elas pra que seja feita a priorização, então, o PM tem a responsabilidade de selecionar quais são as ideias que têm maior potencial, e aí pra isso ele vai ter que avaliar todas as dimensões do Rise, isso acaba dando bastante trabalho pra você encontrar qual que é o alcance, você tem que criar um lógica pra falar se você confia ou não, você vai criar uma lógica pra falar qual que é o impacto de cada uma das iniciativas, e assim por diante. Então, em resumo, pra mim o PM tem que chegar nas melhores ideias baseado ali num framework de priorização, acho que essa é a principal responsabilidade dele nesse momento inicial ali do processo.

A: Legal! Outra coisa que tu mencionou na tua resposta foi um número, se eu não me engano, de 10 experimentos por mês ou algo nessa linha como algo que seria bom dentro de um time de growth, um time que tá mais focado em fazer experimentos o tempo todo, primeiro, eu queria confirmar contigo se é esse número mesmo, de em torno de 10 experimentos por mês que tu consideraria um bom benchmark, e o segundo se além da quantidade de experimentos tem mais alguma coisa que tu usa pra medir sucesso de um time de experimentação.

C: Eu acho que é um pouco difícil de falar a quantidade de testes sem você saber algumas informações, por exemplo, qual que é a amostra? Aonde você quer chegar? Quanto você quer otimizar? Aonde você pretende alcançar? Então eu acho que precisa de algumas informações pra poder definir a quantidade de teste. Então assim, eu fazia, até pra quem quiser usar aqui como benchmark, com meu time de growth, eu fazia em torno de 10 experimentos por mês, e aí eu usava como uma segunda métrica de sucesso, a taxa de sucesso dos meus experimentos. Então, eu fazia 10 testes por mês e tinha em torno de 30% de taxa de sucesso nos meus experimentos à uma média de aumento de conversão de 4,5% em cada teste. Esses eram os parâmetros do meu time na época. Por que que eu tô falando na época? Porque hoje eu faço experimentação, porém eu não tô fazendo no mesmo pacing de growth, você precisa setar  esse tipo de parâmetro, então, pra mim esse é um bom benchmark, aí você tem que entender, 30% de sucesso à 10 testes com uma média de X de conversão, é bom pra você? Ou não? Então, aí você tem que mexer nessas variáveis pra poder alcançar o resultado que você precisa, respeitando o limite da sua amostra. Então, algumas vezes você não vai conseguir fazer mais testes porque a sua amostra não permite você fazer tantos testes em paralelos sem garantir o princípio de independência entres os testes, que é um princípio, na minha opinião, super importante. 

A: Show! Cara, pra gente começar a fechar aqui esse papo, e eu tenho certeza de que tu já me ensinou várias dessas coisas ao longo dessa conversa, mas nesses anos todos trabalhando com experimentação, quais foram os teus principais aprendizados nesse tempo?

C: Acho que eu vou tentar fazer uma síntese aqui, pra mim, experimentação tem a ver com jogar combustível e não com acender a fogueira, isso pra mim foi um aprendizado… Eu aprendi com o Brian, VP de Growth do Facebook, o Brial Hale, ele foi meu mentor por um tempo quando eu tava no Conta Azul, e ele mostrou que essa diferença de mindset muda muito a forma que você vai olhar pros testes. Segunda coisa, significância estatística é muito relevante, sem isso você não consegue fazer experimentação. Terceira coisa, você precisa garantir a independência entre os testes, se os seus testes começarem um interferir no outro, o que vai acabar acontecendo é: você vai ter um teste que uma hora ele vai dar significante/não significante, significante/não significante… Você não vai conseguir tirar uma conclusão, porque os não significante vão tá interferindo uns nos outros. Quarto, olhe a sua significância estatística ao longo do tempo, porque coisas que você não imaginava podem acontecer, por exemplo, o seu time de marketing pode fazer alguma coisa que você não esperava e você não viu, e aí pode te enganar de que você chegou na significância, mas na verdade aquilo foi um evento sazonal de alguma coisa que aconteceu ali no meio e você não trackeou, então olhar por mais tempo garante isso. Acho que esses foram os principais.

A: Animal! Animal! Vamos pro bate-bola?

C: Vamos!

A: Uma ferramenta de trabalho indispensável pra ti?

C: Pro PM, um analytics bem organizado e bem feito é indispensável. E aqui eu tô independente de qual ferramenta, tá, tem que tá bem estruturado e organizado.

A: Qual que é o teu principal hack de gestão de tempo?

C: O meu principal hack é quando você tiver uma pessoa pra você conversar, faça em 30 minutos ou menos. Isso daí pra mim, principalmente pra um PM que tem que falar com muitas pessoas, otimiza muito o tempo.

A: O que que tu tá lendo agora?

C: Cara, eu tô lendo First 90 days, que é os Primeiros 90 dias, eu acabei de mudar de empresa, então, eu tentei ler esse livro pra organizar muito a minha entrada dentro da empresa e tá sendo bem interessante.

A: Quais seriam os três livros que tu recomendaria pra qualquer PM?

C: Cara, pra mim é Inspired, acho que No brain, todo mundo tem que ler, todo PM tem que no mínimo ler esse livro. Eu gosto muito, às vezes o pessoal acha um pouco clichê, mas eu gosto muito do Lean Startup, eu acho que ele ajuda a ter um mindset de ser lean e é  isso que importa, e eu gosto muito do Value Proposition Design, ele é um livro bem prático e ajuda muito a organizar os seus entendimentos sobre o cliente e sobre o seu produto. 

A: Quais são as tuas principais fontes de informação sobre produto?

C: Cara… Eu basicamente, eu gosto muito… Eu tô sempre procurando algum livro e não necessariamente sobre produto, eu acho que isso é mais legal de trabalhar com produto, qualquer coisa… Produto é tão multidisciplinar que você consegue ler vários assuntos e agregar pra gestão de produto. Além disso, eu gosto de trocar ideia com pessoas, e tentar entender o que cada um tá fazendo pra tentar se aprimorar. Eu tento tá sempre em contato com pessoas de gestão de produto que eu já trabalhei, e pessoas, assim, mais do mercado também, por exemplo, o Brian que eu citei aqui, ele é de growth, mas ele traz bastante informação.

A: Show! Quem te inspirou?

C: Cara… O cara que me inspirou, eu olhei muito foi o Joaquim Torres, eu acho que muitos da nossa geração se inspiraram por ele porque ele é um cara que ele entendeu o que que queria dizer gestão de produto antes de todo mundo aqui no Brasil, e ele sempre quis mostrar pra todo mundo como fazer gestão de produto, e ele é um cara extremamente tranquilo e ao mesmo tempo organizado, então ele me inspira bastante.

A: Tu trabalhou com ele no gympass, chegou a trabalhar com ele no Conta Azul também?

C: Trabalhei. A história com o Joca foi legal porque eu participei de um processo seletivo dele na Catho, teve uma época que ele tava participando do processo lá, eu conheci ele pessoalmente, eu já tinha lido o livro dele, e eu li o guia de startup, o primeiro livro dele, e aí depois eu acabei indo pro Conta Azul primeiro do que ele, aí depois ele foi pro Conta Azul, aí ele foi pro Gympass, aí ele me convidou pra trabalhar no Gympass com ele.

A: O que que é um bom PM pra ti?

C: Cara, pra mim um bom PM é um cara que tem um bom equilíbrio entre discovery, entender o cliente, conhecer ferramentas  de discovery e fazer um bom processo de gestão de delivery. Hoje, dificilmente você encontra pessoas completas assim, elas tão pendendo mais pra um lado do que pro outro, então pra mim é um bom equilíbrio entre essas duas coisas, e ele também tem que saber inspirar o time, criar um time de missionários, pessoas que querem alcançar aquela visão de produto maior junto com ele.

A: E o que é um bom produto pra ti?

C: Cara, basicamente um bom produto é que gera engajamento e ele tem unit economics, tem dinheiro suficiente pra retroalimentar ele, porque se ele não ganhar dinheiro o suficiente tem uma alta tendência dele morrer, então, pra mim tem muito a ver com… Resumindo, em retenção, e ele ter valor o suficiente pra um cliente pagar pra que sustente esse produto de qualidade.

A: Cara, nesses anos todos de experiência certamente tu adquiriu algum aprendizado que te guia sempre e sempre quando tem oportunidade tu passa ele pra frente, que aprendizado foi esse?

C: Cara, pra mim, o maior aprendizado que eu tive é que é muito importante você ser locomotiva e não vagão, e eu sempre repito isso pra todo mundo porque a partir do momento que você se torna vagão, espera alguém te puxar, você vai perder a oportunidade, você não vai fazer o seu produto crescer, você não vai se desenvolver e não vai desenvolver as outras pessoas, então, seja uma locomotiva.

A: Animal! Corciolli, cara, muito obrigado pelo papo. Aprendi bastante contigo aqui hoje, e enfim, espero que a gente mantenha contato aí daqui pra frente.

C: Obrigado Spengler! Fiquei muito feliz de participar, espero que todo mundo goste aí um pouco do que eu passei, e com certeza vamos manter contato sim, cara!

A: Esse e os outros episódios vão tá disponíveis em productbackstage.com.br e nos principais players do mercado, todas as referências, links etc. que o Corcioli recomendou durante o episódio também vão tá listados no episódio dele em productbackstage.com.br. Muito obrigado e até o próximo episódio.

Escute esse podcast no Spotify clicando aqui!