3. Desempenho das amostras

Uma das vantagens alegadas das pesquisas RBS é sua eficiência. Ao contrário das pesquisas RDD, que contam com listas depotencialmentenúmeros de telefone de trabalho, pesquisas RBS usam listas deatualAmericanos. Apesar dessas diferenças estruturais, este estudo encontrou pouca vantagem para a amostra RBS em termos de eficiência. A taxa de resposta geral foi de 8% para a pesquisa RBS contra 6% para a pesquisa RDD.

Além do mais, pelo menos uma decisão de design levou a taxa de resposta de RBS neste estudo a ser maior do que o que é normalmente visto na prática. Quando os pesquisadores conduzem pesquisas RBS, eles geralmente acham que é um custo proibitivo exigir que a pessoa que entrevistam corresponda ao nome do registro do eleitor amostrado para a pesquisa. Exigimos essa correspondência para este estudo, embora apenas para casos de telefones fixos. Discussões com o fornecedor da pesquisa e com outros pesquisadores sugeriram que a taxa de correspondência seria muito baixa ao ligar para números de celular para tentar a correspondência.

Se não houvesse nenhum requisito de correspondência neste estudo, a taxa de resposta para casos de telefones fixos RBS é projetada em aproximadamente 4% (em vez dos 11% observados), empurrando a taxa de resposta RBS geral para 5% projetados (em vez os 8% observados).12

Uma olhada nos telefones celulares discados nas pesquisas RBS e RDD fornece uma comparação mais comparativa. Em ambas as pesquisas, ao ligar para um número de telefone celular, os entrevistadores tentaram completar a pesquisa com quem atendeu o telefone, desde que a pessoa tivesse 18 anos ou mais. A taxa de resposta do celular foi de 6% em ambas as pesquisas.

Ficando fora da comparação RBS por um momento, a taxa de resposta à pesquisa RDD é notável por si só. O último estudo do Pew Research Center para se aprofundar na qualidade dos dados de RDD descobriu que, em 2016, a taxa média de resposta às pesquisas de RDD do Centro foi de 9%. A taxa de resposta RDD neste estudo foi de 6%. Embora a taxa varie de pesquisa para pesquisa, os 6% encontrados aqui são indicativos de uma diminuição geral nas taxas de resposta de RDD nos últimos dois anos. Identificar as causas desse declínio está além do escopo deste estudo, embora tenha havido vários relatórios sobre o recente aumento do telemarketing para telefones celulares e os efeitos da tecnologia projetada para combatê-lo.

Características das amostras brutas e não ponderadas

Quando nenhuma ponderação estatística é aplicada aos dados, as deficiências da amostra RBS aparecem. A amostra RBS produziu uma parcela maior de brancos não hispânicos (75% vs. 67% para a amostra RDD; brancos não hispânicos são 64% da população) e obteve substancialmente menos hispânicos: 8% na amostra RBS vs. 13 % na amostra RDD. A amostra da RBS também era significativamente mais velha, com uma participação de 38% daqueles com 65 anos ou mais, em comparação com 28% entre a amostra de RDD. Os entrevistados com menos de 30 anos de idade constituíram apenas 10% da amostra da RBS, mas foram 15% da amostra RDD (a parcela real da população para este grupo de idade é de 22%).

As amostras diferiram pouco em termos de desempenho educacional. Como acontece com a maioria das pesquisas, os graduados universitários estavam substancialmente super-representados em relação à sua participação real na população adulta. A amostra RBS produziu uma distribuição de gênero melhor do que a amostra RDD. Havia quase o mesmo número de homens e mulheres na amostra da RBS, enquanto a amostra RDD era 58% masculina, 42% feminina. Na amostra da RBS, houve diferenças relativamente modestas na composição demográfica das amostras de eleitores registrados e não registrados. Os hispânicos representaram 7% da amostra registrada e 13% da amostra não registrada.



Entre os eleitores registrados, a história era basicamente a mesma. Ambas as amostras de RV não ponderadas são consideravelmente mais antigas do que a população de RV real. De acordo com o CPS, cerca de um quarto (23%) dos eleitores registrados nos EUA têm 65 anos ou mais, mas entre os RVs confirmados da amostra da RBS neste estudo, a taxa foi de 43%. Em comparação, apenas 31% dos RVs autodescritos da pesquisa RDD tinham 65 anos ou mais.

As amostras de eleitores registrados da pesquisa RBS também tiveram proporções desproporcionalmente altas de brancos não hispânicos (76% da amostra de RVs confirmados em comparação com 72% com base no CPS). O perfil racial e étnico da amostra de RDD RV, por comparação, alinhava-se intimamente com os benchmarks do CPS. Na educação, todas as três amostras de RVs sobre-representaram RVs com educação universitária em uma extensão semelhante.

Enquanto a ponderação aplicada a essas amostras de RV eliminou quase todas essas diferenças demográficas, a análise de referência sugere que as estimativas confirmadas de RV permaneceram um pouco influenciadas por adultos mais velhos e aposentados.

Pesquisa RBS teve maiores efeitos de design de ponderação

A RBS e a pesquisa RDD foram ponderadas usando o protocolo de ponderação padrão do Centro para pesquisas RDD,13com um parâmetro adicional de raking de registro eleitoral do Suplemento de Votação e Registro da Current Population Survey de 2016.14Uma consequência da ponderação é aumentar o nível de variabilidade nas estimativas da pesquisa. A magnitude desse aumento é capturada por uma medida conhecida como efeito de desenho aproximado.quinze

Usando o protocolo de ponderação empregado para este estudo, a pesquisa RBS teve um efeito de design maior do que a pesquisa RDD. O efeito de desenho aproximado para estimativas de todos os adultos dos EUA com base na pesquisa RBS foi de 2,2 em comparação com 1,4 da pesquisa RDD. Em termos concretos, isso significa que, após a ponderação, apesar do tamanho nominal da amostra de 1.800, a amostra da RBS era equivalente a uma amostra aleatória simples de 818 adultos. Embora a amostra RDD tenha um tamanho de amostra nominal menor de 1.503, o efeito de design menor dá a ela um tamanho de amostra efetivo de 1.071. Consequentemente, a margem de erro após a ponderação é maior para a pesquisa RBS do que para a pesquisa RDD (3,4 e 3,0 pontos percentuais, respectivamente).

O principal fator que contribuiu para o efeito de design mais alto foi que a amostra RBS não ponderada (em comparação com a amostra RDD) divergiu mais acentuadamente dos parâmetros populacionais nas principais variáveis ​​de ponderação. Antes da ponderação, a pesquisa RBS tinha uma proporção maior de brancos não hispânicos, adultos com diploma de bacharelado ou mais e adultos com 65 anos ou mais. As decisões de design de amostra para a pesquisa RBS (por exemplo, amostragem de bancos de dados RV e não RV e registros de amostragem sem número de telefone) também impactam o efeito do design. No entanto, o efeito dos ajustes de ponderação demográfica foi muito maior.

Muitas pessoas alcançadas na pesquisa RBS não eram a pessoa no registro eleitoral

Em teoria, uma vantagem significativa das pesquisas RBS sobre RDD é que elas fornecem ao pesquisador informações úteis sobre os entrevistados e as pessoas que foram selecionadas, mas não entrevistadas. Usando o RBS, os pesquisadores podem ver o histórico de comparecimento e o modelo político partidário de todos os registros amostrados antes que qualquer entrevista seja feita. Se a amostra de pessoas que fazem a pesquisa parecer diferente das que não respondem, o pesquisador pode ajustar estatisticamente os dados para torná-los mais representativos.

Mas essa ideia se baseia no pressuposto de que a pessoa entrevistada é amesma pessoacujo registro de registro foi selecionado. Curiosamente, vários pesquisadores que usam o RBS notaram que a pessoa que atende o telefone geralmente não é a pessoa cujo registro foi selecionado. As incompatibilidades têm várias causas potenciais, como a morte da pessoa no registro de amostra ou apenas a alteração do número de telefone.

Na verdade, ao projetar este estudo RBS, atendemos a recomendação do fornecedor de que é impraticável exigir que a pessoa entrevistada corresponda à pessoa nomeada no registro de amostra ao ligar para telefones celulares. Como resultado, este estudo implementou uma estratégia de duas vias. Quando os entrevistadores ligavam para o celular, eles entrevistavam quem atendia o telefone, desde que tivesse 18 anos ou mais. Ao final da pesquisa, o entrevistador perguntou se eles estavam falando com a pessoa nomeada no registro da amostra. Quase dois terços das vezes (62%), o entrevistado confirmou que esse era o seu nome.

Quando os entrevistadores ligaram para um telefone fixo no estudo RBS, eles começaram a entrevista pedindo para falar com a pessoa nomeada nos registros de amostra. Em menos de um terço das vezes (31%), o respondente confirmou que o nome do registro da amostra era seu.

Superficialmente, esses resultados podem parecer sugerir que era mais fácil entrar em contato com a pessoa no registro de amostra ao ligar para números de telefone celular do que para telefones fixos. Mas essa não é uma conclusão precisa, porque a confirmação do telefone fixo era uma pergunta de triagem no exato momentocomeçoda entrevista e a confirmação do celular ocorreu nofim, tornando as duas taxas não diretamente comparáveis. Está bem documentado que as perguntas de triagem tendem a levar a subnotificações motivadas, como recusar a confirmação para evitar uma entrevista.16

Além disso, a tarifa do celular está restrita a apenas 916 cooperados que completaram a entrevista. A taxa de telefone fixo, por outro lado, é baseada em um grupo muito maior de 3.292 pessoas, composta principalmente por pessoas que simplesmente deram alguma indicação de que o entrevistador havia atingido o número errado e não foram entrevistadas. Em outras palavras, o denominador da tarifa de telefone fixo parece conter casos que podem ter sido elegíveis, mas recusaram o pedido de entrevista. Após consultar o fornecedor da pesquisa, determinamos que essa era a maneira mais limpa de calcular a taxa de confirmação entre os casos de telefones fixos. Além disso, a taxa de confirmação do telefone fixo neste estudo pode ser menor do que o normal devido a um descuido feito pelo fornecedor da amostra, em que a amostra fornecida inicialmente não incluía os números de telefone mais recentes disponíveis para eles. Os casos afetados foram atualizados durante o período de campo, mas isso pode ter reduzido a possibilidade de chegar à pessoa no registro de amostra no início do período de campo.

Embora as taxas exatas de confirmação de nome neste estudo possam não generalizar muito bem por uma série de razões, elas ressaltam a dificuldade geral em tentar entrevistar a pessoa correspondente ao registro da amostra em uma pesquisa RBS.