Peut-on laisser de côté les données de la recherche car elles ne sont pas significatives?

J'ai rencontré cette phrase en lisant un article sur sciencemag.org .

Au final, les réponses de seulement 7600 chercheurs dans 12 pays ont été incluses car les données restantes n'étaient pas considérées comme statistiquement significatives.

Est-ce une bonne façon de faire de la recherche? Oublier les résultats parce qu'ils n'étaient pas considérés comme statistiquement significatifs?

Dans le rapport cité dans le commentaire de whuber, il est dit à la page 104 [page 114 du pdf]:

L'enquête a réussi à activer la participation d'environ 8 900 doctorants de plus de 30 pays ...

Puis, couvrant les pages 104-105, il dit:

Lors des procédures de nettoyage des données, l'équipe d'experts d'Eurodoc Survey a décidé d'effectuer une analyse de test de puissance. Sur la base de l'hypothèse de questionnaires entièrement remplis qui aboutiront à une distribution multi normale, un test de puissance pour l'estimation de l'intervalle de confiance a été utilisé. Cela a été fait pour tester l'exactitude des données. Il a été décidé d'accepter au maximum un niveau d'erreur de 6% à un intervalle de confiance de 95%. Une perte de 16% de la taille de l'échantillon a abouti à un échantillon de 12 pays participants avec 7 600 participants.

Il n'est donc pas vraiment clair exactement pourquoi la perte de 16% dans l'échantillon, mais l'hypothèse de réponses incomplètes est probablement correcte. (Et vous pouvez voir pourquoi le journaliste était confus.)

Cette phrase n'a pas de sens et est clairement erronée.

Les données ne peuvent pas être statistiquement significatives ou insignifiantes. Seules les relations entre données, fruit de tests statistiques, peuvent être évoquées en ces termes.

Si la question est: pouvons-nous supprimer des données de nos analyses parce que l'inclusion de ces données signifie que nous ne pouvons pas rejeter l'hypothèse nulle? La réponse est - évidemment, j'espère! - non . Le message que vous avez cité est un reportage, pas un article scientifique. Si ce document avait été examiné, il ne serait jamais entré.

Probablement, les données n'ont pas été incluses car il existe des raisons substantielles de ne pas inclure ces données. Comme d'autres l'ont suggéré, les données exclues étaient probablement incomplètes ou collectées à l'aide de méthodes différentes ou incomparables.

Non.

Je soupçonne que le journaliste voulait dire que les autres personnes ont été laissées de côté parce que les enquêtes étaient incomplètes ou incohérentes en interne.

Non, mais les journalistes peuvent utiliser un jargon technique complètement insensé.