Multiple hypothesis testing problems arise frequently in biomedical and genomic research, for instance, when identifying differentially expressed and co-expressed genes in microarray experiments. We have developed generally applicable resamplingbased single-step and stepwise multiple testing procedures (MTP) for controlling a broad class of Type I error rates, defined as tail probabilities and expected values for arbitrary functions of the numbers of false positives and rejected null hypotheses. A key feature of the methodology is the general characterization and explicit construction of a test statistics null distribution (rather than data generating null distribution), which provides Type I error control in testing problems involving general data generating distributions (with arbitrary dependence structures among variables), null hypotheses defined in terms of submodels, and test statistics.

This article presents simulation studies comparing test statistics null distributions in two testing scenarios of great relevance to biomedical and genomic data analysis: tests for regression coefficients in linear models where covariates and error terms are allowed to be dependent and tests for correlation coefficients. The simulation studiesdemonstratethatthechoiceofnulldistributioncanhaveasubstantialimpact on the Type I error properties of a given multiple testing procedure. Procedures based on our proposed non-parametric bootstrap test statistics null distribution typically control the Type I error rate "on target" at the nominal level, while comparable procedures, based on parameter-specific bootstrap data generating null distributions, can be severely anti-conservative or conservative. The analysis of microRNA expression data from cancerous and non-cancerous tissues (Lu et al., 2005), using tests for logistic regression coefficients and correlation coefficients, illustrates the flexibility and power of our proposed methodology.

Les tests d'hypothèses multiples sont fréquemment utilisés dans le domaine de la recherche biomédicale et génomique, en l'occurrence, pour l'identification de gènes différentiellement exprimés et co-exprimés à partir des données issues de puces à ADN. Nous avons développé des procédures de tests multiples avec ré-échantillonnage, à pas simple mais aussi pas à pas, pour contrôler une vaste classe de taux d'erreurs de première espèce, définis par des probabilités de queues de distributions et des espérances de fonctions arbitraires du nombre de faux positifs et du nombre total d'hypothèses nulles rejetées. Parmi les contributions fondamentales de notre méthodologie, notons la caractérisation générale et la construction explicite d'une distribution nulle pour les statistiques de test (plutôt qu'une distribution génératrice de données nulle). Cette distribution garantit le contrôle du taux d'erreurs de première espèce pour des problèmes de tests multiples pour des lois génératrices de données présentant une structure de dépendance quelconque, des hypothèses nulles définies de manière générale en terme de sous-modèles, et des statistiques de test arbitraires.

Cet article présente des études par simulation pour la comparaison de distributions nulles des statistiques de test, sous deux scénarios particulièrement pertinents à l'analyse de données biomédicales et génomiques: les tests sur les coefficients de régression pour des modèles linéaires dans le cas où les covariables et les erreurs peuvent être dépendantes et les tests sur les coefficients de corrélation. Les études par simulation démontrent que le choix d'une distribution nulle peut considérablement influer les taux d'erreurs de première espèce d'une procédure donnée de tests multiples. Les procédures fondées sur notre distribution nulle bootstrap non-paramétrique pour les statistiques de test contrôlent le taux d'erreurs de première espèce au niveau nominal, alors que des procédures comparables, fondées sur des distributions bootstrap paramétriques nulles pour les données, peuvent être très anti-conservatrices ou conservatrices. L'analyse de données sur l'expression de microARN dans des tissus cancéreux et non-cancéreux (Lu et al., 2005), par tests pour coefficients de régression logistique et coefficients de corrélation, illustre la flexibilité et la puissance de notre méthodologie.

Lu et al. (2005): Web companion.