Meilleure façon d'évaluer les méthodes d'estimation PDF

Je souhaite tester certaines de mes idées qui me semblent meilleures que tout ce que j'ai vu. Je peux me tromper mais je voudrais tester mes idées et vaincre mes doutes par des observations plus certaines.

Ce que j'ai pensé faire, c'est ce qui suit:

1. Définissez analytiquement un ensemble de distributions. Certains d'entre eux sont faciles comme le gaussien, l'uniforme ou le Tophat. Mais certains d'entre eux doivent être difficiles et difficiles, comme la distribution des Simpsons.
2. Implémentez un logiciel basé sur ces distributions analytiques et utilisez-les pour générer des échantillons.
3. Parce que les distributions sont définies analytiquement, je connais déjà - par définition - leurs vrais PDF. C'est bien.
4. Ensuite, je testerai les méthodes d'estimation PDF suivantes par rapport aux exemples ci-dessus:
   • Méthodes d'estimation PDF existantes (comme KDE avec différents noyaux et bandes passantes).
   • Ma propre idée que je pense mérite d'être essayée.
5. Ensuite, je mesurerai l'erreur des estimations par rapport aux vrais PDF.
6. Ensuite, je saurai mieux laquelle des méthodes d'estimation PDF est bonne.

Mes questions sont:

• Q1: Y a-t-il des améliorations par rapport à mon plan ci-dessus?
• Q2: J'ai du mal à définir analytiquement de nombreux vrais PDF. Existe-t-il déjà une liste complète de nombreux vrais PDF définis analytiquement avec des difficultés variables (y compris des problèmes très difficiles) que je peux réutiliser ici?

A2: Vous pouvez tester vos méthodes en 1D sur l'ensemble de benchmarks suivant .

• $L^p$

• A2. Êtes-vous intéressé uniquement par les fichiers PDF 1-D ou avez-vous l'intention de tester le cas multivarié? Quant à une suite de référence de pdfs, j'ai posé une question quelque peu connexe dans le passé dans le but de tester des algorithmes MCMC , mais je n'ai rien trouvé de tel qu'un ensemble bien établi de pdfs.

Si vous avez beaucoup de temps et de ressources informatiques, vous pourriez envisager d'effectuer une sorte de test contradictoire de votre idée:

• Définissez une famille paramétrique très flexible de fichiers PDF (par exemple, un grand mélange d'un certain nombre de fichiers PDF connus) et déplacez-vous dans l'espace des paramètres du mélange via une méthode d' optimisation globale non convexe (*) afin de minimiser les performances de votre méthode et de maximiser performance d'une autre méthode d'estimation de la densité de pointe (et éventuellement vice versa). Ce sera un test solide de la force / faiblesse de votre méthode.

Enfin, l'exigence d'être meilleur que toutes les autres méthodes est une barre excessivement élevée; il ne doit y avoir aucun principe de déjeuner gratuit au travail (tout algorithme a une hypothèse antérieure sous-jacente, comme la douceur, l'échelle de longueur, etc.). Pour que votre méthode soit une contribution précieuse, il vous suffit de montrer qu'il existe des régimes / domaines d'intérêt général dans lesquels votre algorithme fonctionne mieux (le test contradictoire ci-dessus peut vous aider à trouver / définir un tel domaine).

(*) Étant donné que votre métrique de performance est stochastique (vous l'évaluerez via l'échantillonnage Monte Carlo), vous pouvez également vérifier cette réponse sur l'optimisation des fonctions objectives bruyantes et coûteuses.

Q1: Y a-t-il des améliorations par rapport à mon plan ci-dessus?

Ça dépend. Les résidus de distribution de mélange résultent souvent de faire des choses stupides comme spécifier une distribution de mélange inutile comme modèle de données pour commencer. Donc, ma propre expérience suggère de spécifier au moins autant de termes de distribution de mélange dans la sortie qu'il y en a dans le modèle. De plus, la sortie du PDF mélangé est différente des PDF du modèle. La recherche par défaut de Mathematica inclut des distributions de mélange avec deux termes et peut être spécifiée comme un plus grand nombre.

Q2: Existe-t-il déjà une liste complète de nombreux vrais PDF définis analytiquement avec des difficultés variables (y compris des problèmes très difficiles) que je peux réutiliser ici?

Voici une liste de la routine FindDistribution de Mathematica :

distributions continues possibles TargetFunctions sont: BetaDistribution, Loi de Cauchy, ChiDistribution, ChiSquareDistribution, ExponentialDistribution, ExtremeValueDistribution, FrechetDistribution, loi gamma, GumbelDistribution, HalfNormalDistribution, InverseGaussianDistribution, LaplaceDistribution, LevyDistribution, LogisticDistribution, LogNormalDistribution, MaxwellDistribution, NormalDistribution, Loi de Pareto, Loi de Rayleigh, StudentTDistribution, UniformDistribution, Loi de Weibull , HistogramDistribution.

Les distributions discrètes possibles pour TargetFunctions sont: BenfordDistribution, BinomialDistribution, BorelTannerDistribution, DiscreteUniformDistribution, GeometricDistribution, LogSeriesDistribution, NegativeBinomialDistribution, PascalDistribution, PoissonDistribution, WaringYuleDistribution, ZipfDistribution, HistogramDistribution, Empir.

Le critère d'information interne utilise un critère d'information bayésien avec des priorités sur TargetFunctions.