Algorithmes exacts pour la programmation quadratique non convexe

Cette question concerne les problèmes de programmation quadratique avec des contraintes de boîte (box-QP), c'est-à-dire des problèmes d'optimisation de la forme

minimiser sous réserve de . $f(\mathbf{x}) = \mathbf{x}^T A \mathbf{x} + \mathbf{c}^T \mathbf{x}$ $\mathbf{x} \in [0,1]^n$

Si était semi-défini positif, alors tout serait bien, convexe et facile, et nous pourrions résoudre le problème en temps polynomial. $A$

En revanche, si nous avions la contrainte d'intégralité , nous pourrions facilement résoudre le problème dans le temps par la force brute. Aux fins de cette question, c'est assez rapide. $\mathbf{x} \in \{0,1\}^n$ $O(2^n \cdot \mathrm{poly}(n))$

Mais qu'en est-il du cas continu non convexe? Quel est l'algorithme connu le plus rapide pour les box-QPs généraux?

Par exemple, pouvons-nous résoudre ces problèmes dans un temps modérément exponentiel, par exemple , ou la complexité la plus défavorable des algorithmes les plus connus est-elle bien pire? $O(3^n \cdot \mathrm{poly}(n))$

Contexte: J'ai quelques boîtes-QP assez petites que j'aimerais réellement résoudre, et j'ai été un peu surpris de voir les performances médiocres de certains logiciels commerciaux, même pour de très petites valeurs de . J'ai commencé à me demander s'il y avait une explication TCS pour cette observation. $n$

ds.algorithms optimization exp-time-algorithms Jukka Suomela
la source

Pouvez-vous résoudre exactement même pour PSD

? La solution peut être irrationnelle, non? Si vous êtes prêt à perdre additif

peut - être on peut obtenir un algorithme de temps exponentiel en faisant la recherche de force brute sur une grille suffisamment fine. Juste une vague suggestion.

A

$A$

ϵ

$\epsilon$

Chandra Chekuri

L'inconvénient est que la "base" de l'exposant serait quelque chose comme

, mais une ingénierie de grille intelligente peut aider pour les "petits"

1 / ϵ

$1/\epsilon$

n

$n$

Suresh Venkat

@ChandraChekuri: Les approximations sont parfaitement correctes si vous pouvez atteindre, par exemple,

. Cependant, le forçage brutal sur une grille aussi fine n'est pas possible.

ϵ = 10^{- 9}

$\epsilon = 10^{-9}$

Jukka Suomela

Par élimination des quantificateurs sur des champs fermés réels, il est toujours possible de résoudre exactement ces systèmes.

est autorisé, vous pouvez optimiser la fonction sur chacune des faces du cube simplement en notant les critères d'optimalité de premier ordre.

O (3^{n})

$O(3^n)$

Yoshio Okamoto

Réponses:

Une solution optimale se trouve sur un visage. Ainsi, nous pouvons parcourir toutes les faces du cube et trouver tous les points stationnaires sur chacune des faces.

Voici une procédure plus concrète. Une face du cube peut être caractérisée par deux ensembles d'indices disjoints et . Pour , nous fixons , et pour nous fixons . Soit les entrées non fixées restantes de . Cette correction transforme la fonction objectif sous la forme suivante: $I_0$ $I_1$ $i \in I_0$ $x_i = 0$ $i \in I_1$ $x_i = 1$ $\tilde{x}$ $x$

{\tilde{x}}^{⊤} \tilde{A} \tilde{x} + {\tilde{c}}^{⊤} \tilde{x} + d,

$\tilde{x}^{\top} \tilde{A} \tilde{x} + \tilde{c}^{\top} \tilde{x} + d,$

avec et appropriés , et une constante , et nous voulons trouver les points stationnaires de cette fonction à la condition que $\tilde{A}$ $\tilde{c}$ $d$ $0 < \tilde{x} < 1$ .

A cette fin, nous prenons la différenciation de la fonction objectif pour obtenir

\frac{1}{2} \tilde{A} \tilde{x} + \tilde{c} = 0.

$\frac{1}{2} \tilde{A} \tilde{x} + \tilde{c} = 0.$

Résoudre ce système d'équations linéaires vous donne les points stationnaires, les candidats pour des solutions optimales. Nous les examinons tous, vérifions la condition et choisissons-en une avec la valeur objective minimale.

$O(3^n \text{poly}(n))$ $n$ $3^n$ $n$

Yoshio Okamoto
la source

Pourquoi une solution optimale se trouve sur un visage avec un non-convexe

f

$f$ ?

cody

@cody: C'est parce que chaque polytope est l'union disjointe de ses faces.

Yoshio Okamoto

Et qu'est-ce qui se passerait si

f

$f$ est cubique ou quartique? Cette propriété tient-elle toujours?

cody

@cody: La propriété est toujours valable, mais nous devons résoudre une équation algébrique de degré plus d'un. Je crains que ce ne soit pas trivial pour les cas multivariés.

Yoshio Okamoto