Étant donné

Voici un problème avec une saveur similaire à l'apprentissage des juntes:

Entrée: Une fonction $f: \{0,1\}^n \rightarrow \{-1,1\}$ , représentée par un oracle d'appartenance, c'est-à-dire un oracle qui a donné $x$ , renvoie $f(x)$ .

Objectif: trouver un sous-cube $S$ de $\{0,1\}^n$ avec le volume $|S|=2^{n-k}$ tels que $\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.1$ . Nous supposons qu'un tel sous-cube existe.

Il est facile d'obtenir un algorithme qui s'exécute dans le temps $n^{O(k)}$ et renvoie une réponse correcte avec une probabilité $\ge 0.99$ en essayant toutes les $(2n)^k$ façons de choisir un sous-cube et en échantillonnant la moyenne de chacun.

Je suis intéressant de trouver un algorithme qui s'exécute dans le temps $poly(n,2^k)$ . Alternativement, une borne inférieure serait formidable. Le problème a une saveur similaire à l'apprentissage des juntes, mais je ne vois pas de lien réel entre leur difficulté de calcul.

Mise à jour: @Thomas ci-dessous prouve que la complexité de l'échantillon de ce problème est $poly(2^k,\log n)$ . La question intéressante est, encore, la complexité de calcul du problème.

Edit: vous pouvez supposer pour simplifier qu'il existe un sous-cube avec $\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.2$ (notez l'écart: nous recherchons un sous-cube avec une moyenne $\ge 0.1$ .) Je suis sûr que toute solution au problème avec l'écart résoudra également le problème sans l'écart.

machine-learning lg.learning boolean-functions sample-complexity boulette de Mobius
la source

Réponses:

Voici une meilleure limite sur la complexité de l'échantillon. (Bien que la complexité de calcul soit toujours .) $n^k$

Théorème. Supposons qu'il existe un sous-cube de taille tel que . Avec échantillons, nous pouvons, avec une forte probabilité, identifier un sous-cube de taille tel que $S$ $2^{n-k}$ $|\mathbb{E}_{x \in S}[f(x)]| \geq 0.12$ $O(2^k \cdot k \cdot \log n)$ $S'$ $2^{n-k}$ . $|\mathbb{E}_{x \in S'}[f(x)]| \geq 0.1$

Notez la petite perte de paramètres ( est optimale contre garantie de ). $0.12$ $0.1$

Preuve. Pick - points de uniformément au hasard et requête à chaque . $m$ $P \subset \{0,1\}^n$ $f$ $x \in P$

Fixez un sous-cube de taille . Nous avons . Par une borne Chernoff, Aussi $S$ $2^{n-k}$ $\mathbb{E}[|S \cap P|]=m 2^{-k}$

P [| S \cap P | < m 2^{- k - 1}] \leq 2^{- Ω (m 2^{- k})} .

$\mathbb{P}[|S \cap P| < m 2^{-k-1}] \leq 2^{-\Omega(m 2^{-k})}.$

P [| E_{X \in S \cap P} [F (X)] - E_{X \in S} [F (X)] | > ε] \leq 2^{- Ω (| S \cap P | ε^{2})} .

$\mathbb{P}[| \mathbb{E}_{x \in S \cap P}[f(x)] - \mathbb{E}_{x \in S}[f(x)] | > \varepsilon] \leq 2^{-\Omega(|S \cap P| \varepsilon^2)}.$

Par une union liée à tous choix de, on a ${n \choose k}2^k$ $S$ Ainsi, en choisissant, nous pouvons nous assurer qu'avec une probabilité d'au moins, nous pouvons estimeràprès pour tous les sous-cubesde taille

P [\forall S | E_{X \in S \cap P} [F (X)] - E_{X \in S} [F (X)] | \leq ε] \geq 1 - (\binom{n}{k}) 2^{k} 2^{- Ω (m 2^{- k} ε^{2})} .

$\mathbb{P}[\forall S ~~ | \mathbb{E}_{x \in S \cap P}[f(x)] - \mathbb{E}_{x \in S}[f(x)] | \leq \varepsilon] \geq 1 - {n \choose k} 2^k 2^{-\Omega(m 2^{-k} \varepsilon^2)}.$

m = O (2^{k} / ε^{2} \cdot k \log n)

$m = O(2^k/\varepsilon^2 \cdot k \log n)$

0.99

$0.99$

E_{x \in S} [f (x)]

$\mathbb{E}_{x \in S}[f(x)]$

ε

$\varepsilon$

S

$S$

2^{n - k}

$2^{n-k}$ .

En posant , nous prouvons le théorème: choisir le sous-cube avec le plus grand satisfera, avec une probabilité élevée, aux exigences. QED $\varepsilon=0.01$ $| \mathbb{E}_{x \in S \cap P}[f(x)]|$

Thomas
la source

C \cdot 2^{k}

$C \cdot 2^k$

C

$C$

C

$C$

n^{k}

$n^k$

Une autre façon de voir cela est que l'espace de plage que vous décrivez a une dimension de rupture limitée et donc une dimension VC limitée, puis vous lui lancez le théorème d'approximation eps.

Suresh Venkat