Condiții Karush – Kuhn – Tucker - Karush–Kuhn–Tucker conditions

În optimizarea matematică , condițiile Karush – Kuhn – Tucker (KKT) , cunoscute și sub numele de condițiile Kuhn – Tucker , sunt primele teste derivate (uneori numite condiții necesare de ordinul întâi ) pentru ca o soluție în programarea neliniară să fie optimă , cu condiția ca unele condițiile de regularitate sunt îndeplinite.

Permițând constrângeri de inegalitate, abordarea KKT a programării neliniare generalizează metoda multiplicatorilor Lagrange , care permite doar constrângeri de egalitate. Similar cu abordarea Lagrange, problema de maximizare (minimizare) constrânsă este rescrisă ca o funcție Lagrange al cărei punct optim este un punct de șa , adică un maxim global (minim) pe domeniul variabilelor de alegere și un minim global (maxim) peste multiplicatori, motiv pentru care teorema Karush – Kuhn – Tucker este uneori denumită teorema punctului de șa.

Condițiile KKT au fost inițial numite după Harold W. Kuhn și Albert W. Tucker , care au publicat condițiile pentru prima dată în 1951. Ulterior, cercetătorii au descoperit că condițiile necesare pentru această problemă au fost enunțate de William Karush în teza de masterat din 1939.

Problemă de optimizare neliniară

Luați în considerare următoarea problemă neliniară de minimizare sau maximizare :

optimiza
supus

unde este variabila de optimizare aleasă dintr-un subset convex de , este obiectivul sau funcția de utilitate , sunt funcțiile de constrângere a inegalității și sunt funcțiile de constrângere a egalității . Numărul de inegalități și egalități este notat cu și respectiv. Corespunzător problemei de optimizare constrânsă se poate forma funcția Lagrangiană

în cazul în care , . Karush-Kuhn-Tucker teoremă afirmă apoi următoarele.

Teorema. În cazul în care este un punct de șa de la , atunci este un vector optim pentru problema de optimizare de mai sus. Să presupunem că și , sunt convexe în și că există astfel încât . Apoi, cu un vector optim pentru problema de optimizare de mai sus, este asociat un vector non-negativ, astfel încât este un punct de șa de .

Deoarece ideea acestei abordări este de a găsi un hiperplan de susținere pe setul fezabil , dovada teoremei Karush – Kuhn – Tucker folosește teorema de separare a hiperplanului .

Sistemul de ecuații și inegalități corespunzătoare condițiilor KKT nu este de obicei rezolvat direct, cu excepția celor câteva cazuri speciale în care o soluție în formă închisă poate fi derivată analitic. În general, mulți algoritmi de optimizare pot fi interpretați ca metode pentru rezolvarea numerică a sistemului KKT de ecuații și inegalități.

Condiții necesare

Să presupunem că funcția obiectivă și constrângerea funcționează și sunt diferențiate continuu la un moment dat . Dacă este un optim local și problema de optimizare îndeplinește unele condiții de regularitate (a se vedea mai jos), atunci există constante și , numite multiplicatori KKT, astfel încât următoarele patru grupuri de condiții să fie valabile:

Diagrama constrângerii inegalității pentru probleme de optimizare
Staționaritate
Pentru minimizare :
Pentru maximizare :
Fezabilitate primară
Fezabilitate dublă
Slăbiciune complementară

Ultima condiție este uneori scrisă în forma echivalentă:

În cazul particular , adică, atunci când nu există constrângeri de inegalitate, condițiile KKT se transformă în condițiile Lagrange, iar multiplicatorii KKT sunt numiți multiplicatori Lagrange .

Dacă unele dintre funcții sunt nediferențiate, sunt disponibile versiuni subdiferențiale ale condițiilor Karush – Kuhn – Tucker (KKT).

Reprezentarea matricei

Condițiile necesare pot fi scrise cu matrici Jacobian ale funcțiilor de constrângere. Să fie definite ca si lasati fi definit ca fiind . Să și . Apoi, condițiile necesare pot fi scrise ca:

Staționaritate
Pentru maximizare :
Pentru minimizare :
Fezabilitate primară
Fezabilitate dublă
Slăbiciune complementară

Condiții de regularitate (sau calificări de constrângere)

Se poate întreba dacă un punct de minimizare al problemei inițiale, de optimizare constrânsă (presupunând că există) trebuie să satisfacă condițiile KKT de mai sus. Acest lucru este similar cu întrebarea în ce condiții trebuie să îndeplinească condiția minimizatorul unei funcții într-o problemă fără restricții . Pentru cazul constrâns, situația este mai complicată și se poate afirma o varietate de condiții de „regularitate” (din ce în ce mai complicate) în care un minimizator constrâns îndeplinește și condițiile KKT. Câteva exemple obișnuite pentru condiții care garantează acest lucru sunt prezentate în cele ce urmează, cu LICQ cel mai frecvent utilizat:

Constrângere Acronim Afirmație
Calificarea constrângerii de linearitate LCQ Dacă și sunt funcții afine , atunci nu este necesară nicio altă afecțiune.
Calificarea constrângerii liniare de independență LICQ Gradienții constrângerilor de inegalitate activă și gradienții constrângerilor de egalitate sunt liniar independenți la .
Calificarea constrângerii Mangasarian-Fromovitz MFCQ Gradienții constrângerilor de egalitate sunt liniar independenți la și există un vector astfel încât pentru toate constrângerile de inegalitate activă și pentru toate constrângerile de egalitate.
Calificarea constrângerii de rang constant CRCQ Pentru fiecare subset de gradienți ai constrângerilor de inegalitate activă și gradienții constrângerilor de egalitate, rangul la o vecinătate de este constant.
Calificare constrângere a dependenței liniare pozitive constante CPLD Pentru fiecare subset de gradienți ai constrângerilor de inegalitate activă și gradienți ai constrângerilor de egalitate, dacă subsetul de vectori este liniar dependent de cu scalari non-negativi asociați cu constrângerile de inegalitate, atunci rămâne liniar dependent într-un vecinătate de .
Calificarea constrângerii de aproape-normalitate QNCQ Dacă gradienții constrângerilor de inegalitate activă și gradienții constrângerilor de egalitate sunt liniari dependenți de multiplicatori asociați pentru egalități și pentru inegalități, atunci nu există o secvență astfel încât și
Starea lui Slater SC Pentru o problemă convexă (de exemplu, presupunând minimizarea, sunt convexe și afine), există un punct astfel încât și

Se pot arăta implicațiile stricte

LICQ ⇒ MFCQ ⇒ CPLD ⇒ QNCQ

și

LICQ ⇒ CRCQ ⇒ CPLD ⇒ QNCQ

În practică sunt preferate calificările de constrângere mai slabe, deoarece se aplică unei selecții mai largi de probleme.

Condiții suficiente

În unele cazuri, condițiile necesare sunt, de asemenea, suficiente pentru optimitate. În general, condițiile necesare nu sunt suficiente pentru optimitate și sunt necesare informații suplimentare, cum ar fi Condițiile suficiente pentru ordinul al doilea (SOSC). Pentru funcții corecte, SOSC implică derivatele secundare, ceea ce explică numele acestuia.

Condițiile necesare sunt suficiente pentru optimitate dacă funcția obiectivă a unei probleme de maximizare este o funcție concavă , constrângerile de inegalitate sunt funcții convexe diferențiate continuu și constrângerile de egalitate sunt funcții afine . În mod similar, dacă funcția obiectivă a unei probleme de minimizare este o funcție convexă , condițiile necesare sunt, de asemenea, suficiente pentru optimitate.

Martin a arătat în 1985 că clasa mai largă de funcții în care condițiile KKT garantează optimitatea globală sunt așa-numitele funcții invexe de tip 1 .

Condiții suficiente de ordinul doi

Pentru probleme de optimizare liniare, neliniare , este dată o condiție suficientă de ordinul doi, după cum urmează.

Soluția găsită în secțiunea de mai sus este un minim local constrâns dacă pentru Lagrangian,

atunci,

unde este un vector care satisface următoarele,

unde se aplică numai acele constrângeri de inegalitate active corespunzătoare complementarității stricte (adică unde ). Soluția este un minim local strict restricționat, în cazul în care și inegalitatea este strictă.

În cazul în care , extinderea de la ordinul al treilea al lui Lagrangian ar trebui utilizată pentru a verifica dacă este un minim local. Minimizarea lui este un bun contra-exemplu, vezi și suprafața Peano .

Economie

Adesea în economia matematică abordarea KKT este utilizată în modele teoretice pentru a obține rezultate calitative. De exemplu, luați în considerare o firmă care își maximizează veniturile din vânzări sub rezerva unei constrângeri minime de profit. Să fie cantitatea de producție produsă (care urmează să fie aleasă), să fie venituri din vânzări cu un prim derivat pozitiv și cu o valoare zero la ieșire zero, să fie costuri de producție cu un prim derivat pozitiv și cu o valoare non-negativă la ieșire zero și fie nivelul minim pozitiv acceptabil de profit , atunci problema este una semnificativă dacă funcția de venituri se nivelează, astfel încât în ​​cele din urmă este mai puțin abruptă decât funcția de cost. Problema exprimată în formularul de minimizare dat anterior este

Minimizează
supus

iar condițiile KKT sunt

Deoarece ar încălca constrângerea profitului minim, avem și, prin urmare, a treia condiție implică faptul că prima condiție este valabilă pentru egalitate. Rezolvarea acestei egalități dă

Deoarece s-a dat acest lucru și sunt strict pozitive, această inegalitate, împreună cu condiția de non-negativitate a garanțiilor, este pozitivă, astfel încât firma care maximizează veniturile funcționează la un nivel de producție la care venitul marginal este mai mic decât costul marginal - un rezultat care este de interes deoarece contrastează cu comportamentul unei firme care maximizează profitul , care operează la un nivel la care sunt egali.

Funcția de valoare

Dacă reconsiderăm problema de optimizare ca o problemă de maximizare cu constrângeri de inegalitate constante:

Funcția de valoare este definită ca

deci domeniul lui este

Având în vedere această definiție, fiecare coeficient este rata la care funcția de valoare crește pe măsură ce crește. Astfel, dacă fiecare este interpretat ca o constrângere a resursei, coeficienții vă spun cât de mult creșterea unei resurse va crește valoarea optimă a funcției noastre . Această interpretare este deosebit de importantă în economie și este utilizată, de exemplu, în problemele de maximizare a utilității .

Generalizări

Cu un multiplicator suplimentar , care poate fi zero (atâta timp cât ), în fața stației KKT se transformă condițiile

care se numesc condițiile lui Fritz John . Aceste condiții de optimitate se mențin fără calificări de constrângere și este echivalentă cu condiția de optimitate KKT sau (not-MFCQ) .

Condițiile KKT aparțin unei clase mai largi de condiții necesare de ordinul întâi (FONC), care permit funcții non-netede folosind subderivative .

Vezi si

Referințe

Lecturi suplimentare

linkuri externe