Condiții Karush – Kuhn – Tucker - Karush–Kuhn–Tucker conditions
În optimizarea matematică , condițiile Karush – Kuhn – Tucker (KKT) , cunoscute și sub numele de condițiile Kuhn – Tucker , sunt primele teste derivate (uneori numite condiții necesare de ordinul întâi ) pentru ca o soluție în programarea neliniară să fie optimă , cu condiția ca unele condițiile de regularitate sunt îndeplinite.
Permițând constrângeri de inegalitate, abordarea KKT a programării neliniare generalizează metoda multiplicatorilor Lagrange , care permite doar constrângeri de egalitate. Similar cu abordarea Lagrange, problema de maximizare (minimizare) constrânsă este rescrisă ca o funcție Lagrange al cărei punct optim este un punct de șa , adică un maxim global (minim) pe domeniul variabilelor de alegere și un minim global (maxim) peste multiplicatori, motiv pentru care teorema Karush – Kuhn – Tucker este uneori denumită teorema punctului de șa.
Condițiile KKT au fost inițial numite după Harold W. Kuhn și Albert W. Tucker , care au publicat condițiile pentru prima dată în 1951. Ulterior, cercetătorii au descoperit că condițiile necesare pentru această problemă au fost enunțate de William Karush în teza de masterat din 1939.
Problemă de optimizare neliniară
Luați în considerare următoarea problemă neliniară de minimizare sau maximizare :
- optimiza
- supus
unde este variabila de optimizare aleasă dintr-un subset convex de , este obiectivul sau funcția de utilitate , sunt funcțiile de constrângere a inegalității și sunt funcțiile de constrângere a egalității . Numărul de inegalități și egalități este notat cu și respectiv. Corespunzător problemei de optimizare constrânsă se poate forma funcția Lagrangiană
în cazul în care , . Karush-Kuhn-Tucker teoremă afirmă apoi următoarele.
Teorema. În cazul în care este un punct de șa de la , atunci este un vector optim pentru problema de optimizare de mai sus. Să presupunem că și , sunt convexe în și că există astfel încât . Apoi, cu un vector optim pentru problema de optimizare de mai sus, este asociat un vector non-negativ, astfel încât este un punct de șa de .
Deoarece ideea acestei abordări este de a găsi un hiperplan de susținere pe setul fezabil , dovada teoremei Karush – Kuhn – Tucker folosește teorema de separare a hiperplanului .
Sistemul de ecuații și inegalități corespunzătoare condițiilor KKT nu este de obicei rezolvat direct, cu excepția celor câteva cazuri speciale în care o soluție în formă închisă poate fi derivată analitic. În general, mulți algoritmi de optimizare pot fi interpretați ca metode pentru rezolvarea numerică a sistemului KKT de ecuații și inegalități.
Condiții necesare
Să presupunem că funcția obiectivă și constrângerea funcționează și sunt diferențiate continuu la un moment dat . Dacă este un optim local și problema de optimizare îndeplinește unele condiții de regularitate (a se vedea mai jos), atunci există constante și , numite multiplicatori KKT, astfel încât următoarele patru grupuri de condiții să fie valabile:
- Staționaritate
- Pentru minimizare :
- Pentru maximizare :
- Fezabilitate primară
- Fezabilitate dublă
- Slăbiciune complementară
Ultima condiție este uneori scrisă în forma echivalentă:
În cazul particular , adică, atunci când nu există constrângeri de inegalitate, condițiile KKT se transformă în condițiile Lagrange, iar multiplicatorii KKT sunt numiți multiplicatori Lagrange .
Dacă unele dintre funcții sunt nediferențiate, sunt disponibile versiuni subdiferențiale ale condițiilor Karush – Kuhn – Tucker (KKT).
Reprezentarea matricei
Condițiile necesare pot fi scrise cu matrici Jacobian ale funcțiilor de constrângere. Să fie definite ca si lasati fi definit ca fiind . Să și . Apoi, condițiile necesare pot fi scrise ca:
- Staționaritate
- Pentru maximizare :
- Pentru minimizare :
- Fezabilitate primară
- Fezabilitate dublă
- Slăbiciune complementară
Condiții de regularitate (sau calificări de constrângere)
Se poate întreba dacă un punct de minimizare al problemei inițiale, de optimizare constrânsă (presupunând că există) trebuie să satisfacă condițiile KKT de mai sus. Acest lucru este similar cu întrebarea în ce condiții trebuie să îndeplinească condiția minimizatorul unei funcții într-o problemă fără restricții . Pentru cazul constrâns, situația este mai complicată și se poate afirma o varietate de condiții de „regularitate” (din ce în ce mai complicate) în care un minimizator constrâns îndeplinește și condițiile KKT. Câteva exemple obișnuite pentru condiții care garantează acest lucru sunt prezentate în cele ce urmează, cu LICQ cel mai frecvent utilizat:
Constrângere | Acronim | Afirmație |
---|---|---|
Calificarea constrângerii de linearitate | LCQ | Dacă și sunt funcții afine , atunci nu este necesară nicio altă afecțiune. |
Calificarea constrângerii liniare de independență | LICQ | Gradienții constrângerilor de inegalitate activă și gradienții constrângerilor de egalitate sunt liniar independenți la . |
Calificarea constrângerii Mangasarian-Fromovitz | MFCQ | Gradienții constrângerilor de egalitate sunt liniar independenți la și există un vector astfel încât pentru toate constrângerile de inegalitate activă și pentru toate constrângerile de egalitate. |
Calificarea constrângerii de rang constant | CRCQ | Pentru fiecare subset de gradienți ai constrângerilor de inegalitate activă și gradienții constrângerilor de egalitate, rangul la o vecinătate de este constant. |
Calificare constrângere a dependenței liniare pozitive constante | CPLD | Pentru fiecare subset de gradienți ai constrângerilor de inegalitate activă și gradienți ai constrângerilor de egalitate, dacă subsetul de vectori este liniar dependent de cu scalari non-negativi asociați cu constrângerile de inegalitate, atunci rămâne liniar dependent într-un vecinătate de . |
Calificarea constrângerii de aproape-normalitate | QNCQ | Dacă gradienții constrângerilor de inegalitate activă și gradienții constrângerilor de egalitate sunt liniari dependenți de multiplicatori asociați pentru egalități și pentru inegalități, atunci nu există o secvență astfel încât și |
Starea lui Slater | SC | Pentru o problemă convexă (de exemplu, presupunând minimizarea, sunt convexe și afine), există un punct astfel încât și |
Se pot arăta implicațiile stricte
- LICQ ⇒ MFCQ ⇒ CPLD ⇒ QNCQ
și
- LICQ ⇒ CRCQ ⇒ CPLD ⇒ QNCQ
În practică sunt preferate calificările de constrângere mai slabe, deoarece se aplică unei selecții mai largi de probleme.
Condiții suficiente
În unele cazuri, condițiile necesare sunt, de asemenea, suficiente pentru optimitate. În general, condițiile necesare nu sunt suficiente pentru optimitate și sunt necesare informații suplimentare, cum ar fi Condițiile suficiente pentru ordinul al doilea (SOSC). Pentru funcții corecte, SOSC implică derivatele secundare, ceea ce explică numele acestuia.
Condițiile necesare sunt suficiente pentru optimitate dacă funcția obiectivă a unei probleme de maximizare este o funcție concavă , constrângerile de inegalitate sunt funcții convexe diferențiate continuu și constrângerile de egalitate sunt funcții afine . În mod similar, dacă funcția obiectivă a unei probleme de minimizare este o funcție convexă , condițiile necesare sunt, de asemenea, suficiente pentru optimitate.
Martin a arătat în 1985 că clasa mai largă de funcții în care condițiile KKT garantează optimitatea globală sunt așa-numitele funcții invexe de tip 1 .
Condiții suficiente de ordinul doi
Pentru probleme de optimizare liniare, neliniare , este dată o condiție suficientă de ordinul doi, după cum urmează.
Soluția găsită în secțiunea de mai sus este un minim local constrâns dacă pentru Lagrangian,
atunci,
unde este un vector care satisface următoarele,
unde se aplică numai acele constrângeri de inegalitate active corespunzătoare complementarității stricte (adică unde ). Soluția este un minim local strict restricționat, în cazul în care și inegalitatea este strictă.
În cazul în care , extinderea de la ordinul al treilea al lui Lagrangian ar trebui utilizată pentru a verifica dacă este un minim local. Minimizarea lui este un bun contra-exemplu, vezi și suprafața Peano .
Economie
Adesea în economia matematică abordarea KKT este utilizată în modele teoretice pentru a obține rezultate calitative. De exemplu, luați în considerare o firmă care își maximizează veniturile din vânzări sub rezerva unei constrângeri minime de profit. Să fie cantitatea de producție produsă (care urmează să fie aleasă), să fie venituri din vânzări cu un prim derivat pozitiv și cu o valoare zero la ieșire zero, să fie costuri de producție cu un prim derivat pozitiv și cu o valoare non-negativă la ieșire zero și fie nivelul minim pozitiv acceptabil de profit , atunci problema este una semnificativă dacă funcția de venituri se nivelează, astfel încât în cele din urmă este mai puțin abruptă decât funcția de cost. Problema exprimată în formularul de minimizare dat anterior este
- Minimizează
- supus
iar condițiile KKT sunt
Deoarece ar încălca constrângerea profitului minim, avem și, prin urmare, a treia condiție implică faptul că prima condiție este valabilă pentru egalitate. Rezolvarea acestei egalități dă
Deoarece s-a dat acest lucru și sunt strict pozitive, această inegalitate, împreună cu condiția de non-negativitate a garanțiilor, este pozitivă, astfel încât firma care maximizează veniturile funcționează la un nivel de producție la care venitul marginal este mai mic decât costul marginal - un rezultat care este de interes deoarece contrastează cu comportamentul unei firme care maximizează profitul , care operează la un nivel la care sunt egali.
Funcția de valoare
Dacă reconsiderăm problema de optimizare ca o problemă de maximizare cu constrângeri de inegalitate constante:
Funcția de valoare este definită ca
deci domeniul lui este
Având în vedere această definiție, fiecare coeficient este rata la care funcția de valoare crește pe măsură ce crește. Astfel, dacă fiecare este interpretat ca o constrângere a resursei, coeficienții vă spun cât de mult creșterea unei resurse va crește valoarea optimă a funcției noastre . Această interpretare este deosebit de importantă în economie și este utilizată, de exemplu, în problemele de maximizare a utilității .
Generalizări
Cu un multiplicator suplimentar , care poate fi zero (atâta timp cât ), în fața stației KKT se transformă condițiile
care se numesc condițiile lui Fritz John . Aceste condiții de optimitate se mențin fără calificări de constrângere și este echivalentă cu condiția de optimitate KKT sau (not-MFCQ) .
Condițiile KKT aparțin unei clase mai largi de condiții necesare de ordinul întâi (FONC), care permit funcții non-netede folosind subderivative .
Vezi si
- Lema lui Farkas
- Multiplicator Lagrange
- Metoda Big M , pentru probleme liniare, care extinde algoritmul simplex la probleme care conțin constrângeri „mai mari decât”.
- Variabilă slăbită
Referințe
Lecturi suplimentare
- Andreani, R .; Martínez, JM; Schuverdt, ML (2005). „Cu privire la relația dintre condiția de dependență liniară pozitivă constantă și calificarea constrângerii de quasinormalitate”. Journal of Optimization Theory and Applications . 125 (2): 473–485. doi : 10.1007 / s10957-004-1861-9 . S2CID 122212394 .
- Avriel, Mordecai (2003). Programare neliniară: analiză și metode . Dover. ISBN 0-486-43227-0.
- Boltyanski, V .; Martini, H .; Soltan, V. (1998). „Teorema Kuhn – Tucker” . Metode geometrice și probleme de optimizare . New York: Springer. pp. 78-92. ISBN 0-7923-5454-0.
- Boyd, S .; Vandenberghe, L. (2004). „Condiții de optimitate” (PDF) . Optimizare convexă . Cambridge University Press. pp. 241-249. ISBN 0-521-83378-7.
- Kemp, Murray C .; Kimura, Yoshio (1978). Introducere în economia matematică . New York: Springer. pp. 38–73 . ISBN 0-387-90304-6.
- Rau, Nicholas (1981). „Multiplicatori Lagrange”. Matrici și programare matematică . Londra: Macmillan. pp. 156–174. ISBN 0-333-27768-6.
- Nocedal, J .; Wright, SJ (2006). Optimizare numerică . New York: Springer. ISBN 978-0-387-30303-1.
- Sundaram, Rangarajan K. (1996). „Constrângeri de inegalitate și teorema lui Kuhn și Tucker” . Un prim curs în teoria optimizării . New York: Cambridge University Press. pp. 145–171. ISBN 0-521-49770-1.