Федеральное агентство по образованию РФ

Иркутский государственный университет

А. С. Стрекаловский

ВВЕДЕНИЕВ ВЫПУКЛЫЙ АНАЛИЗ

Учебное пособие

Иркутск 2009

УДК 517.218.244+517.982.252C 84

Рецензенты: д-р физ.-мат. наук Ю.Э. Линкед-р физ.-мат. наук В.А. Срочко

Стрекаловский А. С. Введение в выпуклый анализ: учеб. пособие.– Иркутск: Иркут. ун-т, 2009. – 81 с.ISBN x-xxxx-xxxx-x

Излагается материал специального курса "Введение в выпуклыйанализ", читавшегося автором на протяжении ряда лет для студен-тов 4-го курса специальности "Прикладная математика". Этот курспредставляет собой развитие классических разделов математики, та-ких как "Математический анализ" и "Функциональный анализ" длявыпуклых структур, поэтому для чтения пособия требуются некото-рые сведения из этих дисциплин.

Для студентов и аспирантов математических специальностей, же-лающих повысить свою математическую культуру.

Библиогр. 11 назв.

c© Стрекаловский А. С., 2009c© Иркутский государственный

университет, 2009ISBN x-xxxx-xxxx-x

Содержание

Указатель основных обозначений 5

Введение 6

Часть I. Выпуклые множества и выпуклыефункции 8

§1. Выпуклые множества . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

§2. Теорема Хана-Банаха и ее следствия . . . . . . . . . . . . . . . 13

§3. Теоремы отделимости . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

§4. Топологические свойства выпуклыхмножеств . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

§5. Выпуклые функции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

§6. Непрерывность выпуклых функций . . . . . . . . . . . . . . . . 28

§7. Замкнутые множества . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

§8. Сопряженные функции (поляры) . . . . . . . . . . . . . . . . . . . 34

§9. Теоремы Минковского и Фенхеля-Моро . . . . . . . . . . . . . 39

§10. Сублинейные функции . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Часть II. Обобщенная дифференцируемостьвыпуклых функций 49

§11. Производная по направлению . . . . . . . . . . . . . . . . . . . . . 49

§12. Субдифференциал . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3

§13. Примеры вычисления субдифференциалов . . . . . . . . 63

§14. Основные теоремы о субдифференциале . . . . . . . . . . 66

§15. Принцип Лагранжа в негладких задачах выпуклогопрограммирования . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

Библиографический список 81

4

Указатель основных обозначений〈x, y〉 — скалярное произведение векторов x и yIR — множество всех действительных чиселIR — расширенная числовая ось: IR ∪ {+∞} ∪ {−∞}CONV (X) — совокупность всех выпуклых множеств из линейно-

го пространства XX∗ — сопряженное пространство к пространству X‖ · ‖∗ — норма в сопряженном пространстве0∗ — нуль в сопряженном пространстве[a, b] — отрезок числовой оси, [a, b] = {x | a ≤ x ≤ b}]a, b[ — открытый интервал числовой оси, ]a, b[= {x | a < x < b}co M — выпуклая оболочка множества Mco M — замкнутая выпуклая оболочка множества Mcone M — коническая оболочка множества Maff M — аффинная оболочка множества MlinM — линейная оболочка множества Mµ(·|M) — функция Минковского множества Mdim X — размерность пространства XintM — внутренность множества Minfx

f(x) — точная нижняя грань функции f

supx

f(x) — точная верхняя грань функции f

dom f — эффективная область функции fepi f — надграфик функции flim inf

x→zf(x) (lim sup

x→zf(x)) — нижний (верхний) предел функции f

при x, стремящемся к точке zS(f, α) — множество Лебега функции f , S(f, α) = {x ∈ X | f(x) ≤ α}f∗ — сопряженная функция (поляра) к функции ff ′(x, h) — производная функции f по направлению h в точке xσ(x|M) — опорная функция к множеству M в точке xδ(·|M) — индикаторная функция множестваf ′Γ(x) — производная по Гато функции f в точке xN(x|M) — конус опорных векторов к множеству M в точке xSol(P ) — множество решений задачи (P )Argmin(P) (Argmax(P)) — множество точек, доставляющих ми-

нимум (максимум) в задаче (P)

5

ВведениеВыпуклый анализ как самостоятельная дисциплина сформиро-

вался в 60-70-е годы двадцатого столетия. Однако преобразованиеЛежандра, а также "выпуклая геометрия" Минковского были из-вестны еще в 18-м веке и на рубеже 19-20-х веков соответственно. Темне менее, синтезировать достижения целых поколений выдающихсяматематиков удалось только в конце 20-го века. Но главное предна-значение новой дисциплины — "Выпуклого анализа", по-видимому,еще не определено, поскольку эта дисциплина довольно бурно разви-вается. К тому же "девятый вал" дискретной оптимизации, комби-наторных задач, а также непрерывных невыпуклых задач оптими-зации и оптимального управления, кажется, захлестывает классиче-ские разделы математики. Думается, что выпуклый анализ надолгоеще останется остовом и фундаментом современных методов иссле-дования операций.

Нет сомнения, в том, что такие основные понятия выпуклого ана-лиза, как сопряженные функции и субдифференциал должен знатькаждый образованный математик. Быстрое развитие выпуклого ана-лиза в значительной степени стимулировалось исследованиями пообщей теории экстремальных задач, теории оптимального управле-ния и многочисленными приложениями в механике, экономике и дру-гих областях. В настоящее время особенно заметна все возрастающаяроль, которую теория выпуклых структур играет в практических за-дачах.

Настоящее пособие предназначено для студентов старших курсовматематических специальностей. Многие излагаемые факты частоиспользуются в целом ряде дисциплин, таких как "Методы оптими-зации", "Численные методы оптимального управления", "Матема-тические модели экономики" и других. Кроме того, пособие можетбыть полезно при выполнении курсовых и дипломных работ студен-там, специализирующимся в области оптимизации и исследованияопераций.

Данное пособие было разработано под влиянием замечательныхкниг Б.Н.Пшеничного [2], [3], А.Д.Иоффе и В.М.Тихомирова [4],И.Экланда и Р.Темама [10], а также более современной работы Ж.-Б.Ирриарт-Уррути и К.Лемаршала [11] и других. Для более глубоко-го изучения выпуклых структур рекомендуется обратиться к книге

6

Р.Рокафеллара [5]. Свойства выпуклых структур в связи с приложе-нием в теории оптимизации может быть найдено в [6], [7].

Предлагаемый читателю курс состоит из двух частей. В первойчасти, посвященной выпуклым множествам и функциям, рассмат-риваются базовые понятия и результаты выпуклого анализа. Втораячасть посвящена обобщенной дифференцируемости выпуклых функ-ций. Структура частей представлена в содержании. В пособии при-нята двойная нумерация формулируемых определений, лемм, пред-ложений, теорем и упражнений. Символ # означает конец доказа-тельств и примеров.

Отметим, что читателю настоятельно рекомендуется разобратьвсе представленные в пособии упражнения и примеры, посколькуво многих из них содержатся результаты, имеющие самостоятельноезначение, а также не помешает доказать утверждения, приведенныебез доказательства. Дополнительные упражнения и задачи могутбыть найдены в замечательном сборнике Ж.Б. Ириарт-Уррути [8].

7

Часть I. Выпуклые множества ивыпуклые функции

§1. Выпуклые множества

Пусть X — линейное вещественное пространство.Определение 1.1 а) Множество C ⊂ X называется выпуклым,если вместе с любыми двумя своими точками x1 и x2 оно содер-жит и весь отрезок

[x1, x2] = {xα ∈ X | xα = αx1 + (1− α)x2, 0 ≤ α ≤ 1}.

b) Множество A ⊂ X называется аффинным многообразием, если слюбыми двумя своими точками x1 и x2 оно содержит всю прямую

{x ∈ X | x = αx1 + (1− α)x2, α ∈ IR}.

c) Множество K ⊂ X называется конусом (с вершиной в началекоординат), если вместе с любой своей точкой x оно содержит ивесь луч {αx | α > 0}. #

Пустое множество ∅ по определению считается выпуклым, аф-финным многообразием и конусом.

Совокупность всех выпуклых множеств из X обозначаетсяCONV (X).

Справедлива

Лемма 1.2 Пусть C — замкнутое множество из рефлексивногобанахового пространства X и пусть для любых x1, x2 ∈ C суще-ствует число α = α(x1, x2) ∈]0, 1[, вообще говоря, зависящее от x1

и x2, и такое, что

xα = αx1 + (1− α)x2 ∈ C. (1.1)

Тогда множество C выпукло.

Доказательство. 1) Допустим, противное, т.е. множество C невы-пукло. Тогда найдутся точки x1, x2 ∈ C, x1 6= x2 и числоα0 ∈]0, 1[ такие, что

x0 = x(α0) = α0x1 + (1− α0)x2 /∈ C.

8

ПоложимD1 = C

⋂[x1, x0], D2 = C

⋂[x0, x2].

Эти множества замкнуты, как пересечение замкнутыхмножеств, причем x0 /∈ Di, i = 1, 2, поскольку x0 /∈ C. Кроме то-го, они очевидно ограничены.

2) Далее, из свойств рефлексивного банахова пространства выте-кает, что существуют элементы z1 ∈ D1 и z2 ∈ D2 такие, что

‖z1 − x0‖ = minx{‖x− x0‖, x ∈ D1},

‖z2 − x0‖ = minx{‖x− x0‖, x ∈ D2}.

(1.2)

Из построения Di, i = 1, 2 следует, что, в частности, zi ∈ C, i = 1, 2.3) При этом на полуинтервалах ]z1, x0] и [x0, z2[ нет точек из C

(в соответствии с (1.2)), так что

]z1, x0]⋂

C = ∅, [x0, z2[⋂

C = ∅.

Таким образом, z1, z2 ∈ C, но внутри отрезка [z1, z2] нет ни однойточки из C, что противоречит условию (1.1). Следовательно, множе-ство C выпукло. #

Непосредственно из определений вытекает

Предложение 1.3 a) Пересечение любого семейства выпуклыхмножеств (соответственно аффинных многообразий или конусов)само является выпуклым множеством (линейным многообразием,конусом).

b) Образ Λ(A) и полный прообраз Λ−1(B) выпуклыхмножеств (линейных многообразий, конусов) A ⊂ X, B ⊂ Y (X, Y— линейные пространства) при линейном отображенииΛ ∈ L(X → Y ) являются выпуклыми множествами (аффинныммногообразием, конусом).

c) Сдвиг C + z (z ∈ X) выпуклого множества (линейного мно-гообразия ) C является выпуклым множеством (линейным много-образием).

d) Аффинное многообразие A является линейным подпростран-ством в X тогда и только тогда, когда 0 ∈ A.

e) Конус K является выпуклым тогда и только тогда, когда

x1, x2 ∈ K ⇒ (x1 + x2) ∈ K. (1.3)

9

Доказательство. Докажем для примера утверждение е).i) Если K выпукло и x1, x2 ∈ K, тогда

x1 + x2 = α · ( 1α

x1) + (1− α) · ( 11− α

x2) ∈ K,

так как1α

x1 ∈ K и1

1− αx2 ∈ K

ii) Пусть теперь K — конус, для которого выполнено свойство(1.3), и x1, x2 ∈ K, α ∈]0, 1[. Тогда x = αx1 ∈ K и x̃ = (1 − α)x2 ∈ Kи, согласно (1.3)

x + x̃ = αx1 + (1− α)x2 ∈ K.

Следовательно, K выпукло.Докажем теперь утверждение b).Пусть B ⊂ Y , B выпукло. Рассмотрим полный прообраз

Λ−1(B) ⊂ X, Λ ∈ L(X → Y ). Пусть x1, x2 ∈ Λ−1(B), α ∈]0, 1[. То-гда существуют y1, y2 ∈ B такие, что Λx1 = y1, Λx2 = y2. В силулинейности Λ имеем:

Λ(xα) = Λ(αx1 + (1− α)x2) =

= αΛx1 + (1− α)Λx2 = αy1 + (1− α)y2 ∈ B.

Последнее включение справедливо, поскольку B выпукло в Y . Новключение Λ(xα) ∈ B означает, что xα

4=αx1 + (1− α)x2 ∈ Λ−1(B).

#Далее, из линейной алгебры хорошо известен следующий факт.

Лемма 1.4 Всякое линейное многообразие A являетсясдвигом некоторого линейного подпространства L, т.е. A = x0 +L,x0 ∈ A.

Определение 1.5 a) Пересечение всевозможных выпуклых мно-жеств C, содержащих данное множество M , называется выпук-лой оболочкой множества M и обозначается co M :

co M =⋂

C⊃M

C, C ∈ CONV (X) (1.4)

10

b) Если в (1.4) вместо выпуклых множеств берутся всевозможныевыпуклые конусы K ⊃ M (аффинные многообразия A ⊃ M , подпро-странства L ⊃ M), то соответствующее пересечение называет-ся конической (соответственно аффинной или линейной) оболочкоймножества M и обозначается cone M(aff M, linM):

cone M = {⋂K⊃M

| K— выпуклый конус, M ⊂ K ⊂ X},

aff M = {⋂

A⊃M

| A — аффинное многообразие, M ⊂ A ⊂ X},

linM = {⋂

L⊃M

| L — линейное подпространство, M ⊂ L ⊂ X},

Определение 1.6 Пусть x1, . . . , xn — элементы пространства X.Тогда вектор

x =n∑

i=1

λixi (1.5)

называется линейной, аффинной, конической или выпуклой комби-нацией x1, . . . , xn, если в (1.5) соответственно:

a) λi — любые действительные числа,

b)n∑

i=1

λi = 1,

c) λi ≥ 0,

d)n∑

i=1

λi = 1, λi ≥ 0.

Предложение 1.7 Пусть векторы x1, . . . xn ∈ X принадлежатa) выпуклому множеству C;b) выпуклому конусу K;c) аффинному многообразию A;d) линейному подпространству L.Тогда их а) выпуклая, b) коническая, c) аффинная, d) линейная

комбинация принадлежит a) C, b) K, c) A, d) L соответственно.

Другими словами, для выпуклого множества C, в частности, имеем

{n∑

i=1

λixi | λi ≥ 0,

n∑i=1

λi = 1; xi ∈ C, n = 1, 2, 3, . . .} ⊂ C.

11

Рассмотрим теперь произвольное множество M ⊂ X.

Предложение 1.8 а) Выпуклая (коническая, аффинная или линей-ная) оболочка множества M состоит из всех выпуклых (кониче-ских, аффинных или линейных) комбинаций элементов из M .b) Множество M выпукло (является выпуклым конусом, аффин-ным многообразием или линейным подпространством) тогда и толь-ко тогда, когда оно совпадает со своей выпуклой (конической, аф-финной или линейной) оболочкой.

Доказательство рассмотрим только для случая выпуклой оболоч-ки, в остальных случаях оно аналогично.a) Введем обозначение:

M̃4={y =

m∑i=1

αixi | xi ∈ M, αi ≥ 0,

m∑i=1

αi = 1, m = 1, 2, ...} — множе-

ство всех выпуклых комбинаций точек из M . Покажем, что M ⊂ M̃ .Прежде покажем, что M̃ выпукло.

Пусть y1 =m1∑i=1

α1i x

i1, y2 =

m2∑i=1

α2i x

i2, αj

i ≥ 0,mj∑i=1

αji = 1, j = 1, 2.

Тогда для λ ∈ [0, 1] выпуклая комбинация точек y1 и y2

λy1 + (1− λ)y2 =m1∑i=1

λα1i x

i1 +

m2∑i=1

(1− λ)α2i x

i2,

а эта последняя сумма является выпуклой комбинацией точекx1

1, . . . , xm11 , x1

2, . . . , xm22 , поскольку имеет место цепочка равенств

m1∑i=1

λα1i +

m2∑i=1

(1− λ)α2i = λ

m1∑i=1

α1i + (1− λ)

m2∑i=1

α2i = 1.

Итак, M ⊂ M̃ и M̃ выпукло. Следовательно, co M ⊂ M̃ .С другой стороны, если y ∈ M̃ , то y является выпуклой комби-

нацией точек из M , и поэтому y принадлежит любому выпукломумножеству, содержащему M . Таким образом, M̃ ⊂ co M , и поэтомуM̃ = co M . #

Замечание. Эта теорема утверждает, что всякая точка из co Mможет быть представлена в виде выпуклой комбинации некоторого

12

конечного числа точек (которое может быть достаточно большим).Оказывается, что в конечномерном случае предложение 1.8 можетбыть усилено.

Соответствующее утверждение мы назовем теоремой Каратеодо-ри, хотя, строго говоря, это название относится к той его части, вкоторой речь идет о выпуклой оболочке.

Теорема 1.9 (Каратеодори). Пусть для множества An = dim(linA) < ∞. Тогда каждая точка, принадлежащая выпук-лой (конической, аффинной или линейной) оболочке множества A,является выпуклой (конической, аффинной или линейной) комбина-цией не более чем n + 1 точки из A.

§2. Теорема Хана-Банаха и ее следствия

Пусть X — линейное пространство, IR = IR ∪ {−∞,+∞}.Определение 2.1 Функция p : X → IR называется сублинейной,если она:

i) положительно однородна, т.е.

p(αx) = αp(x) ∀ x ∈ X, ∀ α > 0; (2.1)

ii) субаддитивна:

p(x + y) ≤ p(x) + p(y) ∀ x, y ∈ X. (2.2)

Примеры. 1) X — нормированное пространство,

p(x) = ‖x‖

2) X — линейное пространство, L — линейное подпространство вX,

p(x) = δ(x, L)4=

{0, x ∈ L;

+∞, x /∈ L.

3) X — линейное пространство; l1, . . . , lm — набор линейных функ-ционалов на X;

p(x) = maxi{〈li, x〉 | i = 1, . . . ,m}.

Важный пример доставляет следующее

13

Определение 2.2 Пусть A — выпуклое подмножество линейногопространства X, содержащее 0. Его функция Минковского µ(·|A)определяется равенством:

µ(x|A) = inft{t > 0 | t−1x ∈ A} (2.3)

(если таких t > 0, что t−1x ∈ A нет совсем, то по определениюµ(x|A) = +∞).

Предложение 2.3 a) Функция Минковского неотрицательна и суб-линейна.

b) Справедливы следующие включения:

{x | µ(x|A) < 1} ⊂ A ⊂ {x | µ(x|A) ≤ 1}. (2.4)

c) Если X — линейное топологическое пространство, то µ(·|A)непрерывна в точке 0 тогда и только тогда, когда 0 ∈ intA.

Доказательство. a) i) Если µ(x|A) или µ(y|A) = +∞, то (2.2) оче-видно. Поэтому пусть µ(x|A) < +∞ и µ(y|A) < +∞. По определению(2.3) точной нижней грани для любого ε > 0 существуют t и s такие,что

0 < t < µ(x|A) + ε/2, t−1x ∈ A,

0 < s < µ(y|A) + ε/2, s−1y ∈ A.

}(2.5)

Но тогда в силу выпуклости A имеем:

(t + s)−1(x + y) =x

t· t

t + s+

y

s· s

t + s∈ A.

И, поскольку (t + s)−1(x + y) ∈ A, то в силу (2.5)

µ(x + y|A) ≤ t + s < µ(x|A) + µ(y|A) + ε.

В силу произвольности ε > 0 отсюда следует, что µ(·|A) субаддитив-на.

ii) Далее, для α > 0 имеем:

µ(αx|A) = inft{t > 0 | αx

t∈ A} = inf

s{αs > 0 | x

s∈ A} =

= α infs{s > 0 | s−1x ∈ A} = αµ(x|A),

14

так что µ(·|A) является положительно однородной.Таким образом, µ(·|A) является сублинейной.Неотрицательность функции Минковского следует из определения.b) Если x ∈ A, то очевидно inf{t > 0 | t−1x ∈ A} ≤ 1. Поэто-

му второе включение в (2.4) очевидно. Пусть теперь x таково, чтоµ(x|A) < 1. Тогда существует t ∈]0, 1[ такое, что t−1x ∈ A.

Но поскольку 0 ∈ A и A выпукло, то

x = (1− t) · 0x + t(t−1x) ∈ A,

так что и первое включение в (2.4) также выполнено.c) Пусть X — линейное топологическое пространство. Тогда µ(·|A)

непрерывна в 0 в том и только в том случае, когда

∀ ε > 0 ∃U(ε) 3 0 : µ(x|A) < ε ∀x ∈ U(ε).

Рассмотрим окрестность U1 : U(ε) = εU1. Тогда ввиду положитель-ной однородности µ(·|A) из предыдущего неравенства будем иметь

µ(x|A) < 1 ∀x ∈ U1,

а значит,U1 ⊂ {x | µ(x|A) < 1}.

Следовательно, из утверждения b) будем иметь U1 ⊂ A, а U1 —окрестность нуля. #

Предложение 2.4 Пусть X∗ — множество линейных функцио-налов на X. Для того, чтобы функционал x∗ ∈ X∗ на линейномтопологическом пространстве X был непрерывен, необходимо и до-статочно, чтобы существовала сублинейная, непрерывная в нулефункция p(·), мажорирующая x∗:

〈x∗, x〉 ≤ p(x) ∀x ∈ X. (2.6)

Доказательство. 1) Необходимость устанавливается непосредствен-но, если положить p(x) = |〈x∗, x〉|.

2) Достаточность. Пусть верно (2.6), где p(·) сублинейна и непре-рывна в нуле. Тогда для любого ε > 0 существует окрестность нуляUε 3 0 такая, что

p(x) < ε ∀x ∈ Uε.

15

Поскольку 0 ∈ Uε и 0 = (−0) ∈ (−Uε), то существует окрестностьнуля W такая, что

0 ∈ W ⊂ Uε ∩ (−Uε).

Если x ∈ W , то x ∈ Uε и (−x) ∈ W . Тогда в силу (2.6):

〈x∗, x〉 ≤ p(x) < ε, 〈x∗,−x〉 ≤ p(−x) < ε.

Следовательно, |〈x∗, x〉| < ε ∀x ∈ W , т.е. функционал x∗ непре-рывен в нуле. Остается заметить, что линейный функционал, непре-рывный в одной точке, непрерывен на X. #

Теорема 2.5 (Хана-Банаха). Пусть p : X → IR — сублинейнаяфункция на линейном пространстве X, и пусть l : L → IR — ли-нейный функционал на подпространстве L пространства X, такойчто

〈l, x〉 ≤ p(x) ∀x ∈ L. (2.7)

Тогда существует линейный функционал Λ(·), определенный на всемпространстве X, являющийся продолжением l(·), т.е.

〈Λ, x〉 = 〈l, x〉 ∀x ∈ L, (2.8)

и удовлетворяющий неравенству

〈Λ, x〉 ≤ p(x) ∀x ∈ X. (2.9)

#

Следствие 2.6 Пусть X — нормированное пространство и x0 не-нулевая точка x0 6= 0. Тогда существует функционал Λ ∈ X∗ та-кой, что ‖Λ‖X∗ = 1 и

〈Λ, x0〉 = ‖x0‖.

Доказательство. На подпространстве

L = {x | x = αx0, α ∈ IR}

зададим линейный функционал l(·), полагая

〈l, αx0〉 = α‖x0‖. (2.10)

16

Функция p(x) = ‖x‖ — выпуклая однородная, а поэтому сублиней-ная, и имеет место цепочка

〈l, αx0〉 = α‖x0‖ ≤ |α|‖x0‖ = ‖αx0‖ = p(αx0),

так что справедливо неравенство (2.7).По теореме Хана-Банаха l(·) продолжается до линейного функ-

ционала Λ(·) с сохранением (2.8) и (2.9).Поскольку из (2.9) следует, что

‖Λ‖ = sup‖x‖=1

〈Λ, x〉 ≤ sup‖x‖=1

p(x) = sup‖x‖=1

‖x‖ = 1, (2.11)

так что Λ(·) ограничен, а потому и непрерывен. Таким образом Λ ∈ X∗.С другой стороны, из (2.8) и (2.10) имеем

〈Λ, x0〉 = 〈l, x0〉 = ‖x0‖,

так что верно и второе утверждение доказываемого следствия и, кро-ме того,

‖Λ‖ = sup‖x‖=1

〈Λ, x〉 ≥ 〈Λ,x0

‖x0‖〉 = 1.

Принимая во внимание (2.11), получаем, что ‖Λ‖ = 1. #Замечание. Значение последнего утверждения заключается в

следующем. Для всякого ненулевого x0 существует функционалx∗ ∈ X∗ (линейный и непрерывный), для которого 〈Λ, x0〉 = ‖x0‖ > 0.Это равносильно (покажите это) тому, что ∀x, y : x 6= y найдетсяx∗ ∈ X∗ : 〈x∗, x〉 6= 〈x∗, y〉, так что с помощью сопряженного про-странства X∗ можно отличать элементы исходного X. Это говорит отом, что пространство X∗ линейно непрерывных функционалов до-статочно широко (нетривиально). В частности, повторим, оно позво-ляет отличать различные элементы исходного пространства. Крометого, можно изучать свойства исходного пространства X с помощьюсопряженного, и наоборот (!) (см., например, [8]).

§3. Теоремы отделимости

Пусть X — линейное топологическое пространство, X∗ — сопря-женное к нему.

17

Определение 3.1 Говорят, что функционал x∗ ∈ X∗ разделяетмножества A и B, A ⊂ X, B ⊂ X, если существует γ ∈ IR, такоечто

supx{〈x∗, x〉 | x ∈ A} ≤ γ ≤ inf

x{〈x∗, x〉 | x ∈ B}, (3.1)

и строго разделяет A и B, если существует такое γ, что

supx{〈x∗, x〉 | x ∈ A} < γ < inf

x{〈x∗, x〉 | x ∈ B} (3.2)

Геометрически неравенство (3.1) означает, что гиперплоскость

H(x∗, γ) = {x | 〈x∗, x〉 = γ}

отделяет множества A и B друг от друга в том смысле, что A лежитв одном полупространстве

H+(x∗, γ) = {x | 〈x∗, x〉 ≤ γ} ⊃ A,

а B — в другом

H−(x∗, γ) = {x | 〈x∗, x〉 ≥ γ} ⊃ B.

Неравенство же (3.2) означает, что при этом γ можно выбратьтаким образом, чтобы A и B лежали внутри соответствующих полу-пространств и не имели общих точек с H(x∗, γ).

Теорема 3.2 (первая теорема отделимости). Пусть A и B —выпуклые непустые подмножества пространства X, intA 6= ∅ и,кроме того,

intA ∩B = ∅. (3.3)

Тогда существует нетривиальный функционал x∗ ∈ X∗, разделяю-щий A и B.

Доказательство. а) Поскольку intA 6= ∅ и B 6= ∅, то существуютa0 ∈ intA и b0 ∈ B. Тогда множество

C = (intA− a0)− (B − b0) =

= {x ∈ X | x = a− a0 − b + b0, a ∈ intA, b ∈ B}

является непустым выпуклым множеством, содержащим 0.

18

Покажем, что это множество открыто. Действительно, пустьx ∈ C. Тогда x = a − a0 − b + b0, a ∈ intA, b ∈ B. Поэтому су-ществует окрестность U = U(a) точки a такая, что U ⊂ intA. Тогдаx ∈ V = U − a0 − b + b0 ⊂ C.

b) Кроме того, точка c = b0−a0 /∈ C. Действительно, в противномслучае существовали бы точки a ∈ intA и b ∈ B, для которых

b0 − a0 = a− a0 − b + b0 ∈ C.

Отсюда a− b = 0 или a = b ∈ (int A) ∩B, что противоречит (3.3).c) Обозначим через p(x) функцию Минковского множества C.

Тогда p(x) — сублинейная и непрерывная в точке 0 функция. Крометого, p(x) ≤ 1 для любого x ∈ C.

d) На подпространстве

L = {x | x = αc = α(b0 − a0), α ∈ IR}

определим функционал l(·) по правилу

〈l, αc〉4=αp(c).

Покажем, что l(·) — линейный функционал. Действительно,

〈l, x1 + x2〉 = 〈l, α1c + α2c〉 = 〈l, (α1 + α2)c〉4=

4=(α1 + α2)p(c) = α1p(c) + α2p(c)

4=〈l, x1〉+ 〈l, x2〉.

Покажем теперь, что функционал l(·) мажорируется функциейМинковского p(·) множества C.

Если α > 0, то 〈l, αc〉 = αp(c) = p(αc).Если же α ≤ 0, то, поскольку p(c) ≥ 0,

〈l, αc〉 = αp(c) ≤ 0 ≤ p(αc).

Таким образом, 〈l, x〉 ≤ p(x) ∀ x ∈ L. Тогда по теореме Хана-Банаха l(·) можно продолжить до линейного функционала Λ ⊂ X:

〈Λ, αc〉 = 〈l, αc〉 = αp(c) ∀ α ∈ IR, (3.4)

〈Λ, x〉 ≤ p(x) ∀ x ∈ X. (3.5)

19

Поскольку p(·) непрерывна в нуле, то из (3.5) следует непрерыв-ность функционала Λ (из предложения 2.4) и Λ ⊂ X∗.

e) Для любого a ∈ intA и для любого b ∈ B имеем:

〈Λ, a− b〉 = 〈Λ, a− a0 − b + b0〉+ 〈Λ, a0 − b0〉(3.4),(3.5)

≤

≤ p(a− a0 − b + b0)− 〈l, b0 − a0〉(3.4)

≤ 1− p(b0 − a0),

поскольку (a − a0 − b + b0) ∈ C. Итак, для любого a ∈ intA и длялюбого b ∈ B

〈Λ, a− b〉 ≤ 1− p(b0 − a0). (3.6)

g) Покажем теперь, что для любого t из полуинтервала ]0, 1] точ-ка

(b0 − a0)/t = t−1c

не может принадлежать C.В самом деле, если бы такое включение имело место, то, посколь-

ку 0 ∈ C и C выпукло, мы бы получили

(1− t) · 0X + t · (t−1c) = c ∈ C,

что невозможно (см. пункт b)). Поэтому

p(c) = p(b0 − a0) = inf{t > 0 | t−1c ∈ C} ≥ 1. (3.7)

Тогда из (3.6) следует, что для любых a ∈ intA и b ∈ B

〈Λ, a− b〉 ≤ 1− p(b0 − a0) ≤ 0.

Поскольку в полученном неравенстве

〈Λ, a〉 ≤ 〈Λ, b〉,

a ∈ intA, b ∈ B переменные a и b независимы, то

supa{〈Λ, a〉 | a ∈ intA} ≤ inf

b{〈Λ, b〉 | b ∈ B}.

Учитывая, что

supa{〈Λ, a〉 | a ∈ intA} = sup

a{〈Λ, a〉 | a ∈ A},

20

получаем требуемое. Кроме того, из (3.4) и (3.7)

〈Λ, b0 − a0〉 = p(b0 − a0) ≥ 1,

так что Λ 6= 0. Таким образом, Λ нетривиален и разделяет A и B.#

Теорема 3.3 (вторая теорема отделимости). ПустьX — локально выпуклое топологическое пространство, A — непу-стое замкнутое выпуклое подмножество X, и существует точкаz ∈ X, не принадлежащая A. Тогда множество A и точка z строгоразделимы.

Доказательство. Поскольку z /∈ A и A замкнуто, то существуетокрестность U = U(z) точки z такая, что

A ∩ U = ∅.

Ввиду локальной выпуклости X эту окрестность можно считатьвыпуклой. Тогда по теореме (3.2) отделимости существует ненулевойфункционал x∗, разделяющий A и U . Другими словами

supa{〈x∗, a〉 | a ∈ A} ≤ inf

x{〈x∗, x〉 | x ∈ U}.

Остается заметить, что

infx{〈x∗, x〉 | x ∈ U} < 〈x∗, z〉,

поскольку нижняя грань ненулевого линейного функционала не мо-жет достигаться во внутренней точке выпуклого множества. #

§4. Топологические свойства выпуклыхмножеств

Простейшими выпуклыми множествами в X являются гиперплос-кости и полупространства (x∗ ∈ X∗):гиперплоскость

H(x∗, α) = {x | 〈x∗, x〉 = α},

21

замкнутые полупространства

H+(x∗, α) = {x | 〈x∗, x〉 ≤ α}H−(x∗, α) = {x | 〈x∗, x〉 ≥ α}

}открытые полупространства

Ho+(x∗, α) = {x | 〈x∗, x〉 < α}

Ho−(x∗, α) = {x | 〈x∗, x〉 > α}

}

Определение 4.1 Назовем выпуклым полиэдром пересечение ко-нечного числа замкнутых полупропространств (это пересечение необязано быть ограниченным множеством).

Упражнение 4.2 Докажите, что в IRn всякий выпуклый много-гранник (co {x1, . . . , xN}) является выпуклым полиэдром, и что вся-кий ограниченный выпуклый полиэдр является выпуклым много-гранником.

Предложение 4.3 Пусть A — выпуклое множество. Тогда:a) все точки полуинтервала [x1, x2[, где x1 ∈ intA, x2 ∈ A, при-

надлежат intA (или, что то же самое,αx1 + (1− α)x2 ∈ intA ∀ α ∈]0, 1]);

b) внутренность int A и замыкание cl A множества A выпуклы;c) если intA 6= ∅, то cl A = cl (intA).

Доказательство. a) Пусть U — выпуклая окрестность точки x1,xα = αx1+(1−α)x2, 0 < α ≤ 1. Тогда множество Uα = αU +(1−α)x2

является окрестностью, содержащей точку xα и лежащей в A (в силувыпуклости множества A). Таким образом, xα ∈ intA.

b) i) Покажем выпуклость int A. Действительно, из a) следует,что для любых x, y ∈ intA и α ∈]0, 1] выполняется равенство

xα = αx + (1− α)y ∈ intA.

А для α = 0 xα = y ∈ intA, и потому xα ∈ intA ∀ α ∈ [0, 1].ii) Покажем, что множество cl A тоже выпукло. Пусть x, y ∈ cl A,

α ∈]0, 1[, xα = αx + (1 − α)y. Предположим для простоты, что X

22

— нормированное пространство. Тогда существуют последователь-ности {xk} ⊂ A, xk → x (т.е. ‖xk − x‖ → 0) и {yk} ⊂ A, yk → y (т.е.‖yk − y‖ → 0).

Образуем точку xkα = αxk + (1− α)yk. Тогда

‖xkα − xα‖ = ‖αxk + (1− α)yk − αx− (1− α)y‖ =

= ‖α(xk − x) + (1− α)(yk − y)‖ ≤ ‖α(xk − x)‖++‖(1− α)(yk − y)‖ = α‖xk − x‖+ (1− α)‖yk − y‖ → 0.

Таким образом, ‖xkα−xα‖ → 0, или xk

α → xα (k →∞), xkα ∈ A, откуда

xα ∈ cl A. Значит, cl A выпукло.c) Если int A 6= ∅, то для любого x ∈ A справедливо включение

xα = αx + (1− α)y ∈ intA ∀α ∈]0, 1[, y ∈ intA.

Тогда при α ↑ 1 имеем, что xα → x ( или ‖xα − x‖ → 0). В си-лу произвольности x ∈ A получаем, что A ⊂ cl (int A), и поэто-му cl A ⊂ cl (int A). С другой стороны, очевидно, что intA ⊂ A,а следовательно, cl (int A) ⊂ cl A. Значит, имеет место равенствоcl A = cl (intA), что и требовалось доказать. #

Определение 4.4 Пересечение всех замкнутых выпуклыхмножеств, содержащих A, называется выпуклой замкнутой обо-лочкой множества A и обозначается co A.

Ясно, что множество co A замкнуто и выпукло, как пересечение се-мейства замкнутых выпуклых множеств.

Предложение 4.5 a) Множество A выпукло и замкнуто тогда итолько тогда, когда оно совпадает со своей замкнутой выпуклойоболочкой (т.е. когда co A = A).

b) Замкнутая выпуклая оболочка co A множества A совпадаетс пересечением всевозможных замкнутых полупространств, содер-жащих A.

с) Имеет место равенство co A = cl coA.

Доказательство. a) Если множество A выпукло и замкнуто, то, по-скольку A ⊂ A, имеет место включение co A ⊂ A. Далее, посколькувключение A ⊂ co A очевидно, то заключаем, что A = co A.

23

b) Далее, пусть B — пересечение всех замкнутых полупространств,содержащих A. Тогда co A ⊂ B (не всякое замкнутое выпуклое мно-жество, содержащее A, является еще и полупространством).

Пусть точка z /∈ co A. Тогда по второй теореме отделимости су-ществует функционал x∗ ∈ X∗, строго разделяющий z и co A:

supx{〈x∗, x〉 | x ∈ co A} < γ < 〈x∗, z〉.

Отсюда z /∈ H+(x∗, γ) ⊃ co A ⊃ A, и потому z /∈ B. Следовательно,B ⊂ co A, и, таким образом, B = co A.

с) i) Очевидно, что co A ⊂ co A, поскольку

co A = ∩{C | C ⊃ A, C — выпукло},

co A = ∩{C | C ⊃ A, C — выпукло и замкнуто}.

Поэтому cl (co A) ⊂ co A.ii) С другой стороны, cl (co A) выпукло и замкнуто по предложению4.3, A ⊂ cl (co A). Поэтому co A ⊂ cl (co A). #

§5. Выпуклые функции

Рассмотрим функцию f : X → IR, IR4= IR ∪ {−∞,+∞}.

Определение 5.1 Назовем множества

dom f4={x ∈ X | f(x) < +∞} ⊂ X,

epi f4={(x, α) ∈ X × IR | f(x) ≤ α} ⊂ X × IR

эффективной областью и надграфиком функции f(·) соответствен-но.

Определение 5.2 i) Функцию f(·) называют собственной, еслиa) dom f 6= ∅,b) f(x) > −∞ ∀x ∈ X.

Определение 5.3 Функцию f(·) назовем выпуклой, если ее надгра-фик epi f является выпуклым множеством. #

24

Справедливы следующие утверждения.

Предложение 5.4 Собственная функция f(·) является выпуклойтогда и только тогда, когда для любых x, y ∈ X и для любогоλ ∈ [0, 1] справедливо неравенство

f(λx + (1− λ)y) ≤ λf(x) + (1− λ)f(y). (5.1)

Доказательство. Пусть надграфик функции epi f — выпуклое мно-жество. Очевидно, что точки (x, f(x)) и (y, f(y)) лежат в epi f .

Тогда и их выпуклая комбинация

λ(x, f(x)) + (1−λ)(y, f(y))=(λx + (1−λ)y, λf(x) + (1−λ)f(y))

также будет лежать в epi f .По определению надграфика это и означает выполнение неравенствавыпуклости (5.1).

Очевидно, это рассуждение обратимо. #

Предложение 5.5 Пусть дана выпуклая функция f(·) такая, чтосуществует y ∈ dom f : f(y) = −∞. Тогда f(x) = −∞ ∀x ∈ int dom f .

Доказательство. i) Очевидно, для достаточно малого 0 < ε < 1точка z = x + ε(x− y) ∈ dom f ∀ x ∈ int dom f .

С другой стороны ясно, что

x =1

1 + εz +

ε

1 + εy = λz + (1− λ)y, λ ∈]0, 1[. (5.2)

ii) Теперь, поскольку f(y) = −∞, то по определению

(y, β) ∈ epi f ∀β ∈ IR.

Пусть α ≥ f(z), т.е. (z, α) ∈ epi f .В силу выпуклости множества epi f имеем

(1

1 + εz +

ε

1 + εy,

11 + ε

α +ε

1 + εβ) = λ(z, α) + (1− λ)(y, β) ∈ epi f

или, другими словами,

f(x) = f(1

1 + εz +

ε

1 + εy) ≤ 1

1 + εα +

ε

1 + εβ.

В силу произвольности β, можно предположить, что β → −∞. От-сюда получаем f(x) = −∞. #

25

Предложение 5.6 Пусть заданы выпуклые функции fi(x), i ∈ I,где I — произвольное семейство индексов. Тогда функцияf(x) = sup

i{fi(x) | i ∈ I} также выпукла.

Замечание. Это означает, что семейство (конус) выпуклых функ-ций стабильно, или замкнуто относительно операции взятия точнойверхней грани.Доказательство. Для доказательства достаточно показать равен-ство epi f =

⋂i∈I

epi fi.

Если (x, α) ∈ epi f , т.е. supi∈I

fi(x) = f(x) ≤ α, то очевидно fi(x) ≤ α

для любого i ∈ I, что означает (x, α) ∈ epi fi для любого i ∈ I.Очевидно, верна и обратная импликация. #

Предложение 5.7 Собственная функция f(·) является выпуклойв том и только том случае, когда для любых точек

x1, x2, . . . , xN ∈ X и для любого α = (α1, α2, . . . , αN ), αi ≥ 0,N∑

i=1

αi = 1

выполнено неравенство Йенсена

f(N∑

i=1

αixi) ≤

N∑i=1

αif(xi). (5.3)

Доказательство. В случае, когда f(xi) = +∞ хотя бы для одногоi ∈ {1, 2, . . . , N}, неравенство (5.3) очевидно.

Пусть теперь f(xi) ≤ +∞ ∀ i ∈ {1, 2, . . . , N}. Тогда пара(xi, f(xi)) ∈ epi f . Отсюда в силу выпуклости f(·) получаем, что вX × IR выпуклая комбинация

N∑i=1

αi(xi, f(xi)) = (N∑

i=1

αixi,

N∑i=1

αif(xi))

также лежит в epi f . Следовательно, по определению надграфикафункции, имеет место неравенство (5.3).

Очевидно, это утверждение обратимо. #

Предложение 5.8 Собственная функция f(·) является выпуклойв том и только том случае, когда для любых x, h ∈ X функцияϕ(t)

4= f(x + th) является выпуклой функцией одного аргумента.

26

Доказательство. Пусть t1, t2 ∈ IR, α ∈]0, 1[. Доказательство необ-ходимости сводится к рассмотрению следующей цепочки:

ϕ(αt1 + (1− α)t2)4= f(x + (αt1 + (1− α)t2)h) =

= f(α[x + t1h] + (1− α)[x + t2h]) ≤ αf(x + t1h)+

+(1− α)f(x + t2h)4=αϕ(t1) + (1− α)ϕ(t2).

#

Упражнение 5.9 Доказать достаточность в предложении 5.8.

Упражнение 5.10 Показать, что функция f(·) является выпук-лой тогда и только тогда, когда ϕ(t)

4= f(x + th) ∈ CONV (IR) для

любых x, h ∈ X.

Упражнение 5.11 Показать, что коническая комбинация любогосемейства выпуклых функций остается выпуклой. Это означает,что совокупность всех выпуклых функций является выпуклым ко-нусом в линейном пространстве всех функций, но не является век-торным пространством (построить пример).

Лемма 5.12 Пусть задана некоторая функция ϕ : IR → IR веще-ственного аргумента. Если ϕ(·) выпукла и числа α0, α1, α2 из эф-фективной области dom ϕ функции ϕ(·) таковы, что α0 < α1 < α2,то

ϕ(α2)− ϕ(α0)α2 − α0

≥ ϕ(α1)− ϕ(α0)α1 − α0

, (5.4)

иϕ(α1)− ϕ(α0)

α1 − α0≤ ϕ(α2)− ϕ(α1)

α2 − α1. (5.5)

Замечание. Из неравенства (5.4) вытекает, что функция

g(α) =ϕ(α)− ϕ(α0)

α− α0является монотонно неубывающей.

Доказательство. Положим λ =α1 − α0

α2 − α0. Тогда 0 < λ < 1 и, кроме

того,1− λ =

α2 − α0 − α1 + α0

α2 − α0=

α2 − α1

α2 − α0.

27

Тогда выпуклая комбинация α0 и α2 равна α1:

λα2 + (1− λ)α0 =α2 − α1

α2 − α0α2 +

α2 − α1

α2 − α0α0 = α1.

Поэтому в силу выпуклости ϕ(·) имеем:

ϕ(α1) ≤α1 − α0

α2 − α0ϕ(α2) +

α2 − α1

α2 − α0ϕ(α0) (5.6)

Полученное неравенство (5.6) может быть трансформировано двумяразличными способами.

1) Вычитая из обеих частей (5.6) ϕ(α0), имеем

ϕ(α1)− ϕ(α0) ≤α1 − α0

α2 − α0[ϕ(α2)− ϕ(α0)].

Отсюда после деления на (α1−α0) получаем первое требуемое нера-венство (5.4).

2) В силу свойств и определения λ имеем

ϕ(α1) = λϕ(α1) + (1− λ)ϕ(α1), 0 < λ < 1.

Отсюда, принимая во внимание (5.6), получаем

α1 − α0

α2 − α0ϕ(α1) +

α2 − α1

α2 − α0ϕ(α1)

(5.6)

≤ α1 − α0

α2 − α0ϕ(α2) +

α2 − α1

α2 − α0ϕ(α0).

Из последнего неравенства следует, что

α2 − α1

α2 − α0[ϕ(α1 − ϕ(α0))] ≤

α1 − α0

α2 − α0[ϕ(α2)− ϕ(α1)].

После сокращения на α2 − α0 > 0 получаем (5.5). #

§6. Непрерывность выпуклых функций

Теорема 6.1 Собственная выпуклая функция f(·) непрерывна вточке x0 ∈ dom f тогда и только тогда, когда f(·) ограничена свер-ху в некоторой окрестности x0.

28

Доказательство. 1) Необходимость. Очевидно, что если f(·) непре-рывна в точке x0, то она ограничена сверху в некоторой окрестностиx0.

2) Достаточность. i) Производя перенос x → x−x0, можно свестидоказательство к случаю x0 = 0.

Пусть V — некоторая окрестность нуля и

f(x) ≤ C ∀ x ∈ V. (6.1)

Для фиксированного x ∈ V рассмотрим функцию

gx(α)4= f(αx).

Эта функция gx(α) будет выпукла в силу предложения 5.8.ii) Положим α0 = 0, α2 = 1, α1 = α, 0 < α < 1, и применим неравен-ство (5.4) из леммы 5.12. Получим

g(α)− g(0)α

≤ g(1)− g(0)1

.

Поскольку g(1) = f(x) ≤ C, g(0) = f(0), то справедливо неравенство

f(αx)− f(0) ≤ α[C − f(0)]. (6.2)

Далее, полагая в (5.5) α0 = −1, α1 = 0, α2 = α > 0, получаем:

g(0)− g(−1)0− (−1)

≤ g(α)− g(0)α− 0

.

Отсюда в силу (6.1) имеем цепочку неравенств

α[f(0)− C](6.1)

≤ α[f(0)− f(−x)] ≤ f(αx)− f(0).

С учетом неравенства (6.2), окончательно получаем

|f(αx)− f(0)| ≤ α(C − f(0)). (6.3)

iii) Для произвольного положительного числа ε положимδ =

ε

C − f(0)< 1, Vδ = δV . Пусть y — произвольный элемент из

29

Vδ. Тогда существует x ∈ V такой, что y = δx. Согласно оценке (6.3)получаем

|f(y)− f(0)| = |f(δx)− f(0)|(6.3)

≤ δ(C − f(0)) = ε,

что и требовалось доказать. #Пусть X — банахово пространство.

Теорема 6.2 Если выпуклая (собственная) функция f(·) непрерыв-на в точке z, то она удовлетворяет в этой точке условию Липши-ца.

Доказательство. Как и в предыдущей теореме, можно считать,что z = 0. Пусть r — радиус шара (окрестности) V из теоремы 6.1,и пусть точка y такова, что ‖y‖ ≤ r

2.

Положимx =

r

2y

‖y‖.

Тогда, используя оценку (6.3), получаем следующую цепочку:

|f(y)−f(0)| = |f(2‖y‖

rx)−f(0)| ≤ 2‖y‖

r(C−f(0)) = L‖y‖ = L‖y−0‖,

где L =2r(C − f(0)). Это означает, что функция f(·) удовлетворяет

условию Липшица в точке z = 0, что и требовалось доказать. #Замечание. Отметим, что из непрерывности f(·) на множествеint dom f следует выполнение условия Липшица в окрестности каж-дой точки из int dom f :

|f(x)− f(y)| ≤ L‖x− y‖ ∀ x, y ∈ V (z).

Последнее свойство сильнее, чем условие Липшица в точке:

|f(x)− f(z)| ≤ L‖x− z‖ ∀ x ∈ V (z),

(но L = L(z)!!!) #

30

§7. Замкнутые функции

Определение 7.1 i) Функция f : X → IR называется замкнутой,если ее надграфик является замкнутым множеством в X × IR.

ii) Функция f : X → IR называется полунепрерывной снизу вточке z ∈ X (на области U ⊂ X), если

limx→z

f(x)4= lim inf

x→zf(x) ≥ f(z) (∀ z ∈ U) (7.1)

iii) Функция f : X → IR называется полунепрерывной сверхув точке z ∈ X (на области U ⊂ X), если функция g(·) = (−f(·))полунепрерывна снизу в точке z ∈ X (на области U ⊂ X).

Справедлива

Теорема 7.2 Следующие утверждения равносильны:a) Функция f : X → IR замкнута;b) Функция f(·) полунепрерывна снизу на X;c) Для любого действительного α множество Лебега (подуров-

ня) S(f, α) = {x ∈ X | f(x) ≤ α} замкнуто.

Доказательство. Покажем импликацию a) ⇒ b).Пусть надграфик epi f функции f(·) замкнут. Рассмотрим после-

довательность {xk} : xk → x0, сходящуюся к точке x0.Предположим, что, вопреки b)

lim infk→∞

f(xk) < f(x0).

Это означает, что существует подпоследовательность{xkp} последовательности {xk}, такая, что

limp→∞

f(xkp) = lim infk→∞

f(xk) = γ < f(x0).

Рассмотрим последовательность точек надграфика

{(xkp , f(xkp))} ⊂ epi f ⊂ X × IR.

По построению имеем

{(xkp , f(xkp))} → (x0, γ).

31

Но с другой стороны, (x0, γ) /∈ epi f , поскольку f(x0) > γ. Это про-тиворечит замкнутости epi f , а следовательно, импликация a) ⇒ b)доказана.

b)⇒ c). Если функция f(·) полунепрерывна снизу и {xk} ⊂ S(f, α)(т.е. f(xk) ≤ α) и, кроме того, xk → x0, получаем

f(x0) ≤ lim infk→∞

f(xk) ≤ lim supk→∞

f(xk) ≤ α.

Отсюда S(f, α) — замкнутое множество.c) ⇒ a). Пусть множества Лебега S(f, α) функции f(·) замкнуты

для любого действительного α. Покажем, что дополнение(X × IR)\epi f надграфика функции f(·) открыто.

Пусть (z, γ) /∈ epi f , т.е. f(z) > γ. Тогда существует ε > 0 такое,что f(z) > γ + ε. Это означает, что z /∈ S(f, γ + ε).

Поскольку S(f, γ + ε) замкнуто (а его дополнение открыто) иz /∈ S(f, γ + ε), то существует окрестность U точки z ∈ U = U(z)такая, что

U ∩ S(f, γ + ε) = ∅

илиf(x) > γ + ε ∀ x ∈ U.

Тогда открытое множество

N4={(x, α) | x ∈ U,α < γ + ε}

содержит точку (z, γ) и, кроме того,

N ∩ epi f = ∅.

Следовательно, множество (X × IR)\epi f ⊃ N открыто. #

Предложение 7.3 Пусть функция f : X → IR выпукла и замкну-та. Если при этом существует x̂ ∈ X такой, что f(x̂) = −∞, тоf(·) не имеет конечных значений, так что f(x) = ±∞ ∀ x ∈ X.

Доказательство. Пусть вопреки утверждению предложения суще-ствует x̄ ∈ X, такой, что f(x̄) ∈ IR. Тогда существует α ∈ IR, такое,что α < f(x̄) и (x̄, α) /∈ epi f , где epi f — замкнутое и выпуклое мно-жество в X × IR.

32

По второй теореме отделимости существует нетривиальная пара(x∗, β) ∈ X∗ × IR, такая, что

〈x∗, x̄〉+ αβ < 〈x∗, x〉+ αβ ∀ (x, α) ∈ epi f. (7.2)

Очевидно, точка (x̄, f(x̄)) принадлежит epi f . Поэтому имеет ме-сто следующее неравенство

〈x∗, x̄〉+ αβ < 〈x∗, x̄〉+ βf(x̄).

Последнее, очевидно, равносильно неравенству

β(f(x̄)− α) > 0,

откуда следует, что β > 0.Разделив обе части неравенства (7.2) на β, получаем

1β〈x∗, x̄− x〉+ α < α ∀ (x, α) ∈ epi f,

и, поскольку (x, f(x)) ∈ epi f , имеем:

1β〈x∗, x̄− x〉+ α < f(x) ∀x ∈ X.

Полагая x = x̂ и учитывая, что f(x̂) = −∞, получаем из последнегонеравенства

1β〈x∗, x̄− x̂〉+ α < f(x̂) = −∞,

что невозможно, поскольку 〈x∗, x〉 ∈ IR ∀ x ∈ X, и α ∈ IR. #

Следствие 7.4 i) Если f(·) — выпуклая и замкнутаяфункция, такая что f(x0) ∈ IR для некоторого x0 ∈ X, тоf(x) > −∞ для любого x ∈ X.

ii) Для выпуклой замкнутой функции возможна только одна изальтернатив:

a) f(x) > −∞ ∀x ∈ X;b) f(x) = −∞ ∀x ∈ dom f . #

Совокупность всех выпуклых замкнутых функций обозначим Γ(X).Справедлива

33

Теорема 7.5 (существование экстремума). i) Пусть f(·) — соб-ственная замкнутая на D функция, где D ⊂ X — компакт. Тогдасуществует точка z ∈ D, такая, что

f(z) = min(f,D) = inf(f,D). (7.3)

ii) Пусть пространство X рефлексивно, а множество D не обя-зательно компактно. Пусть, кроме того, функцияf(·) является коэрсивной, т.е.

f(x) → +∞, если ‖x‖ → +∞. (7.4)

Тогда при некотором z ∈ D справедливы равенства (7.3).

Доказательство. i) Пусть {xk}— минимизирующая последователь-ность, т.е.

limk→∞

f(xk) = inf(f,D).

В силу компактности D существует подпоследовательность {xkp}последовательности {xk}, сходящаяся к точке z ∈ D, т.е.xkp → z ∈ D, p → ∞. Тогда в силу полунепрерывности снизу f(·)имеет место цепочка

inf(f,D) = limp→∞

f(xkp) = lim infp→∞

f(xkp) ≥ f(z).

Но z ∈ D, и потому верно (7.3).ii) Здесь достаточно показать, что минимизирующая последова-

тельность ограничена.Действительно, если это не так, то по свойству коэрсивности

limk→∞

f(xk) = +∞, в то время как inf(f,D) ∈ IR, что противоречитопределению минимизирующей последовательности.

Если {xk} ограничена и X рефлексивно, то можно повторить рас-суждения из i). #

§8. Сопряженные функции (поляры)

Определение 8.1 i) Будем называть аффинной функцией следую-щую функцию x → 〈x∗, x〉 − β:

a(x)4=〈x∗, x〉 − β,

34

где x∗ ∈ X∗, β ∈ IR, a(·) ∈ A(X).

Нетрудно видеть, что надграфиком epi a аффинной функцииa(·) ∈ A(X) является полупространство в X × IR, так как

epi a = {(x, α) | a(x)4=〈x∗, x〉 − β ≤ α},

и поскольку неравенство 〈x∗, x〉 − β ≤ α равносильно неравенству〈(x∗,−1), (x, α)〉 ≤ β. Последнее означает

epi a = {(x, α) ∈ X × IR ‖ 〈(x∗,−1), (x, α)〉 ≤ β}4=4=H+((x∗,−1), β) ⊂ X × IR.

что доказывает требуемое.

Определение 8.2 i) Будем говорить, что функция f : X → IRминорируется аффинной функцией a(·), если

a(x) = 〈x∗, x〉 − β ≤ f(x) ∀x ∈ X,

что равносильно неравенству

〈x∗, x〉 − f(x) ≤ β ∀x ∈ X (8.1)

Другими словами, разность линейного функционала〈x∗, ·〉 и выпуклой функции f(·) ограничена сверху числом β всюдуна X.

ii) Введем теперь следующее обозначение:

f∗(x∗) = supx{〈x∗, x〉 − f(x) | x ∈ X}, (8.2)

и будем называть функцию f∗ : X∗ → IR сопряженной к f(·) илиполярой функции f(·). #

Используя неравенство (8.1), можно сказать, что аффинная функ-ция a(x) = 〈x∗, x〉 − β является минорантой для функции f(·) тогдаи только тогда, когда

f∗(x∗) ≤ β. (8.3)

35

Очевидно, что равенство (8.2) равносильно равенству

f∗(x∗) = supx{〈x∗, x〉 − f(x) | x ∈ dom f}. (8.4)

Таким образом, f∗(·) является точной верхней гранью (по множе-ству x ∈ dom f) семейства аффинных непрерывных функцийx∗ → 〈x∗, x〉 − f(x) : X∗ → IR из A(X∗). Отсюда вытекает, чтоf∗(·), принадлежащая Γ(X∗), является полунепрерывной снизу (втопологии σ(X∗, X)) и, главное, выпуклой для произвольной f(·).Заметим, что если f(x) ≡ +∞, то, поскольку dom f = ∅, имеемf∗(x∗) ≡ −∞.

Следующие свойства являются немедленным следствием опреде-лений (8.2) и (8.4).

Предложение 8.3 Для произвольной функции f(·), действующейиз X в IR имеют место равенства

f∗(0∗) = − infx∈X

f(x)4=− inf(f,X), (8.5)

где 0∗ — нуль пространства X∗.

Предложение 8.4 Пусть f(·) и ϕ(·) — произвольные функции изX в IR, такие, что f(x) ≤ ϕ(x) ∀x ∈ X. Тогда для их сопряженныхфункций справедливо неравенство

f∗(x∗) ≥ ϕ∗(x∗) ∀x∗ ∈ X∗. (8.6)

Для произвольного семейства {fi(·) | i ∈ I} функций имеют местоследующие свойства.

Предложение 8.5

[infi{fi(·) | i ∈ I}]∗ = sup

i{f∗i (·) | i ∈ I}. (8.7)

Доказательство. Действительно, если x∗ ∈ X∗, то справедливацепочка равенств:

(infi∈I

fi)∗(x∗)4= sup

x∈X{〈x∗, x〉 − inf

i∈Ifi(x)} =

= supx∈X

{〈x∗, x〉+ supi∈I

[−fi(x)]} = supx∈X

supi∈I

{〈x∗, x〉 − fi(x)} =

= supi ∈I

supx∈X

{〈x∗, x〉 − fi(x)} = supi∈I

f∗i (x∗).

36

#

Предложение 8.6 Справедливо неравенство

[supi{fi(·) | i ∈ I}]∗ ≤ inf

i{f∗i (·) | i ∈ I}. (8.8)

Доказательство. Справедлива цепочка

(supi∈I

fi)∗(x∗)4= sup

x∈X{〈x∗, x〉 − sup

i∈Ifi(x)} =

= supx∈X

{〈x∗, x〉+ infi∈I

[−fi(x)]} = supx∈X

infi∈I{〈x∗, x〉 − fi(x)} ≤

≤ infi∈I

supx∈X

{〈x∗, x〉 − fi(x)} = infi∈I

f∗i (x∗).

#

Предложение 8.7 Для любого положительного λ ∈ IR справедли-во равенство

(λf)∗(x∗) = λf∗(x∗

λ). (8.9)

Доказательство. Действительно, для любых x∗ ∈ X∗ и λ > 0 имеемцепочку равенств

(λf)∗(x∗)4= sup

x∈X{〈x∗, x〉 − λf(x)} = sup

x∈Xλ{〈x

∗

λ, x〉−

−f(x)} = λ supx∈X

{〈x∗

λ, x〉 − f(x)} = λf∗(

x∗

λ).

#Кроме того, легко доказать

Предложение 8.8 Для любого α ∈ IR имеет место равенство

(f(·) + α)∗ = f∗(·) + α. (8.10)

Предложение 8.9 Для любого z ∈ X обозначим

fz(x)4= f(x− z).

Тогдаf∗z (x∗) = f∗(x∗) + 〈x∗, z〉. (8.11)

37

Доказательство. Действительно,

f∗z (x∗)4= sup

x∈X{〈x∗, x〉 − f(x− z)} =

= {x− z = y, x = z + y} = supy∈X

{〈x∗, z + y〉 − f(y)} =

= supy∈X

{〈x∗, y〉 − f(y)}+ 〈x∗, z〉 = f∗(x∗) + 〈x∗, z〉.

#

Определение 8.10 Вторую сопряженную функцию f∗∗ : X → IR(биполяру) для функции f(·) определяем как поляру от поляры:

f∗∗(x) = supx∗{〈x∗, x〉 − f∗(x∗) | x∗∈X∗} =

= supx∗{〈x∗, x〉 − f∗(x∗) | x∗∈dom f∗}.

(8.12)

Предложение 8.11 Пусть f(·) — функция из X в IR. Тогдаa) Функции f∗(·) и f∗∗(·) являются выпуклыми и замкнутыми.b) Для любых x ∈ X и x∗ ∈ X∗ справедливо неравенство Янга

f(x) + f∗(x∗) ≥ 〈x∗, x〉. (8.13)

c) Для любого x ∈ X справедливо неравенство

f∗∗(x) ≤ f(x).

d) Пусть некоторая функция g(·) : X → IR мажорирует функ-цию f(·):

f(x) ≤ g(x) ∀x ∈ X.

Тогда для любых x ∈ X и x∗ ∈ X∗ имеют место неравенства

f∗(x∗) ≥ g∗(x∗) и f∗∗(x) ≤ g∗∗(x).

Доказательство. a) Из определений 8.1 и 8.10 можно видеть, чтокаждая из функций f∗(·) и f∗∗(·) получена как точная верхняя граньнекоторого семейства аффинных функций, так что их надграфикиepi f∗ и epi f∗∗ являются пересечением замкнутых полупространств.Следовательно, эти надграфики являются выпуклыми и замкнуты-ми.

38

b) По определению (8.1) поляры f∗(·) для любогоx∗ ∈ X∗ имеем

f∗(x∗) ≥ 〈x∗, x〉 − f(x) ∀x ∈ X,

что равносильно неравенству Янга (8.13).c) Из неравенства Янга вытекает, что для любого x ∈ X

f(x) ≥ 〈x∗, x〉 − f∗(x∗) ∀ x∗ ∈ X∗,

откудаf(x) ≥ sup

x∗∈X∗{〈x∗, x〉 − f∗(x∗)}4= f∗∗(x).

d) Оба неравенства являются прямыми следствиями определе-ний. #

Пример. Пусть X ≡ IR, f(x) =1

1 + x2. Тогда

f∗(x∗) =

{0, x∗ = 0;

+∞, x∗ 6= 0

и f∗∗(x) ≡ 0, так что для любого x ∈ IR выполняется строгое нера-венство

f(x) > f∗∗(x). #

§9. Теоремы Минковского и Фенхеля-Моро

Следующие теоремы являются одними из самых важных в вы-пуклом анализе. В частности, теорема Фенхеля-Моро показывает,что совпадение f(·) и f∗∗(·) не является случайным.Теорема 9.1 (Минковского). Собственная функция является вы-пуклой и замкнутой тогда и только тогда, когда она являетсяточной верхней гранью семейства аффинных функций, ее минори-рующих. Точнее говоря, f(·) выпукла и замкнута тогда и толькотогда, когда

f(x) = supa(·)

{a(x) | a(·) ∈ A(X), a(x) ≤ f(x) ∀x ∈ X}. (9.1)

39

Доказательство. 1) Необходимость. Надграфик epi f функции f(·)является выпуклым и замкнутым множеством в X × IR тогда итолько тогда, когда он является пересечением полупространств вX × IR, его содержащих. Полупространством в X × IR является над-график некоторой аффинной функции. При этом нетрудно видетьepi f ⊂ epi a (a(·) ∈ A(X)) тогда и только тогда, когда a(·) ≤ f(·).

2) Достаточность. Аффинная функция выпукла и замкнута,так как ее надграфик — замкнутое полупространство. Далее, длялюбого семейства функций fα(·) имеем:

epi {supα

fα} = {(x, α) | α ≥ supα

fα(x)} =

=⋂α{(x, α) | fα(x) ≤ α} =

⋂α

epi fα.(9.2)

Таким образом, если все fα(·) выпуклы и замкнуты, то их надгра-фики epi fα — выпуклые и замкнутые множества, и их пересечениеобладает тем же свойством. #

Теорема 9.2 (Фенхеля-Моро). Пусть X — локально выпуклоелинейное топологическое пространство. Пусть такжеf : X → IR ∪ {+∞} — функция, большая чем −∞. Тогда:

a) f∗∗(·) = f(·) тогда и только тогда, когда функция f(·) выпук-ла и замкнута;

b) f∗∗(x) = sup{a(x) ∈ A(X) | a(x) ≤ f(x) ∀x ∈ X};с) если существует по крайней мере одна функция

a(·) ∈ A(X), такая, что a(x) ≤ f(x) ∀x ∈ X (что равносильноf∗(x∗) 6= +∞ или f∗∗(x) > −∞ ∀x ∈ X), то биполяра f∗∗(·) функ-ции f(·) является наибольшей выпуклой замкнутой минорантойдля f(·), т.е.

f∗∗(x) = co f ;

d) справедливо равенство (f∗∗)∗(·) = f∗(·).

Доказательство. a) 1) Необходимость. Если f(·) = f∗∗(·), то, по-скольку f∗∗(·) замкнута и выпукла, то такой же будет и f(·).

2) Достаточность. Предположим теперь, что существует аф-финная функция a(·) ∈ A(X), являющаяся минорантой функцииf(·). Ранее мы установили, что a∗∗(·) = a(·) (действительно, из дока-зательства теоремы Минковского ясно, что a(·) выпукла и замкнута,

40

а из пункта a) следует требуемое равенство). С помощью доказанныхв предыдущем параграфе свойств операции сопряжения (см. пункты3) и 4) предложения 8.11) мы получаем

a(·) = a∗∗(·) ≤ f∗∗(·) ≤ f(·)

и, как следствие,

sup{a(·) ∈ A(X) | a(x) ≤ f(x) ∀x ∈ X} ≤ f∗∗(·) ≤ f(·). (9.3)

Если теперь f(·) является выпуклой и замкнутой, то имеют местодва случая:

i) dom f = ∅ (или, что то же самое, f(x) ≡ +∞).ii) dom f 6= ∅ (т.е. f(·) — собственная функция).

В случае i) sup{a(·) ∈ A(X) | a(x) ≤ f(x) ∀x ∈ X} = +∞ иf∗∗(·) = f(·).

ii) Если же f(·) — собственная, то по теореме Минковского

f(x) = sup{a(·) ∈ A(X) | a(x) ≤ f(x) ∀x ∈ X},

и в силу (9.3) мы получаем f∗∗(·) = f(·).b) Для произвольной функции возможны три случая:i) Если не существует аффинной функции a(·) ∈ A(X), являю-

щейся минорантой функции f(·), то

f∗(x∗) = supx∈X

{〈x∗, x〉 − f(x)} = +∞,

поскольку тогда неравенство 〈x∗, x〉−f(x) ≤ β ∀x ∈ X невозможнони при каком конечном β. Другими словами, функцияϕ(x) = 〈x∗, x〉 − f(x) неограничена сверху, и потому f∗(x∗) ≡ +∞. Аиз последнего равенства следует, что f∗∗(x) ≡ −∞. Но в этом случаелевая часть цепочки (9.3) также равна −∞ (т.е.sup{a(·) ∈ A(X) | a(x) ≤ f(x) ∀x ∈ X} = −∞), так как по опреде-лению sup ∅ = −∞. Таким образом, для данного случая равенство вb) доказано.

ii) Если же существует функция a(·) ∈ A(X), минорирующаяфункцию f(·), то из (9.3) вытекает, что на всем множестве Xf∗∗(x) > −∞. Теперь остается две возможности:

41

1) Если f∗∗(x) ≡ +∞, то, поскольку f∗∗(·) минорирует функ-цию f(·), f(·) ≡ +∞, и все неравенства в (9.3) обращаются в равен-ства, поскольку аффинная функция здесь может быть любая.

2) Если же функция f∗∗(·) — собственная, то по теореме Мин-ковского

f∗∗(x) = sup{a(x) | a(·) ∈ A(X) : a(x) ≤ f(x) ∀x ∈ X}.

Сравнивая последнее равенство с (9.3), находим, что

sup{a(x) | a(·) ∈ A(X) : a(x) ≤ f(x) ∀x ∈ X}(9.3)

≤≤ f∗∗(x) = sup{a(x) | a(·) ∈ A(X) : a(x) ≤ f∗∗(x)

∀x ∈ X} ≤ {так как f∗∗(·) ≤ f(·)} ≤≤ sup{a(x) | a(·) ∈ A(X) : a(x) ≤ f(x) ∀x ∈ X}.

Сравнивая начало и конец цепочки, получаем равенства, и такимобразом утверждение b) доказано полностью.

c) По предположению существует аффинная функция a(·) ∈ A(X),минорирующая f(·). Пусть функция g(·) является выпуклой замкну-той минорантой для f(·):

g(x) ≤ f(x) ∀x ∈ X.

Полагаемh(x) = sup{g(x), f∗∗(x)}.

Очевидно, что h(x) замкнута и выпукла и, кроме того

f(x) ≥ h(x) > −∞ ∀x ∈ X.

Как следствие, получаем справедливость цепочки

h(x) = h∗∗(x) ≤ f∗∗(x) ≤ h(x).

Значит, h(x) = f∗∗(x) и g(·) ≤ f∗∗(·), что и требовалось доказать.d) Поскольку f∗∗(·) ≤ f(·), то (f∗∗)∗(·) ≥ f∗(·). Покажем обратное

неравенство.Согласно неравенству Янга (8.13)

f(x) ≥ a0(x) = 〈x∗, x〉 − f∗(x∗) ∀x ∈ X.

42

Отсюда для каждого из трех случаев получаем:i) Если f∗(x∗) конечно, то согласно (9.3)

f∗∗(x) ≥ a0(x),

и тогда

(f∗∗)∗(x∗)4= sup

x∈X{〈x∗, x〉 − f∗∗(x)} ≤ sup

x∈X{〈x∗, x〉 − a0(x)} = f∗(x∗).

ii) Случай f∗(x∗) ≡ +∞ тривиален, так как тогда f∗∗(x) ≡ −∞и (f∗∗)∗(x∗) ≡ +∞.

iii) Если же f∗(x∗) ≡ −∞, то f(x) = f∗∗(x) ≡ +∞, и поэтому

(f∗∗)∗(x∗) ≡ −∞ ≡ f∗(x∗).

Этим завершается доказательство теоремы. #

§10. Сублинейные функции

В следующем параграфе мы увидим, что для выпуклой функцииf(·) при небольших предположениях существует производная по на-правлению

f ′(x, h) = limλ↓0

f(x + λh)− f(x)λ

.

При этом функция Ψ(h)4= f ′(x, ·) : X → IR является сублинейной,

т.е.a) субаддитивной:

Ψ(x + y) ≤ Ψ(x) + Ψ(y) ∀x, y ∈ X; (10.1)

b) положительно однородной:

Ψ(λx) = λΨ(x) ∀λ > 0, ∀x ∈ X. (10.2)

В этом параграфе мы собираемся изучить класс сублинейныхфункций более подробно.

Рассмотрим вначале положительно однородную функциюΨ : X → IR. Ее надграфик epiΨ является конусом, поскольку

43

(x, α) ∈ epiΨ (т.е. Ψ(x) ≤ α) в том и только в том случае, когдаΨ(λx) = λΨ(x) ≤ λα, λ > 0, т.е. когда λ(x, α) = (λx, λα) ∈ epiΨ.

Отсюда следует, что положительно однородная функция Ψ(·) пол-ностью определяется своими значениями в некоторой окрестностинуля (какова бы ни была эта окрестность). Иначе говоря, достаточ-но определить положительно однородную функцию Ψ(·) в некоторойокрестности нуля, для того чтобы иметь функцию Ψ(·), определен-ную всюду.

Если вспомнить необходимое и достаточное условие того, что ко-нус является выпуклым, то можно сделать заключение о том, чтособственная положительно однородная функция будет выпуклой то-гда и только тогда, когда она является полуаддитивной, а, следова-тельно, сублинейной. Сформулируем это утверждение в виде леммы.Лемма 10.1 Пусть Ψ(·) — собственная положительно однороднаяфункция. Тогда Ψ(·) является выпуклой в том и только в том слу-чае, если она сублинейна.

Доказательство. Рассмотрим конус K = epi Ψ. Он является выпук-лым тогда и только тогда, когда он замкнут относительно сложения,т.е. когда

(x + y, α + β) = (x, α) + (y, β) ∈ K ∀ (x, α), (y, β) ∈ K.

Это означает, что Ψ(x + y) ≤ α + β тогда и только тогда, когдаΨ(x) ≤ α и Ψ(y) ≤ β. Полагая α = Ψ(x), β = Ψ(y), получаем субад-дитивность, а, следовательно, и сублинейность функции Ψ(·). #

Можно привести примеры положительно однородных функций.Пример. a) Опорная функция множества A ⊂ X:

σ(x∗|A)4= sup

x∈A〈x∗, x〉, x∗ ∈ X∗; (10.3)

b) норма ‖ · ‖X ;c) функция Минковского

µ(x|V ) = inf{t | t−1x ∈ V },

где V — выпуклое множество, содержащее нуль. #

Лемма 10.2 Пусть положительно однородная функция Ψ(·) явля-ется замкнутой и ∃x̂ ∈ X : Ψ(x̂) ∈ IR. Тогда Ψ(0) ≤ 0.

44

Доказательство. Если λ ↓ 0, то λx → 0 ∀x ∈ X. Тогда, посколькуΨ(x̂) ∈ IR и Ψ(·) полунепрерывна снизу, справедлива цепочка

0 = limλ↓0

λΨ(x̂) = limλ↓0

Ψ(λx) ≥ Ψ(0).

Сравнивая левую и правую части цепочки, получаем требуемое. #

Лемма 10.3 Для любой полуаддитивной функции Ψ(·), для кото-рой ∃x̂ ∈ X : Ψ(x̂) ∈ IR, справедливо неравенство

Ψ(0) ≥ 0.

Доказательство. Из полуаддитивности (10.1) функции Ψ(·) приy = 0 имеем:

Ψ(x̂) = Ψ(x̂ + 0) ≤ Ψ(x̂) + Ψ(0),

откуда и получаем Ψ(0) ≥ 0. #Из лемм 10.1 и 10.2 вытекает следующий результат.

Предложение 10.4 Пусть собственная функция Ψ(·) сублинейнаи замкнута. Тогда справедливо равенство Ψ(0) = 0.

Введем индикаторную функцию множества A следующим обра-зом:

δ(x|A) =

{0, x ∈ A,

+∞, x /∈ A.

Предложение 10.5 Пусть Ψ : X → IR — собственная замкнутаясублинейная функция. Тогда

Ψ∗(x∗) = δ(x∗|dom Ψ∗),

где множество dom Ψ∗ выпукло и (∗)-слабо замкнуто и определеносоотношением

dom Ψ∗ = {x∗ ∈ X∗ | Ψ(x) ≥ 〈x∗, x〉 ∀x ∈ X}.

Доказательство. По определению

Ψ∗(x∗) = supx∈X

{〈x∗, x〉 −Ψ(x)} ≥ 〈x∗, 0〉 −Ψ(0) = 0,

45

так чтоΨ∗(x∗) ≥ 0 ∀x∗ ∈ X∗. (10.4)

Предположим, что существуют x̂ ∈ X и x∗ ∈ X∗ такие, что

〈x∗, x̂〉 −Ψ(x̂) > 0,

иначе говоря, линейный функционал x∗ не является минорантой дляфункции Ψ(·).

Тогда, очевидно, получаем

Ψ∗(x∗) ≥ supλ>0

{〈x∗, λx̂〉 −Ψ(λx̂)} = supλ>0

λ{〈x∗, x̂〉 −Ψ(x̂)} = +∞.

Принимая во внимание условие (10.4), делаем заключение о том,что Ψ∗ может принимать только два значения: 0 или +∞. Итак,

Ψ∗(·) = δ(·|domΨ∗).

Мы только что видели, что если для некоторых x∗ ∈ X∗ и x̂ ∈ Xвыполняется неравенство

〈x∗, x̂〉 > Ψ(x̂),

то Ψ∗(x∗) = +∞. Следовательно,

dom Ψ∗ = {x∗ ∈ X∗ | Ψ(x) ≥ 〈x∗, x〉 ∀x ∈ X}.

Таким образом, в эффективную область dom Ψ∗ сопряженнойфункции Ψ∗ входят только линейные непрерывные функционалыx∗ ∈ X∗, которые являются минорантами для исходной функцииΨ(·).

Поскольку функция Ψ(·) выпукла и замкнута, то индикаторнаяфункция δ(·|domΨ∗) также выпукла и замкнута. Последнее же рав-носильно тому, что dom Ψ∗ является выпуклым и (∗)-замкнутыммножеством. #

Предложение 10.6 Если Ψ : X → IR — собственная замкнутаясублинейная функция, то

Ψ(x) = σ(x|dom Ψ∗)4=sup

x∗{〈x∗, x〉 | x∗ ∈ dom Ψ∗}, (10.5)

так что любая "хорошая" сублинейная функция оказывается опор-ной функцией для эффективного множества своей поляры.

46

Доказательство. По определению имеем

Ψ∗∗(x)4=sup

x∗{〈x∗, x〉 −Ψ∗(x∗) | x∗ ∈ X∗} =

= supx∗{〈x∗, x〉 − δ(x∗|domΨ∗) | x∗ ∈ X∗} =

= supx∗{〈x∗, x〉 | x∗ ∈ dom Ψ∗} = σ(x|domΨ∗).

И, наконец, по теореме Фенхеля-Моро получаем, чтоΨ(x) = Ψ∗∗(x), откуда и следует требуемое равенство. #

Справедлива следующая

Теорема 10.7 (двойственности сублинейных функций).Пусть A ⊂ X и A∗ ⊂ X∗ — выпуклые множества, замкнутое и(∗)-слабо замкнутое соответственно. Тогда пары функций

σ(·|A) и δ(·|A),

σ(·|A∗) и δ(·|A∗)являются сопряженными друг к другу в смысле выполнения следу-ющих неравенств

(σ(·|A))∗(x) = δ(x|A), σ(x∗|A) = (δ(·|A))∗(x∗), (10.6)

(σ(·|A∗))∗(x∗) = δ(x∗|A∗), σ(x|A∗) = (δ(·|A∗))∗(x). (10.7)

Доказательство. Докажем соотношения (10.7). Соотношения (10.6)доказываются аналогично.

Очевидно, что функция

Ψ(x)4=σ(x|A∗)

4=sup

x∗{〈x∗, x〉 | x∗ ∈ A∗} (10.8)

является сублинейной и замкнутой. Поэтому по предложению 10.5

Ψ∗(x∗) = δ(x∗|dom Ψ∗),

гдеdom Ψ∗ = {x∗ ∈ X∗ | Ψ(x) ≥ 〈x∗, x〉 ∀x ∈ X}. (10.9)

Таким образом, остается доказать равенство

dom Ψ∗ = A∗. (10.10)

47

Для этого с помощью (10.9) получаем

domΨ∗ = {x∗ ∈ X∗ | supz∗{〈z∗, x〉 | z∗ ∈ A∗} ≥ 〈x∗, x〉 ∀x ∈ X}.

При этом нетрудно видеть, что неравенство

supz∗{〈z∗, x〉 | z∗ ∈ A∗} ≥ 〈x∗, x〉 ∀x ∈ X. (10.11)

возможно только в случае, когда x∗ ∈ A∗.Действительно, если x∗ /∈ A∗, то, поскольку A∗ выпукло и

(∗)-слабо замкнуто, то существуют x̂ ∈ X и γ ∈ IR такие, что

〈x∗, x̂〉 > γ ≥ supz∗{〈z∗, x̂〉 | z∗ ∈ A∗},

что нарушает (10.11). И, как следствие, требуемое равенство (10.10)доказано.

Теперь докажем второе равенство в (10.7).Действительно,

(δ(·|A∗))∗(x)4=sup

x∗{〈x∗, x〉 − δ(x∗|A∗) | x∗ ∈ X∗} =

= sup{〈x∗, x〉 − 0 | x∗ ∈ A∗} = σ(x|A∗),

что и завершает доказательство. #

48

Часть II. Обобщеннаядифференцируемость выпуклых

функций

§11. Производная по направлению

Определение 11.1 i) Пусть f(·) — функция на X и|f(x)| < +∞. Если существует конечный или бесконечный предел

f ′(x, h) = limλ↓0

f(x + λh)− f(x)λ

, (11.1)

то он будет называться производной функции f(·) в точке x понаправлению h.

ii) Если в точке x функция f(·) имеет производные по любомунаправлению, т.е. предел (11.1) существует для любого h ∈ X, тофункция h → f ′(x, h) или f ′(x, ·) называется производной по направ-лению в точке x. #

Замечание. Производная по направлению является положитель-но однородной функцией.Действительно,

f ′(x, αh) = limλ↓0

λ−1[f(x + λαh)− f(x)] =

{λα = µ,

λ−1 = αµ−1

}=

= limµ↓0

αµ−1[f(x + µh)− f(x)] =

= α limµ↓0

µ−1[f(x + µh)− f(x)] = αf ′(x, h).

Отличительной чертой выпуклых функций является существова-ние производных по направлениям во всех точках их эффективнойобласти.

Покажем это вначале для выпуклых функций одного аргумента.Напомним лемму из первой части.Лемма 5.12 Пусть задана некоторая функция ϕ : IR → IR веще-ственного аргумента. Если ϕ(·) выпукла и αi ∈ dom ϕ, i = 0, 1, 2таковы, что α0 < α1 < α2, то

49

ϕ(α1)− ϕ(α0)α1 − α0

≤ ϕ(α2)− ϕ(α0)α2 − α0

, (11.2)

ϕ(α1)− ϕ(α0)α1 − α0

≤ ϕ(α2)− ϕ(α1)α2 − α1

. (11.3)

Замечание. Из неравенства (11.2) следует, что функция

g(α) =ϕ(α)− ϕ(α0)

α− α0

является монотонно неубывающей. #

Лемма 11.2 Пусть ϕ : IR → IR ∪ {+∞} — выпуклая собственнаяфункция.1) Тогда для любого t ∈ dom ϕ существует правая производная

ϕ′+(t) = ϕ′(t, 1)4= lim

λ↓0

ϕ(t + λ)− ϕ(t)λ

.

2) Кроме того, эта правая производная не убывает по t, т.е.ϕ′+(t1) ≤ ϕ′+(t2) ∀ t1, t2 ∈ dom ϕ, t1 < t2.3) Наконец,

|ϕ′+(t)| < +∞ ∀ t ∈ int (dom ϕ).

Доказательство. 1) Из леммы 5.12 следует, что разностное отно-шение

g(λ) =ϕ(t + λ)− ϕ(t)

λ

при λ ↓ 0 не возрастает (если t — крайняя правая точка dom ϕ, тоэто отношение тождественно по λ > 0 равно +∞). Иначе говоря,функция g(λ) является монотонно невозрастающей при λ ↓ 0, т.е.если λ1 < λ2, то

g(λ1) ≤ g(λ2).

С другой стороны, в силу неравенства (11.3) при τ ∈ dom ϕ, τ < t,имеем

K(τ)4=

ϕ(t)− ϕ(τ)t− τ

≤ g(λ)4=

ϕ(t + λ)− ϕ(t)λ

,

50

так что g(λ) ограничена снизу числом K(τ). Поэтому во всех точкахt ∈ dom ϕ существует правая производная

ϕ′+(t) = ϕ′(t, 1) = limλ↓0

[ϕ(t + λ)− ϕ(t)].

2) Далее, если t1 и t2 принадлежат эффективной области dom ϕфункции ϕ(·), и число δ выбрано так, что 0 < δ < t2−t1, то применяянеравенства (11.2) и (11.3) имеем (t1 < t1 + δ < t2):

ϕ′+(t1)(2)

≤ ϕ(t1 + δ)− ϕ(t1)δ

(2)

≤ ϕ(t2)− ϕ(t1)t2 − t1

(3)

≤ ϕ(t2 + λ)− ϕ(t2)λ

.

Отсюда следует, что ϕ′+(t1) ≤ ϕ′+(t2). Итак, правая производная неубывает по t и если t ∈ int (dom ϕ), то |ϕ′+(t)| < +∞. #

Обратимся теперь к общему случаю.

Предложение 11.3 Пусть f(·) — собственная выпуклая функцияна X. Тогда функция f(·) имеет производную по направлению в лю-бой точке своей эффективной области dom f . При этом

f ′(x, h) = infλ>0

f(x + λh)− f(x)λ

.

Доказательство. Пусть x ∈ dom f, h ∈ X. Положим

ϕ(t) = f(x + th).

Тогда, согласно предложению 5.8, ϕ(·) есть выпуклая собственнаяфункция на IR и нуль принадлежит ее эффективной области:0 ∈ dom ϕ. Поэтому существует правая производная ϕ′+(0). Остаетсязаметить, что, поскольку под знаком предела стоит невозрастающаяфункция, по определению точной нижней грани, имеем:

ϕ′+(0) = limλ↓0

λ−1[ϕ(λ)− ϕ(0)] = limλ↓0

λ−1[f(x + λh)− f(x)] = f ′(x, h).

Отсюда f ′(x, h) = infλ>0

f(x + λh)− f(x)λ

. #

Лемма 11.4 Если f(·) — выпуклая собственная функция на X иx ∈ dom f , то производная по направлению f ′(x, ·) является субли-нейной функцией.

51

Доказательство. Поскольку выше мы уже показали положитель-ную однородность f ′(x, ·), то покажем полуаддитивность. Справед-лива следующая цепочка:

f ′(x, h1 + h2) = limλ↓0

(12λ)−1[f(x +

12λ(h1 + h2))− f(x)] ≤

≤ limλ↓0

(λ−1)2[12f(x + λh1)− f(x) +

12f(x + λh2)] =

= limλ↓0

(λ−1){[f(x + λh1)− f(x)] + [f(x + λh2)− f(x)]} =

= limλ↓0

λ−1[f(x+λh1)− f(x)] + limλ↓0

λ−1[f(x+λh2)− f(x)] =

= f ′(x, h1) + f ′(x, h2).

#

§12. Субдифференциал

Пусть X — банахово пространство, и задана функцияf : X → IR ∪ {+∞}.Определение 12.1 Говорят, что миноранта a ∈ A(X) функцииf(·) (a(x) ≤ f(x) ∀x ∈ X) точна в точке x0, если

a(x0) = f(x0).

Отсюда непосредственно следует, что f(x0) ∈ IR и a(x) имеетследующий вид:

a(x) = 〈x∗, x− x0〉+ f(x0), (12.1)

поскольку a(x) = 〈x∗, x〉 + β, a(x0) = f(x0), и тогдаf(x0) = 〈x∗, x0〉+ β, или β = f(x0)− 〈x∗, x0〉.

Как было показано выше (см. определение 8.1 и неравенство (8.3)),для любой аффинной миноранты a ∈ A(X) функции f(·) обязатель-но будем иметь [−β] ≥ f∗(x∗), где a(x) = 〈x∗, x〉+ β.

Поэтому константа β0 = f(x0) − 〈x∗, x0〉 для миноранты a0(·),точной в точке x0:

a0(x) = 〈x∗0, x〉+ β0; a0(x0) = f(x0),

52

должна быть максимальной или [−β0] должна быть минимальной.Это означает (с учетом того, что [−β] ≥ f∗(x∗0)), что

〈x∗0, x0〉 − f(x0) = −β0 = f∗(x∗0),

илиf(x0)− f∗(x∗0) = 〈x∗0, x0〉. (12.2)

Определение 12.2 i) Функция f : X → IR ∪ {+∞} называетсясубдифференцируемой в точке x0 ∈ X, если эта функция обладаетаффинной минорантой, точной в точке x0.

ii) Линейный функционал x∗0 ∈ X∗, соответствующий точнойминоранте, называется субградиентом функции f(·) в точке x0.Равносильное определение дано равенством (12.2).

iii) Множество всех субградиентов функции f(·) вточке x0 называется субдифференциалом функции f(·) в точке x0.Обозначается субдифференциал через ∂f(x0). Таким образом, со-гласно (12.2), имеем включение

∂f(x0) ⊂ {x∗ ∈ X∗| f(x0) + f∗(x∗) = 〈x∗, x0〉}. (12.3)

iv) Если функция f(·) не является субдифференцируемой в точкеx0, то будем считать, что ∂f(x0) = ∅.

Предложение 12.3 Пусть в точке x0 выпуклая собственная функ-ция f(·) непрерывна. Тогда для любого h ∈ X производная функцииf(·) в точке x0 по направлению h удовлетворяет соотношению

f ′(x0, h) = maxx∗

{〈x∗, h〉 | x∗ ∈ ∂f(x0)}. (12.4)

Доказательство. i) Если x∗ ∈ ∂f(x0), то

f(x0 + λh)− f(x0) ≥ λ〈x∗, h〉.

Отсюда получаем соотношения

f ′(x0, h) = infλ>0

λ−1[f(x0 + λh)− f(x0)] ≥ 〈x∗, h〉.

Следовательно, справедливо неравенство

f ′(x0, h) ≥ supx∗∈∂f(x0)

〈x∗, h〉. (12.5)

53

ii) Пусть существует направление d ∈ X, при котором выполня-ется неравенство

f ′(x0, d) ≥ maxx∗∈∂f(x0)

〈x∗, d〉+ ε0. (12.6)

Рассмотрим следующие множества:

B = int (epi f) = {(x, α) | x ∈ int (dom f), f(x) < α},

L = {(y, β) | y = x0 + λd, β = f(x0) + λf ′(x0, d), λ > 0}.Поскольку пара (x0, f(x0)+ε0) ∈ B, то множество B 6= ∅ и B откры-то. Далее, B выпукло в силу выпуклости f(·). Множество L также,очевидно, непусто и выпукло.

Покажем, чтоL ∩B = ∅. (12.7)

Действительно, если это не так, то существует точка(z, ξ) ∈ L ∩B, такая, что

z = x0 + λ0d, ξ = f(x0) + λ0f′(x0, d), λ0 > 0.

С другой стороны, имеют место соотношения

f(z) = f(x0 + λ0d) < ξ = f(x0) + λ0f′(x0, d).

Отсюда получаем, что

f(x0 + λ0d)− f(x0)λ0

< f ′(x0, d) = infλ>0

f(x0 + λd)− f(x0)λ

,

что невозможно. Следовательно, (12.7) верно, и мы вправе приме-нить теорему отделимости.

Значит, существует ненулевая пара (y∗, η) ∈ X∗ × IR и число γтакие, что

〈y∗, x〉+ ηα < γ ∀ (x, α) ∈ int epi f, f(x) < α

〈y∗, x0 + λd〉+ η[f(x0) + λf ′(x0, d)] > γ ∀λ > 0.

}(12.8)

a) Из первого неравенства (12.8) следует, что η ≤ 0. Если η = 0,то получаем, что

〈y∗, x〉 < γ ∀x ∈ int (dom f),

〈y∗, x0〉+ λ〈y∗, d〉 > γ ∀λ > 0.

}(12.9)

54

При x = x0 из первого неравенства вытекает справедливость нера-венства 〈y∗, x0〉 < γ. Из второго неравенства (12.9) при λ ↓ 0 полу-чаем, что 〈y∗, x0〉 ≥ γ, чего быть не может.

b) Следовательно, η < 0. Разделим каждое из неравенств (12.8)на |η| > 0 и, обозначив через x∗ = |η|−1y∗, γ0 = |η|−1γ, имеем:

〈x∗, x〉 − α < γ0 ∀ (x, α) ∈ int (epi f);

〈x∗, x0〉 − f(x0) + λ[〈x∗, d〉 − f ′(x0, d)] > γ0.

}(12.10)

Из первого неравенства в (12.10) при x = x0 и α ↓ f(x0) следует, что

〈x∗, x〉 − f(x0) ≤ γ0.

Из второго неравенства при λ ↓ 0 получаем, что

〈x∗, x〉 − f(x0) ≥ γ0.

Итак, имеет место равенство

〈x∗, x〉 − f(x0) = γ0.

Тогда из первого неравенства в (12.10) при α ↓ f(x) вытекает:

〈x∗, x〉 − f(x) ≤ 〈x∗, x0〉 − f(x0)

или x∗ ∈ ∂f(x0). Из второго же имеем неравенство

λ[〈x∗, d〉 − f ′(x0, d)] > 0 ∀λ > 0

или 〈x∗, d〉>f ′(x0, d), что противоречит неравенству (12.5). Следова-тельно, наше предположение (12.6) приводит нас к противоречию,которое и доказывает требуемое равенство (12.4). #

Определение субградиента можно выразить и на языке некото-рого неравенства.

Предложение 12.4 (второе определение субдифференциала).Пусть точка x0 ∈ dom f . Следующие утверждения равносильны:

а) x∗ ∈ ∂f(x0);b) f(x0) ∈ IR и

f(x)− f(x0) ≥ 〈x∗, x− x0〉, ∀x ∈ X. (12.11)

55

Доказательство. Докажем импликацию a) ⇒ b).Если x∗ ∈ ∂f(x0), то из (12.1) следует, что существует точная

миноранта a(·), которая имеет вид

a(x) = 〈x∗, x− x0〉+ f(x0).

Следовательно, f(x0) ∈ IR. Кроме того,

∀x ∈ X : f(x) ≥ a(x) = 〈x∗, x− x0〉+ f(x0),

что равносильно неравенству (12.11).Покажем обратную импликацию b) ⇒ a). Если (12.11) выполня-

ется, то, очевидно, аффинная функция a(x) = 〈x∗, x − x0〉 + f(x0)является минорантой для f(·) и a(x0) = f(x0). #

Предложение 12.5 Если субдифференциал в точке x0

непуст, то f(x0) = f∗∗(x0), т.е. имеет место импликация

{∂f(x0) 6= ∅} ⇒ {f(x0) = f∗∗(x0)}. (12.12)

Если f(x0) = f∗∗(x0), то ∂f(x0) = ∂f∗∗(x0), т.е. справедлива им-пликация:

{f(x0) = f∗∗(x0)} ⇒ {∂f(x0) = ∂f∗∗(x0)}. (12.13)

Доказательство. Докажем импликацию (12.12).Если a0 ∈ A(X) и a0(·) минорирует f(·), то по теореме Фенхеля-

Моро a0(x) = a∗∗0 (x) ≤ f∗∗(x) ∀x ∈ X, поскольку

a0(x) ≤ f∗∗(x)= supa{a(x) | a ∈ A(X): a(x) ≤ f(x) ∀x ∈ X}.

Кроме того, a0(x0) = f(x0) и

a0(x) ≤ f∗∗(x) ≤ f(x), ∀x ∈ X.

Отсюда получаем, что

a0(x0) = f(x0) = f∗∗(x0).

Докажем теперь импликацию (12.13).По теореме Фенхеля-Моро неравенство

a(x) ≤ f(x) ∀x ∈ X

56

равносильно неравенству

a(x) ≤ f∗∗(x) ∀x ∈ X.

Поэтому, если f(x0) = f∗∗(x0), то a(·) минорирует f(·) иa(x0) = f(x0), что равносильно тому, что a(·) минорирует f∗∗(·) иa(x0) = f∗∗(x0). Эта эквивалентность, очевидно, равносильна следу-ющей:

{x∗ ∈ ∂f(x0)} ⇔ {x∗ ∈ ∂f∗∗(x0)},

что и доказывает импликацию (12.13). #Следующий факт показывает важность понятия субдифферен-

циала для оптимизации.

Теорема 12.6 (необходимое и достаточное условие глобаль-ной оптимальности). Пусть дана выпуклая собственная функцияf : X → IR∪{+∞}. Точка z ∈ X является точкой глобального мини-мума f(·) на X (обозначаем это следующим образом:f(z) = min

x∈Xf(x) = min(f,X), z = argmin (f,X) ∈ Argmin (f,X)) то-

гда и только тогда, когда

0∗ ∈ ∂f(z). (12.14)

Доказательство. Если точка z ∈ X является точкой глобальногоминимума f(·) на X, то тогда

f(x) ≥ f(z) ∀x ∈ X,

что равносильно неравенству

f(x)− f(z) ≥ 0 = 〈0∗, x− z〉 ∀x ∈ X,

которое, в свою очередь, равносильно требуемому включению0∗ ∈ ∂f(z). #

Предложение 12.7 (третье определение субдифференциала).Включение x∗ ∈ ∂f(x0) имеет место тогда и только тогда, когдаимеет место равенство

f(x0) + f∗(x∗) = 〈x∗, x0〉.

57

Доказательство. 1) Необходимость следует из формулы (12.3).2) Достаточность. Пусть x∗ ∈ X∗ таково, что f(x0)+f∗(x∗) = 〈x∗, x0〉.Тогда из определения поляры следует, что

〈x∗, x0〉 − f(x0) = f∗(x∗) ≥ 〈x∗, x〉 − f(x) ∀x ∈ X

или, что равносильно,

f(x) ≥ 〈x∗, x− x0〉+ f(x0)4= a(x) ∀x ∈ X.

Кроме того, a(x0) = f(x0). Отсюда заключаем, что справедливовключение x∗ ∈ ∂f(x0). #

Следствие 12.8 Субдифференциал ∂f(x0) является выпуклым иσ(X∗, X)-замкнутым множеством в X∗ (т.е. замкнутым в (∗)-слабой топологии на X∗).

Доказательство. В силу неравенства Янга-Фенхеля имеем:

f∗(x∗)− 〈x∗, x0〉 ≥ −f(x0) ∀x∗ ∈ X∗.

Тогда по предложению 12.7 справедлива следующая цепочка:

∂f(x0) = {x∗ ∈ X∗ | f(x0) + f∗(x∗) = 〈x∗, x0〉} =

= {x∗ ∈ X∗ | f(x∗)− 〈x∗, x0〉 ≤ −f(x0)}

Очевидно, последнее множество является выпуклым и (∗)-слабо за-мкнутым, поскольку поляра f∗(·) функции f(·) является выпуклойи (∗)-слабо замкнутой. #

Следствие 12.9 Пусть f : X → IR ∪ {+∞} — произвольная функ-ция. Тогда справедлива импликация

{x∗ ∈ ∂f(x)} ⇒ {x ∈ ∂f∗(x∗)}. (12.15)

Если, кроме того, функция f(·) выпукла и замкнута, то имеетместо эквивалентность

{x∗ ∈ ∂f(x)} ⇔ {x ∈ ∂f∗(x∗)}. (12.16)

58

Доказательство. i) Если x∗ ∈ ∂f(x), то

f(x) + f∗(x∗) = 〈x∗, x〉,

и, поскольку f∗∗(x) ≤ f (x) ∀x ∈ X, имеем:

f∗∗(x) + f∗(x∗) ≤ 〈x∗, x〉. (12.17)

С другой стороны, так как (f∗∗)∗(·) = f∗(·), то, согласно неравенствуЯнга, получаем:

f∗∗(x) + f∗(x∗) ≥ 〈x∗, x〉.

Таким образом, неравенство (12.17) обращается в равенство иx ∈ ∂f∗(x∗), поскольку (f∗)∗(·) = f∗∗(·).

ii) Если теперь функция f(·) выпукла и замкнута, то f∗∗(·) = f(·).Тогда, так как (f∗)∗(·) = f∗∗(·) = f(·) и в силу (12.15) получаемсправедливость обратной импликации

{x ∈ ∂f∗(x∗)} ⇒ {x∗ ∈ ∂f∗∗(x) = ∂f(x)}.

#

Предложение 12.10 (четвертое определение субдифференци-ала).

∂f(z) = {x∗ ∈ X∗ | f ′(z, h) ≥ 〈x∗, h〉 ∀h ∈ X}. (12.18)

Доказательство. i) Пусть x∗ ∈ ∂f(x0), тогда для любых h ∈ X иλ > 0 справедливо неравенство

f(z + λh)− f(z) ≥ λ〈x∗, h〉,

откудаf(z + λh)− f(z)

λ≥ 〈x∗, h〉,

илиf ′(z, h) ≥ 〈x∗, h〉 ∀h ∈ X. (12.19)

ii) Пусть теперь имеет место неравенство (12.19). Тогда для лю-бого λ ∈]0, 1[ имеем цепочку:

f(x)− f(z) =f(z + 1 · (x− z))− f(z)

1≥

59

≥ f(z + λ(x− z))− f(z)λ

≥ infλ>0

f(z + λ(x− z))− f(z)λ

4=

4= f ′(z, x− z) ≥ 〈x∗, x− z〉 ∀x ∈ X.

Значит, x∗ ∈ ∂f(z). #

Следствие 12.11 Субдифференциал ∂f(z) функции f(·) в точке zсовпадает с эффективной областью поляры функции f ′(z, ·), такчто имеет место равенство

∂f(z) = dom [f ′(z, ·)]∗. (12.20)

Доказательство. Требуемое утверждение следует из сублинейно-сти функции h → f ′(z, h) и теории двойственности сублинейныхфункций. #

Определение 12.12 Функция f(·) называется дифференцируемойпо Гато в точке x0, если:

a) она имеет производную по направлению

f ′(x0, h) = limλ↓0

λ−1[f(x0 + λh)− f(x0)];

b) эта производная по направлению f ′(x0, ·) является линейнымфункционалом над пространством X, т.е.

f ′(x0, h) = 〈x∗, h〉 ∀h ∈ X. (12.21)

В этом случае x∗ ∈ X∗ называют производной по Гато функциона-ла f(·) в точке x0 и обозначают

f ′Γ(x0) = x∗, f ′(x0, h) = 〈f ′Γ(x0), h〉. (12.22)

Предложение 12.13 Если функция f(·) субдифференцируема и диф-ференцируема по Гато, то

∂f(x0) = {f ′Γ(x0)}. (12.23)

Доказательство. 1) Для доказательства необходимости достаточ-но соединить (12.21) и предложение 12.10, откуда и следует, что

f ′Γ(x0) ∈ ∂f(x0).

60

2) Если теперь x∗ ∈ ∂f(x0), то имеет место неравенство

〈f ′Γ(x0), h〉 ≥ 〈x∗, h〉 ∀h ∈ X.

С другой стороны,

−〈f ′Γ(x0), h〉4=〈f ′Γ(x0),−h〉 ≥ 〈x∗,−h〉 = −〈x∗, h〉,

или〈f ′Γ(x0), h〉 ≤ 〈x∗, h〉 ∀h ∈ X,

так что на самом деле имеем тождество

〈f ′Γ(x0), h〉 = 〈x∗, h〉 ∀h ∈ X,

которое равносильно равенству f ′Γ(x0) = x∗. #Для выпуклых функций оказывается верным и обратное утвер-

ждение.

Предложение 12.14 Пусть f(·) — выпуклая функция, непрерыв-ная в точке x0. Если субдифференциал ∂f(x0) состоит из одноголинейного функционала ∂f(x0) = {x∗}, то функция f(·) дифферен-цируема по Гато, и имеет место равенство

f ′Γ(x0) = x∗.

Доказательство. Нетрудно показать, что в этом случае функцияh → f ′(x0.h) непрерывна и, следовательно, замкнута. Поэтому дляпроизвольного h ∈ X имеем цепочку равенств

f ′(x0, h) = [f ′(x0, ·)]∗∗(h) = σ(h|dom [f ′(x0, ·)]∗) =

= supy∗{〈y∗, h〉 | y∗ ∈ dom [f ′(x0, h)]∗} =

= supy∗{〈y∗, h〉 | f ′(x0, y) ≥ 〈y∗, y〉 ∀ y ∈ X} = σ(h|∂f(x0)) = 〈x∗, h〉,

откуда следует требуемое равенство x∗ = f ′Γ(x0). #Из определения субдифференцируемости следует, что некоторая

функция f(·) может быть субдифференцируема только в точке x0,такой что f(x0) ∈ IR (другими словами, в точке x0 ∈ dom f , такойчто f(x0) > −∞).

61

Теорема 12.15 Если f ′(x0, ·) является замкнутой функцией, тоа) субдифференциал функции f(·) непуст, т.е.

∂f(x0) 6= ∅;

b) имеет место равенство

f ′(x0, h) = supx∗{〈x∗, h〉 | x∗ ∈ ∂f(x0)

4=σ(h|∂f(x0))}.

Доказательство. Поскольку h → f ′(x0, h) является сублинейной,то с условием, что она замкнута, может быть применена теория двой-ственности сублинейных функций.

Таким образом, имеют место равенства:

f ′(x0, h) = sup{〈x∗, h〉 | x∗ ∈ dom [f ′(x0, ·)]∗}, (12.24)

[f ′(x0, ·)]∗(x∗) = suph∈X

{〈x∗, h〉 − f ′(x0, h)}. (12.25)

Но, как мы видели в предложении 10.5, справедливо равенство

[f ′(x0, ·)]∗(x∗) = δ(x∗|dom [f ′(x0, ·)]∗) =

=

{0, x∗ ∈ dom [f ′(x0, ·)]∗;+∞, x∗ /∈ dom [f ′(x0, ·)]∗.

(12.26)

Поэтому, принимая во внимание равенство (12.25), получаем, чтоx∗ ∈ dom [f ′(x0, ·)]∗, что равносильно неравенству

〈x∗, h〉 − f ′(x0, h) ≤ 0 ∀h ∈ X,

которое, в свою очередь, равносильно включению x∗ ∈ ∂f(x0).Таким образом, заключаем,что

∂f(x0) = ∂[f ′(x0, ·)](0) = dom [f ′(x0, ·)]∗. (12.27)

Теперь, комбинируя равенства (12.24) и (12.27), получаем требу-емое. #

Предложение 12.16 (пятое определение субдифференциала).

∂f(x0) = {x∗ ∈ X∗ | (x∗,−1) ∈ N((x0, f(x0)) | epi f)}.

62

Доказательство.

{x∗ ∈ ∂f(x0)} ⇔ {〈x∗, x− x0〉 ≤ f(x)− f(x0), ∀x ∈ X} ⇔⇔ {〈x∗, x− x0〉 ≤ λ− f(x0), ∀(x, λ) : f(x) ≤ λ} ⇔⇔ {〈x∗, x− x0〉+ (−1)(λ− f(x0)) ≤ 0, ∀(x, λ) : f(x) ≤ λ} ⇔⇔ {〈(x∗,−1), (x, λ)− (x0, f(x0))〉 ≤ 0, ∀(x, λ) ∈ epi f} ⇔⇔ {(x∗,−1) ∈ N((x0, f(x0)) | epi f)}.

#

Теорема 12.17 Пусть X — нормированное пространство иf : X → IR ∪ {+∞} — выпуклая функция, непрерывная в точкеx0. Тогда

∂f(x) 6= ∅, ∀x ∈ int (dom f).

В частности, ∂f(x0) 6= ∅. Кроме того, субдифференциал ∂f(x0)ограничен по норме ‖ · ‖∗ на X∗ и справедливо равенство

f ′(x0, h) = maxx∗

{〈x∗, h〉 | x∗ ∈ ∂f(x0)}. (12.28)

§13. Примеры вычислениясубдифференциалов

Пример 13.1. Произвольная аффинная функция a(x) = 〈x∗, x〉+ βявляется субдифференцируемой в каждой точке и ∂a(x) = {x∗}, по-скольку для любого x ∈ X существует миноранта, точная в точке xи совпадающая с a(x).

Далее, поскольку, очевидно, функция a(x) дифференцируема поГато, т.е.

limλ↓0

a(x + λh)− a(x)λ

= limλ↓0

〈x∗, λh〉λ

= 〈x∗, h〉,

то∂a(x) = {a′(x)} = {x∗} ∀x ∈ X. (13.1)

63

Пример 13.2. Субдифференциал индикаторной функции δ(·|A)непуст в любой точке x ∈ A, поскольку

δ(y|A)− δ(x|A) ≥ 0 = 〈0∗, y − x〉 ∀ y ∈ X,

и поэтому 0∗ ∈ ∂δ(x|A).Кроме того, по определению для x ∈ A имеем:

∂δ(x|A) = {x∗ ∈ X∗ | 〈x∗, y − x〉 ≤ 0 ∀ y ∈ A}4=N(x|A),

так как δ(y|A)− δ(x|A) = 0 ≥ 〈x∗, y − x〉 ∀ y ∈ A.В частности, если A — векторное подпространство пространства

X, т.е. A = L, то

∂δ(x|L) = N(x|L) = L⊥4={x∗ ∈ X∗ | 〈x∗, y〉 = 0 ∀ y ∈ L},

где L⊥ — ортогональное к L подпространство в X.Действительно,если x, y ∈ L, то 0 ∈ L и x + y ∈ L. К тому же,

если y ∈ L, x∗ ∈ N(x|L), то

〈x∗, y〉 = 〈x∗, x + y − x〉 ≤ 0.

Но, так как (−y) ∈ L и 〈x∗, y〉 ≥ 0, то

〈x∗, y〉 = 0 ∀ y ∈ L.

То же самое можно доказать, если A есть линейное многообразие,т.е. A = a + L, где L — подпространство в X. В этом случае

∂δ(x|A) = L⊥ ∀x ∈ A.

Пример 13.3. Субдифференциал нормы.Пусть X — банахово пространство. Тогда

∂‖ · ‖(x0)=

{{x∗ ∈ X∗ : ‖x∗‖∗=1, 〈x∗, x0〉=‖x0‖}, ‖x0‖ 6= 0;

B∗(0, 1) = {x∗ ∈ X∗ : ‖x∗‖∗ ≤ 1}, x0 = 0.

Доказательство. i) Пусть x0 = 0. Тогда ‖x∗‖∗ ≤ 1, что равносильнонеравенству

supx∈X

|〈x∗, x〉|‖x‖

≤ 1,

64

т.е.‖x‖ ≥ 〈x∗, x〉 = 〈x∗, x− 0〉 ∀x ∈ X,

что в свою очередь означает, что

‖x‖ − ‖0‖ ≥ 〈x∗, x− 0〉 ∀x ∈ X

илиx∗ ∈ ∂‖ · ‖(0).

ii) Пусть теперь x0 6= 0.a) Пусть 〈x∗, x0〉 = ‖x0‖, ‖x∗‖∗ = 1. Тогда ∀ y ∈ X справедливо

неравенство ‖y‖ ≥ 〈x∗, y〉. Другими словами,

‖y‖ − ‖x0‖ ≥ 〈x∗, y − x0〉 ∀ y ∈ X, x∗ ∈ ∂‖ · ‖(x0).

b) Если теперь x∗ ∈ ∂‖ · ‖(x0), то

−‖x0‖ = ‖0‖ − ‖x0‖ ≥ 〈x∗, 0− x0〉 = −〈x∗, x0〉,

‖x0‖ = ‖2x0‖ − ‖x0‖ ≥ 〈x∗, 2x0 − x0〉 = 〈x∗, x0〉.

Таким образом, ‖x0‖ ≤ 〈x∗, x0〉 ≤ ‖x0‖, т.е. ‖x0‖ = 〈x∗, x0〉.С другой стороны, для любых h ∈ X и λ > 0 имеем:

‖λh + x0‖ − ‖x0‖ ≥ 〈x∗, λh〉,

т.е.‖h +

x0

λ‖ − ‖x0‖

λ≥ 〈x∗, h〉.

Отсюда при λ → +∞ вытекает, что

‖h‖ ≥ 〈x∗, h〉 ∀h ∈ X, ‖x∗‖∗ ≤ 1.

Но поскольку〈x∗, x0〉 = ‖x0‖,

получаем окончательно ‖x∗‖∗ = 1. #

65

§14. Основные теоремы осубдифференциале

Известно, что производная от суммы функций равна сумме про-изводных. Рассмотрим какова ситуация с этим правилом для суб-дифференциалов.Теорема 14.1 (Моро-Рокафеллара). Пусть функцииf1(·), . . . , fm(·) выпуклы. Тогда

∂f1(x) + . . . + ∂fm(x) ⊂ ∂(f1 + . . . + fm)(x). (14.1)

Если же все функции за исключением, может быть, одной непре-

рывны в некоторой точке x̄ ∈m⋂

i=1

dom fi, то справедливо равенство:

∂(m∑

i=1

fi)(x) =m∑

i=1

∂fi(x) ∀x ∈ X. (14.2)

Доказательство. 1) Пусть x∗i ∈ ∂fi(x), т.е.

fi(y)− fi(x) ≥ 〈x∗i , y − x〉 ∀ y ∈ X, i ∈ {1, 2, . . . ,m}. (14.3)

Тогда, суммируя неравенства (14.3), получаем что

(m∑

i=1

fi)(y)− (m∑

i=1

fi)(x) ≥ 〈m∑

i=1

x∗i , y − x〉 ∀ y ∈ X.

Это означает, что включение (14.1) всегда имеет место.2) Равенство (14.2) достаточно доказать для m = 2. Случай m > 2

доказывается по индукции.Пусть x∗0 ∈ ∂(f1 + f2)(x0).

Не теряя общности, можно положить x0 = 0, x∗0 = 0, fi(0) = 0,i = 1, 2.

a) Действительно, если это не выполнено, тогда вместо функцийf1(·) и f2(·) можно рассмотреть функции

g1(x) = f1(x0 + x)− f1(x0)− 〈x∗0, x〉,

g2(x) = f2(x0 + x)− f2(x0).

66

Тогда g1(0) = g2(0) = 0, и, кроме того, 0 ∈ ∂(g1 + g2)(0) тогда итолько тогда, когда ∀x ∈ X

g1(x) + g2(x) = [g1 + g2](x)− [g1 + g2](0) ≥ 0 = 〈0∗, x− 0〉

что равносильно неравенству

f1(x0 + x) + f2(x0 + x)− f1(x0)− f2(x0) ≥ 〈x0, x〉 ∀x ∈ X.

Заменяя в последнем неравенстве x на x− x0 получаем:

(f1 + f2)(x)− [f1 + f2](x0) ≥ 〈x∗0, x− x0〉 ∀x ∈ X

тогда и только тогда, когда x∗0 ∈ ∂(f1 + f2)(x0).b) Таким образом, мы предполагаем, что имеет место включение

0 ∈ ∂(f1 + f2)(0), т.е. имеет место неравенство

(f1 + f2)(x)− (f1 + f2)(0) ≥ 0 ∀x ∈ X.

Далее, так как f1(0) = f2(0) = 0, то

(f1 + f2)(x) ≥ 0 ∀x ∈ X,

что эквивалентно равенству

minx{f1(x) + f2(x) | x ∈ X} = f1(0) + f2(0) = 0.

Пусть x̄ — точка, где функция f1(·) непрерывна, а функция f2(·)конечна. Рассмотрим два множества:

C1 = {(x, α) | α > f1(x), x ∈ int (dom f1)} = int (epi f1),

C2 = {(x, α) | − α ≥ f2(x)}.

Нетрудно видеть, что множества C1 и C2 являются непустыми ивыпуклыми, так как (x̄,−f2(x̄) + ε) ∈ C2, и кроме того, множествоC1 открыто.

Покажем, например, выпуклость множества C2.Пусть (x, α), (y, β) таковы, что f2(x) ≤ −α, f2(y) ≤ −β, а λ ∈]0, 1[.

Тогда элемент

cλ = λ(x, α) + (1− λ)(y, β) = (λx + (1− λ)y, λα + (1− λ)β),

67

являющийся выпуклой комбинацией (x, α) и (y, β), также принадле-жит C2, поскольку

f(λx + (1− λ)y) ≤ λf(x) + (1− λ)f(y) ≤≤ λ(−α) + (1− λ)(−β) = −[λα + (1− λ)β].

Другими словами, это означает, что

(λx + (1− λ)y, λα + (1− λ)β) ∈ C2.

c) Покажем, что C1∩C2 = ∅. Действительно, если (z, µ) ∈ C1∩C2,то имеем f1(z) < µ ≤ −f2(z). Другими словами,

0 = minx

[f1(x) + f2(x)] ≤ f1(z) + f2(z) < µ− µ = 0,

чего быть не может.Следовательно, по первой теореме отделимости существуют нену-

левая пара (z∗, µ) ∈ X∗ × IR и число γ ∈ IR такие, что

〈z∗, y〉+ µβ < γ ∀ (y, β) ∈ C1,

γ ≤ 〈z∗, x〉+ µα ∀ (x, α) ∈ C2 .

}(14.4)

d) Если µ > 0, то правое неравенство в (14.4) нарушается приβ → +∞. Следовательно, µ ≤ 0.

i) Пусть µ = 0. Тогда из (14.4) вытекает

∀ y ∈ int dom f1 〈z∗, y〉 < γ ≤ 〈z∗, x〉 ∀x ∈ dom f2.

Полагая в последнем неравенстве x = x̄ = y, поскольку f1(·)непрерывна в x̄, а f2(·) конечна, получаем невозможное неравенство:

〈z∗, x̄〉 < γ ≤ 〈z∗, x̄〉.

Следовательно, µ 6= 0 и, значит, µ < 0.e) Теперь разделим все члены неравенств (14.4) на |µ| и обозначим

y∗ = |µ|−1z∗.Тогда получим

〈y∗, y〉 − β < γ1 ∀ (y, β) ∈ C1,

γ1 ≤ 〈y∗, x〉 − α ∀ (x, α) ∈ C2,

}(14.5)

68

или f2(x) ≤ −α, y ∈ int dom f1, f1(y) < β. Принимая во вниманиетот факт, что epi fi ⊂ cl epi f1 = cl C1, неравенства (14.5) можнопереписать в следующем виде:

〈y∗, x〉 − α ≥ γ1 ∀ (x, α) : f2(x) ≤ −α,

〈y∗, y〉 − β≤ γ1 ∀ (y, β) : y ∈ dom f1, f1(y) ≤ β.

}(14.6)

Положим x = y = 0 (ввиду предположений на функции f1(·) иf2(·) это можно сделать), α = −f2(0), β = f1(0).

Тогда из (14.6) следует, что

〈y∗, 0〉 − f1(0) ≤ γ1 ≤ 〈y∗, 0〉+ f2(0)

и, поскольку f1(0) = f2(0) = 0, то γ1 = 0.Таким образом, в (14.6) заключены два условия:

〈y∗, x〉+ f2(x) ≥ 0 ∀x ∈ X;

〈y∗, x〉 − f1(x) ≤ 0, ∀x ∈ X.

Иначе говоря, имеем:

f1(x)− f1(0) ≥ 〈y∗, x− 0〉 ∀x ∈ X;

f2(x)− f2(0) ≥ 〈−y∗, x− 0〉 ∀x ∈ X.

Это означает, что y∗ ∈ ∂f1(0), −y∗ ∈ ∂f2(0) и

∂(f1 + f2)(0) 3 0∗ = y∗ + (−y∗) ∈ ∂f1(0) + ∂f2(0).

Значит, ∂(f1 + f2)(x) = ∂f1(x) + ∂f2(x), что и требовалось доказать.#

Следствие 14.2 Если выпуклая функция f(·) непрерывна в точкеx0, то ее субдифференциал в этой точке непуст, т.е.

∂f(x0) 6= ∅.

Доказательство. Рассмотрим функцию

ϕ(x) = f(x) + δ(x|{x0}) =

{f(x0), x = x0;

+∞, x 6= x0.

69

Функции f(·) и δ(·|{x0}) удовлетворяют всем предположениямтеоремы Моро-Рокафеллара. Поэтому справедлива цепочка

ϕ(x)− ϕ(x0) = +∞− f(x0) ≥ 〈x∗, x− x0〉 ∀x ∈ X.

Очевидное равенство

X∗ = ∂ [ ∂f(·) + δ(·|{x0}) ](x0)T.M.-P.=

= ∂f(x0) + ∂ [ δ(·|{x0}) ](x0) = ∂f(x0) + X∗,

означает, что ∂f(x0) 6= ∅. #На самом деле, субдифференциал ∂f(x0) ⊂ X∗ выпуклой

функции f(·), непрерывной в точке x0, является выпуклым компак-том в (∗)-слабой топологии на X∗.

Определение 14.3 Пусть K — конус. Сопряженным конусом K∗называется множество

K∗ := {x∗ ∈ X∗ | 〈x∗, x〉 ≥ 0, ∀x ∈ K}.

Очевидно, K∗ = −N(0|K). Напомним, что если 0 ∈ K, то из опреде-лений субдифференциала и индикаторной функции следует, что

∂δ(0|K) = N(0|K) = −K∗. (14.7)

Следствие 14.4 Пусть K1, . . . ,Km — выпуклые открытые конусы

(с вершинами в 0), имеющие непустое пересечение, т.е.m⋂

i=1

Ki 6= ∅.

Тогда

(m⋂

i=1

Ki)∗ =m∑

i=1

K∗i , (14.8)

N(0|m⋂

i=1

Ki) =m∑

i=1

N(0|Ki). (14.9)

Доказательство. Добавим к Ki начало координат и рассмотриминдикаторные функции δ(·|Ki). Применим к ним теорему Моро-Ро-

кафеллара. При этом, поскольку существует точка x0 ∈m⋂

i=1

Ki, от-

личная от нуля, то все функции δ(·|Ki) = fi(·) непрерывны в этой

70

точке и

δ(·|m⋂

i=1

Ki) =m∑

i=1

δ(·|Ki),

то справедливы соотношения

N(0|m⋂

i=1

Ki) = ∂δ(0|m⋂

i=1

Ki) = ∂(m∑

i=1

δ(·|Ki)) =

=m∑

i=1

∂δ(·|Ki) =m∑

i=1

N(0 | Ki).

#

Следствие 14.5 (теорема Дубовицкого-Милютина о пересе-чении конусов). Для того чтобы выпуклые конусыK1, . . . ,Km,Km+1, из которых первые m открыты, не пересекались,необходимо и достаточно, чтобы нашлись функционалы

x∗i ∈ K∗i , (−x∗i ∈ N(0|Ki)), i ∈ {1, . . . ,m + 1},

не все равные нулю, такие, что

m+1∑i=1

x∗i = 0∗. (14.10)

Доказательство. i) Начнем с доказательства достаточности. Пусть

(14.10) справедливо, но, тем не менее, найдется x0 ∈m+1⋂i=1

Ki, x0 6= 0,

и x∗j 6= 0, j ∈ {1, . . . ,m + 1}. При этом в силу (14.10) можно считать,что j ≤ m, поскольку если j = m + 1, то в силу (14.10) долженсуществовать и номер j ≤ m, x∗j 6= 0.

Тогда в силу открытости конуса Kj , x0 ∈ intKj , и поэтому

〈x∗j , x0〉 > 0. Отсюдаm+1∑i=1

〈x∗i , x0〉 > 0, что противоречит условию

(14.10).ii) Докажем теперь необходимость. Не ограничивая

общности, можно считать, что K =m⋂

i=1

Ki 6= ∅. Тогда K — откры-

тый конус, не пересекающийся с Km+1.

71

По первой теореме отдлимости можно отделить K от Km+1, т.е.существует точка y∗ ∈ X∗, y∗ 6= 0∗ такая, что

infx∈K

〈y∗, x〉 ≥ supx∈Km+1

〈y∗, x〉.

Последнее соотношение означает, что точка y∗ ∈ K∗, а(−y∗) ∈ K∗m+1 (точка x = 0 — предельная точка для K и Km+1).

По следствию 14.4 y∗ ∈ K∗ =m∑

i=1

K∗i , т.е.

y∗ =m∑

i=1

x∗i , x∗i ∈ K∗i , 1 ≤ i ≤ m.

Обозначив x∗m+1 := −y∗, получим (14.10). #

Лемма 14.6 Если функция f(·) выпукла и неравенство

Ψ(x) = f(x)− f(x0)− 〈x∗, x− x0〉 ≥ 0 (14.11)

выполняется в некотором открытом выпуклом множестве V , при-чем существует x̄ ∈ V такая, что Ψ(x̄) = 0, то x∗ ∈ ∂f(x0).

Доказательство. Для доказательства достаточно показать, что(14.11) имеет место для любой точки x ∈ X, тогда x∗ ∈ ∂f(x0).При этом очевидно, что функция Ψ(·) выпукла вместе с f(·).

Предположим, что нашлось некоторое x̂ ∈ X, для которогоΨ(x̂) < 0. Тогда для α ∈]0, 1[ имеют место неравенства

Ψ((1− α)x̄ + αx̂) ≤ (1− α)Ψ(x̄) + αΨ(x̂) = αΨ(x̂) < 0.

При достаточно малом α точка

xα = (1− α)x̄ + αx̂ = x̄ + α(x̂− x̄) ∈ V,

следовательно, Ψ(xα) ≥ 0. Полученное противоречие и доказывает,что Ψ(x) ≥ 0 ∀x ∈ X, и потому x∗ ∈ ∂f(x0) . #

Следствие 14.7 Локальный субградиент всегда является глобаль-ным. Иначе говоря, если

f(x)− f(x0) ≥ 〈x∗, x− x0〉 ∀x ∈ V (x0),

где V (x0) — открытое выпуклое множество (окрестность), содер-жащее x0, то x∗ ∈ ∂f(x0).

72

Доказательство. Достаточно в лемме (14.6) положить x̄ = x0. То-гда очевидно ϕ(x0) = 0. #

Теорема 14.8 (Дубовицкого-Милютина о субдифференциалемаксимума). Пусть f1, . . . , fm — выпуклые функции на линейномвекторном пространстве X, непрерывные в точке x0, а

f(x) = max1≤i≤m

fi(x).

Введем набор активных в точке x0 индексов:

J = {i ∈ {1, . . . ,m} | fi(x0) = f(x)}.

Тогда∂f(x0) = co {

⋃i∈J

∂fi(x0)},

или, что то же самое,

∂f(x0) = {x∗ =∑i∈J

λix∗i | x∗i ∈ ∂fi(x0),

λi ≥ 0, i ∈ J,∑i∈J

λi = 1}.

(14.12)

Доказательство. 1) Если i ∈ J , x∗ ∈ ∂fi(x0), то

f(x)− f(x0) = f(x)− fi(x0) ≥ fi(x)− fi(x0) ≥ 〈x∗i , x− x0〉,

следовательно, x∗i ∈ ∂f(x0), а значит,

∂f(x0) ⊃⋃i∈J

∂fi(x0).

Тогда в силу выпуклости субдифференциала ∂f(x0) (как множества)справедливо включение

∂f(x0) ⊃ co {⋃i∈J

∂fi(x0)}.

2) Обратное включение будет доказано индукцией по числу функ-ций. При m = 1 утверждение очевидно.

Предположим теперь, что для (m−1) функций включение верно.

73

a) Пусть x∗ ∈ ∂f(x0). Покажем, чтоi) либо утверждение теоремы верно;ii) либо точка x0 является решением следующей задачи выпук-

лого программирования:

ϕ0(x)4= fj(x)− f(x0)− 〈x∗, x− x0〉 ↓ inf

x, j ∈ J ; (14.13)

ϕi(x)4= fi(x)− f(x0)− 〈x∗, x− x0〉 ≤ 0, i 6= j. (14.14)

b) Действительно, если альтернатива ii) не имеет места, то най-дется такое x̄, что

ϕ0(x̄) < 0 = ϕ0(x0), ϕi(x̄) ≤ 0, i 6= j. (14.15)

По непрерывности неравенство ϕ0(x̄) < 0 сохраняется в некото-рой выпуклой окрестности V (x̄) 3 x̄, т.е. справедливо неравенство

fj(x)− f(x0) < 〈x∗, x− x0〉 ∀x ∈ V. (14.16)

Вспоминая теперь, что x∗ ∈ ∂f(x0), т.е.

maxi{fi(x) | i ∈ {1, . . . ,m}} − f(x0) ≥ 〈x∗, x− x0〉 ∀x ∈ X,

и сопоставляя это последнее неравенство с (14.16), заключаем, чтодля любого x ∈ V справедливо неравенство:

Ψ(x)4=max

i{fi(x) | i 6= j} − f(x0)− 〈x∗, x− x0〉 ≥ 0. (14.17)

С другой стороны, согласно (14.15) имеем

Ψ(x̄)4=max

i{fi(x̄) | i 6= j} − f(x0)− 〈x∗, x̄− x0〉 ≤ 0, (14.18)

посколькуfi(x̄)− f(x0)− 〈x∗, x̄− x0〉 ≤ 0, i 6= j. (14.19)

Таким образом, Ψ(x̄) = 0 в силу равенств (14.17) и (14.18).Тогда для Ψ(x) = max

i∈J{fi(x) | i 6= j} − f(x0)− 〈x∗, x− x0〉 выпол-

нены все условия леммы 14.6, и поэтому

x∗ ∈ ∂g(x0), g(x) = max{fi(x) | i 6= j}.

74

Поскольку функция g(·) образована (m − 1) функцией, то в силуиндукционной гипотезы

x∗ ∈ co {⋃i 6=j

∂fi(x0)} ⊂ co {⋃i≥1

∂fi(x0)}

что и требовалось.c) Пусть теперь x0 — решение задачи (14.13)-(14.14). Тогда по тео-

реме Каруша-Куна-Таккера существует нетривиальный набор мно-жителей Лагранжа λ0, λi, i 6= j, для которого x0 — точка минимумафункции Лагранжа

L(x, λ) = λ0ϕ0 +∑i 6=j

λiϕi(x);

L(x, λ) ≥ L(x0, λ) ∀x ∈ X.

Кроме того, должны выполняться условия дополняющей нежестко-сти, согласно которым λi = 0, если

ϕi(x0) = fi(x0)− f(x0) 6= 0,

т.е. при i 6∈ J . Перенумеровав λ0 в λj и ϕ0 в ϕj имеем для функцииЛагранжа равенство L(x, λ) =

∑i∈J

λiϕi(x), при этом можно считать,

что∑i∈J

λi = 1. Тогда получаем, что

L(x, λ) ≥ L(x0, λ)

или ∑i∈J

λiϕi(x) ≥ 0.

Последнее равносильно неравенству∑i∈J

λifi(x)−∑i∈J

λif(x0)− (∑i∈J

λi)〈x∗, x− x0〉 ≥ 0,

которое, в свою очередь, эквивалентно∑i∈J

λifi(x)−∑i∈J

λifi(x0)− 〈x∗, x− x0〉 ≥ 0,

75

поскольку f(x0) = fi(x0) ∀ i ∈ J и∑i∈J

λi = 1. Это означает, что

x∗ ∈ ∂[∑

λifi(·)](x0).Теперь, применяя теорему Моро-Рокафеллара, получаем:

x∗ ∈∑i∈J

∂[λifi(·)](x0). (14.20)

Но, принимая во внимание, что из определения субдифференци-ала следует равенство

∂(λf)(x0) = λ∂f(x0), λ ≥ 0,

заключаем, что

x∗ =∑i∈J

λix∗i , x∗i ∈ ∂fi(x0), λi ≥ 0,

m∑i=1

λi = 1. (14.21)

Таким образом, для x∗ ∈ ∂f(x0), f(·) = max{f1, . . . , fm}, и оказа-лось, что в силу (14.21) имеет место включение x∗ ∈ co (

⋃i∈J

∂fi(x0)),

что и требовалось. #

§15. Принцип Лагранжа в негладкихзадачах выпуклого программирования

Пусть X — банахово пространство, fi : X → IR ∪ {+∞},i ∈ {0, . . . ,m} — выпуклые собственные функции, S — выпуклоемножество из X. Рассмотрим задачу:

f0(x) ↓ min, fi(x) ≤ 0, i ∈ {0, . . . ,m}, x ∈ S. (P )

Функцией Лагранжа задачи (P ) является функция

L(x, λ, λ0) = λ0f0(x) +m∑

i=1

λifi(x) (15.1)

Предложение 15.1 Пусть z—точка минимума в задаче (P ). То-гда точка z является глобальным минимумом в задаче безусловнойминимизации:

f(x) ↓ min, (P ′)

76

где f(x) = max{f0(x) − f0(z), f1(x), . . . , fm(x)} + δ(x|S), а δ(·|S) —индикаторная функция множества S.

Доказательство. Если существует точка x̄ такая, что f(x̄) < 0 ,то это означает, во-первых, что x̄ ∈ S. Во-вторых, что fi(x̄) < 0,i ∈ {1, . . . ,m}, так что x̄ оказывается допустимым элементом в зада-че (P ′). В-третьих, f0(x̄) < f0(z), что противоречит условию о том,что z ∈ Argmin (P ).

Итак, f(x) ≥ 0 ∀x ∈ X.Кроме того, f(z) = 0. Следовательно, z — глобальный минимум

в задаче (P ′). #

Теорема 15.2 (субдифференциальная форма теоремыКаруша-Куна-Таккера). Пусть в задаче (P ) функцииf0(·), f1(·), . . . , fm(·) непрерывны в точке z ∈ S. Тогда, если z — ре-

шение задачи (P ), то существуют λi ≥ 0,m∑

i=0

λi = 1, удовлетворя-

ющие соотношениям

λifi(z) = 0, i ∈ {1, . . . ,m} (15.2)

такие, что имеет место включение

0∗ ∈m∑

i=0

λi∂fi(z) + N(z|S). (15.3)

Последнее равносильно тому,что существует x∗i ∈ ∂fi(z),i = 0, 1, . . . ,m, при которых справедливо вариационное неравенство

〈m∑

i=0

λix∗i , x− z〉 ≥ 0 ∀x ∈ S. (15.4)

Доказательство. Согласно предложению 15.1 точка z является ре-шением задачи (P ′). Следовательно, по теореме 12.6 о необходимоми достаточном условии минимума выпуклой функции, на всем про-странстве X справедливо включение

0 ∈ ∂f(z).

77

При этом функция

g(x) = maxi{f0(x)− f0(z), fi(x)}

выпукла и непрерывна в точке z ∈ S, причем z ∈dom δ(·|S)или δ(z|S) = 0 ∈ IR. Значит, по теореме Моро-Рокафеллара

∂f(z) = ∂g(z) + ∂δ(·|S)(z).

Наконец, по теореме Дубовицкого-Милютина

∂g(z) = co {⋃

i∈A∪{0}

∂fi(z)},

где множество A имеет вид

A = {i ∈ {1, . . . ,m} | fi(z) = 0}.

Обозначим через A0 = A ∪ {0}.Таким образом, существуют векторы y∗ ∈ ∂g(z) и

x∗ ∈ ∂δ(·|S)(z) = N(z|S),

такие чтоy∗ + x∗ = 0. (15.5)

При этом y∗ =∑

i∈A0

λix∗i , x∗i ∈ ∂fi(z), i ∈ A0,

∑i∈A0

λi = 1, λi ≥ 0.

Положим λi = 0 для i 6∈ A, что равносильно равенствам (15.2).Из условия (15.5) тогда следует включение (15.3):

0 =m∑

i=0

λix∗i + x∗ ∈

m∑i=0

λi∂fi(z) + N(z|S). (15.3′).

Принимая во внимание, что

x∗ ∈ ∂δ(·|S)(z) = N(z|S) = {x∗ | 〈x∗, x− z〉 ≤ 0},

из (15.3) получаем, чтоm∑

i=0

λix∗i = −x∗ ∈ −N(z |S), (15.4′)

что равносильно неравенству (15.4). #

78

Следствие 15.3 Если выполнено условие Слейтера:

∃ v ∈ S : fi(v) < 0 ∀ i ∈ A, (15.6)

то в условиях (15.3) и (15.4) множитель Лагранжа λ0 нетривиа-лен, λ0 > 0.

Доказательство. Если λ0 = 0, то из (15.4) при x = v следует це-почка

0 ≤ 〈m∑

i=1

λix∗i , v − z〉 =

∑i∈A

λi〈x∗i , v − z〉 ≤

≤∑i∈A

λi[fi(v)− fi(z)] =∑i∈A

λifi(v) < 0,

поскольку∑i∈A

λi = 1, λi ≥ 0. Полученное противоречие и доказывает

требуемое утверждение. #

Теорема 15.4 (достаточность соотношений Каруша-Куна-Таккера). Пусть в условии (15.3)(или (15.4)) λ0 > 0. Тогда точкаz является глобальным решением задачи (P ).

Доказательство. Из (15.4) следует, что

0 ≤ λ0〈x∗0, x− z〉+m∑

i=1

〈x∗i , x− z〉 ∀x ∈ S.

Отсюда, с учетом выпуклости функций fi(·), включений x∗i ∈ ∂fi(z),i∈{0, . . . ,m} имеем:

0 ≤ λ0[f0(x)− f0(z)] +m∑

i=1

λi[fi(x)− fi(z)] =

= λ0[f0(x)− f0(z)] +∑i∈A

λifi(x)−∑i∈A

λifi(z) =

= λ0[f0(x)− f0(z)] +∑i∈A

λifi(x) ∀x ∈ S. (15.7)

Последнее равенство справедливо в силу соотношений дополня-ющей нежесткости (15.2).

Рассмотрим теперь допустимое в задаче (P ) множество

D = {x ∈ S | fi(x) ≤ 0, i ∈ {1, . . . ,m}}.

79

Если теперь взять в (15.7) x ∈ D, то, поскольку fi(·) ≤ 0, λi ≥ 0,i ∈ {1, . . . ,m}, очевидно неравенство∑

i∈Aλifi(x) ≤ 0.

Тогда из (15.7) следует справедливость неравенств

0 ≤ λ0[f0(x)− f0(z)] +∑i∈A

λifi(x) ≤

≤ λ0[f0(x)− f0(z)] ∀x ∈ D.

Поскольку λ0 > 0, то получаем:

f0(x) ≥ f0(z) ∀x ∈ D

или z ∈ Sol (P ), что и требовалось. #

80

Библиографический список1. В а с и л ь е в Ф.П. Численные методы решения экстремальных

задач. — 2-е изд., перераб. и доп. — М.: Наука, 1988.

2. Пш е н и ч н ы й Б.Н. Выпуклый анализ и экстремальные зада-чи. — М.: Наука, 1980.

3. П ш е н и ч н ы й Б.Н. Необходимые условия экстремума. — М.:Наука, 1982.

4. И оффе А.Д., Т и х ом и р о в В.М. Теория экстремальных за-дач. — М.: Наука, 1974.

5. Р о к а ф е л л а р Р. Выпуклый анализ. — М.: Мир, 1973.

6. А л е к с е е в В.М., Т и х о м и р о в В.М., Ф о м и н С. В. Опти-мальное управление. — М: Наука, 1979.

7. С у х а р е в А.Г., Т и м о х о в А.В., Ф е д о р о в В.В. Курс методовоптимизации. — М.: Наука, 1986.

8. Ир и а р т-Ур р у т и Ж.-Б. Оптимизация и выпуклый анализ.Сборник задач и упражнений. — К.:КИТ, 2004.

9. К о л м о г о р о в А.Н., Ф о м и н С. В. Элементы теории функцийи функционального анализа. — М.: Наука, 1989.

10. Э к л а н д И., Т е м ам P. Выпуклый анализ и вариационныепроблемы. — М.:Мир, 1979.

11. H i r i a r t-U r r u t y J.-B., L e m a r c h a l C. Convex Analysis andMinimization Algorithms. Vol. I, II, — Springer Verlag, 1993.

81

СТРЕКАЛОВСКИЙ АЛЕКСАНДР СЕРГЕЕВИЧ

ВВЕДЕНИЕ В ВЫПУКЛЫЙ АНАЛИЗУчебное пособие

ISBN

РедакторКомпьютерная верстка А. В. Орлов.

Дизайн обложкиТемплан 2009. Поз. Подписано в печать

Формат 60×84 1/16. Бумага SvetoCopy. Печать трафаретная.Гарнитура Times. Усл. печ. л. . Тираж 50 экз.

Редакционно-издательский отделИркутского государственного университета

664003, г. Иркутск, бульвар Гагарина, 36; тел (3952) 24-14-36

Отпечатано в РИЦ ИГУ664003, г. Иркутск, бульвар Гагарина, 36