20091206 mfcs itsykson_lecture10-11
-
Upload
computer-science-club -
Category
Documents
-
view
333 -
download
0
description
Transcript of 20091206 mfcs itsykson_lecture10-11
Ìàòåìàòè÷åñêèå îñíîâû Computer Science
×àñòü 3: Êîäû, èñïðàâëÿþùèå îøèáêè.
Ëåêöèè 10 è 11.
Äìèòðèé Èöûêñîí
ÏÎÌÈ ÐÀÍ
13 äåêàáðÿ 2009
1 / 21
Ñîäåðæàíèå ëåêöèè
1 Òåîðåìà Ôîðíè
2 Îöåíêè Ïëîòêèíà
3 Êîä Àäàìàðà
4 Êîä Ðèäà-Ìàéëåðà
5 Êîä Á×Õ
Èñòî÷íèêè
1 Madhu Sudan. Essential Coding Theory, Lecture notes,http://people.csail.mit.edu/madhu/FT02/
2 À. Ðóìÿíöåâ, À. Ðîìàùåíêî, À. Øåíü. Çàìåòêè ïî òåîðèèêîäèðîâàíèÿ.http://www.mccme.ru/̃ anromash/courses/essential-coding-theory.pdf
2 / 21
 ïðîøëûé ðàç
• Êîä: F : Σk → Σn, n > k .
• Êîä ñ ðàññòîÿíèåì d ïîçâîëÿåò èñïðàâèòü e îøèáîê, åñëèd ≥ 2e + 1.
• Ãðàíèöà Õýììèíãà: qkVq(e, n) ≤ qn.
• Ãðàíèöà Ãèëáåðòà: (qk − 1)Vq(2e, n) < qn.
• Êîä Ðèäà-Ñîëîìîíà:• RS : Fk → Fn. F = {f1, f2, . . . , fn, . . . }.• RS(a0, a1, . . . , ak−1) = (z1, z2, . . . , zn), ãäå• zi = a0 + a1fi + a2f
2i + · · ·+ ak−1f
k−1i
• Êàñêàäíûå êîäû:• F1 : Σk1
1 → Σn11 , F2 : Σk2
2 → Σn21 , |Σ1| = |Σ2|k2
• Ñèìâîë Σ1 � áëîê èç k2 ñèìâîëîâ Σ2
• F1 ◦ F2 : Σk1k22 → Σn1n2
2• Âû÷èñëÿåì F1(a) = b1b2 . . . bn1 , ãäå bi ∈ Σ1 = Σk
2 .• F1 ◦ F2(a) = F2(b1)F2(b2) . . .F (bn1)
3 / 21
Òåîðåìà Ôîðíè
• F : {0, 1}k → {0, 1}n. Òðåáóåòñÿ, ÷òîáû kn è e
n áûëèîòäåëåíû îò íóëÿ.
• Êàñêàäíûé êîä, âíåøíèé êîä Ðèäà-Ñîëîìîíà, àâíóòðåííèé èùåòñÿ ïåðåáîðîì êîä, íà êîòîðîì äîñòèãàåòñÿãðàíèöà Âàðøàìîâà-Ãèëáåðòà.
• Äëèíà êîäîâîãî ñëîâà âíóòðåííåãî êîäà O(log n)
• Ïóñòü F � ïîëå èç 2k ýëåìåíòîâ.
• RS : F2k−1 → F2k
• Âíóòðåííèé êîä C : {0, 1}k → {0, 1}2k .
• RS ◦ C : {0, 1}k2k−1 → {0, 1}2k2k.
• Ðàññòîÿíèå âíóòðåííåãî êîäà 10%, ðàññòîÿíèå RS 50%.Èòîãî: ðàññòîÿíèå 5%.
• Ìîæíî èñïðàâèòü 2.5% îøèáîê.
4 / 21
Êîä Ôîðíè-Âîçåíêðàôòà-Þñòåñåíà
• F � ïîëå ðàçìåðà 2k
• α ∈ F, Cα : F→ F2, Cα : x → (x , αx)
• Cα íå âñå ÿâëÿþòñÿ êîäàìè, íàïðèìåð ïðè α = 0
• Ëåììà. (Ëåììà Âîçåíêðàôòà) Äëÿ α ∈ F, ïðè êîòîðûõ êîäCα èìååò êîäîâîå ðàññòîÿíèå íå áîëåå s, íå ïðåâîñõîäèòV2(s,k)2
2k
• V2(s, k) ≈ 2kH(s/k), ïðè ìàëûõ s/k ÷èñëî 2(2H(s/k)−1)k
áëèçêî ê íóëþ.Äîêàçàòåëüñòâî.
• Ïóñòü êîäîâîå ðàññòîÿíèå Cα íå áîëüøå s• ∃x : â (x , αx) íå áîëüøå s åäèíè÷åê.• x , αx ëåæàò â øàðå ðàäèóñà s â öåíòðå â íóëå.• α = αx
x• Êîëè÷åñòâî òàêèõ α íå ïðåâîñõîäèò V2(s, k)2
5 / 21
Êîä Ôîðíè-Âîçåíêðàôòà-Þñòåñåíà
• Ïðèìåíèì êîä Cα êàê âíóòðåííèé ïðè êàñêàäíîìêîäèðîâàíèè.
• Ê P(x) ïðèìåíÿåì êîä Cx : (P(x), xP(x))
• RS : F2k−1 → F2k
• FWU : {0, 1}22k−1 → {0, 1}22k+1
• ∃ε > 0, ÷òî äîëÿ x ∈ F äëÿ êîòîðûõ ðàññòîÿíèå ìåíüøå εíå áîëåå 1%
6 / 21
Êîäû ñ áîëüøèìè ðàññòîÿíèÿìè
• Ñóùåñòâóåò ëè êîä {0, 1}k → {0, 1}n ñ ðàññòîÿíèåì 0.99n?• Â òàêîì êîäå íå áîëüøå 2-õ êîäîâûõ ñëîâ.
• Ëåììà. Ïóñòü 1 ≥ β > 12 . Êîëè÷åñòâî òî÷åê â {0, 1}n,
ðàññòîÿíèÿ ìåæäó êîòîðûìè íå ìåíüøå βn, íå ïðåâîñõîäèò1
2β−1 + 1.
Äîêàçàòåëüñòâî.• Ïåðåéäåì îò 0/1 ê 1/-1.• Ñêàëÿðíîå ïðîèçâåäåíèå â Rn:
(<x1, . . . , xn>,<y1, . . . , yn>) =∑
xiyi
n
• |x | =√
(x , x) = 1.• Åñëè d(x , y) > βn, òî (x , y) < 1− 2β < 0• e1, e2, . . . , eN � ìíîæåñòâî êîäîâûõ ñëîâ• 0 ≤ (e1+e2+· · ·+eN , e1+e2+· · ·+eN) ≤ N+N(N−1)(1−2β)• N − 1 ≤ 1
2β−1
• Íåò øàíñîâ èñïðàâèòü > 25% îøèáîê.
7 / 21
Êîäû ñ áîëüøèìè ðàññòîÿíèÿìè
• ×òî ïðîèñõîäèò, åñëè ðàññòîÿíèå ÷óòü-÷óòü áîëüøå 50%?
• Óãëû ìåæäó êîäîâûìè ñëîâàìè òóïûå.
• Òîãäà ÷èñëî êîäîâûõ ñëîâ íå áîëüøå n + 1.• Ïóñòü x0, x1, . . . , xk îáðàçóþò ïîïàðíî òóïûå óãëû.Ïîêàæåì, ÷òî x1, x2, . . . , xk � ëèíåéíî íåçàâèñèìû.
• Âûáåðåì ìèíèìàëüíî ëèíåéíî çàâèñèìîå ìíîæåñòâî.• λ1x1 + λ2x2 + · · ·+ λmxm = 0• Åñëè âñå λi > 0, òî 0 = (x0, λ1x1 + λ2x2 + · · ·+ λmxm) < 0.• λixi + · · · = λjxj + . . .• Êâàäðàò âåêòîðà ïîëîæèòåëåí è îòðèöàòåëåíîäíîâðåìåííî!
8 / 21
Îöåíêà Ïëîòêèíà
• Ïóñòü ðàññòîÿíèå ≥ 50%. Ò.å. óãëû ïðÿìûå èëè òóïûå.Ïîêàæåì, ÷òî ÷èñëî âåêòîðîâ ≤ 2n.
• Ìîæíî ñ÷èòàòü, ÷òî ëèíåéíàÿ îáîëî÷êà âåêòîðîâñîâïàäàåò ñî âñåì ïðîñòðàíñòâîì.
• x1, x2, . . . , xn � áàçèñ, îñòàëüíûå âûðàæàþòñÿ.• Ê-òû ðàçëîæåíèÿ îñòàëüíûõ âåêòîðîâ ïî áàçèñóîòðèöàòåëüíû.
• Ïåðåíåñåì îòðèöàòåëüíûå ê-òû â ëåâóþ ÷àñòü• xk + (−λs)xs + · · · = λtxt + . . .• Êâàäðàò îäíîâðåìåííî > 0 è ≤ 0
• Åñëè îáùåå ÷èñëî âåêòîðîâ > 2n• xn+1, . . . � ëèíåéíî çàâèñèìû• Ê-òû èõ ëèíåéíîé êîìáèíàöèè íå ìîãóò áûòü îäíîãî çíàêà(òàê êàê ê-òû ðàçëîæåíèÿ ïî áàçèñó êàæäîãîîòðèöàòåëüíû)
• µsxs + · · · = µtxt + . . . , êâàäðàò íåïîëîæèòåëüíûé
• Îöåíêà Ïëîòêèíà: ÷èñëî êîäîâûõ ñëîâ íà ðàññòîÿíèè n/2íå áîëåå 2n.
9 / 21
Óëó÷øåíèå îöåíêè Ñèíãëåòîíà
• F : {0, 1}k → {0, 1}n � êîä ñ ðàññòîÿíèåì d
• Îöåíêà Ñèíãëåòîíà: ñðåäè 2k êîäîâûõ ñëîâ íàéäóòñÿ äâàñëîâà ñ ñîâïàäàþùèìè ïåðâûìè k − 1 ñèìâîëàìè=⇒ d ≤ n − k + 1.
• t = n − 2d
• Ñðåäè 2k êîäîâûõ ñëîâ íàéäóòñÿ 2k−t êîäîâûõ ñëîâ,êîòîðûå ñîâïàäàþò â ïåðâûõ t áèòàõ.
• 2k−t ≤ 4d
• k − n + 2d ≤ log(4d)
• kn + 2d
n ≤ 1 + log(4d)n
10 / 21
Êîä Àäàìàðà
• x , y ∈ {0, 1}m, îïðåäåëèì x � y = ⊕mi=1xiyi .
• H : {0, 1}s+1 → {0, 1}2s
• H(x) = (x � 1y)y∈{0,1}s
• Ýòî ëèíåéíûé êîä: H(x ⊕ z) = H(x)⊕ H(z)
• x , z ∈ {0, 1}s , x 6= z =⇒ x ⊕ z 6= 0n =⇒ ∃i(x ⊕ z)i = 1.
• Åñëè x è z îòëè÷àþòñÿ òîëüêî ïåðâûì áèòîì, òî H(x)îòëè÷àåòñÿ îò H(y) âî âñåõ áèòàõ. Äàëåå i > 1.
• y ∈ {0, 1}s , y (i) � ñòðîêà ñ çàìåíåíûì i-ì áèòîì.(x ⊕ z)� 1y 6= (x ⊕ z)� 1y (i).
• H(x) è H(z) îòëè÷àþòñÿ êàê ìèíèìóì â ïîëîâèíå áèòîâ.
• Êîä Àäàìàðà èìååò ðàññòîÿíèå 12 .
• n = 2s , 2n êîäîâûõ ñëîâ. Äîñòèãàåòñÿ îöåíêà Ïëîòêèíà.
11 / 21
Êîíêàòåíàöèÿ Ðèäà-Ñîëîìîíà è
Óîëøà-Àäàìàðà
• Êîä Àäàìàðà: 2m+1 êîäîâûõ ñëîâ ðàçìåðà 2m
• Ìàêðîñèìâîëû: áèòîâûå ñòðî÷êè ðàçìåðà 2m. Íóæíî 2m
ìàêðîñèìâîëîâ.
• Êîä Ðèäà-Ñîëîìîíà: ε2m ìàêðîñèìâîëîâ ïåðåâîäèò â 2m.
• {0, 1}εm2m → 22m.
• Êîäîâîå ðàññòîÿíèå 12(1− ε)
12 / 21
Ëîêàëüíûé äåêîäåð
Îïðåäåëåíèå. E : {0, 1}n → {0, 1}m � êîä. Ëîêàëüíûìäåêîäåðîì äëÿ E , èñïðàâëÿþùèì ρ îøèáîê, íàçûâàåòñÿâåðîÿòíîñòíûé àëãîðèòì D:
1 Êîòîðûé ïîëó÷àåò îðàêóëüíûé äîñòóï ê áèòàì y , ãäåd(y ,E (x)) < ρ
2 D ðàáîòàåò poly(log m) øàãîâ
3 Pr[Dy = xj ] ≥ 23
13 / 21
Ëîêàëüíûé äåêîäåð äëÿ êîäà Àäàìàðà
• Äàíà òàêàÿ ôóíêöèÿ g : {0, 1}s+1 → {0, 1}, ÷òîPry [g(y) 6= x � 1y ] ≤ ρ < 1
4 äëÿ íåêîòîðîãî x .
• Òðåáóåòñÿ óçíàòü xj ïðè j > 1.
• Ïóñòü e j : âåêòîð ñ e jj = 1, e j
k = 0, k 6= j .
• Âûáåðåì ñëó÷àéíóþ ñòðîêó y ∈ {0, 1}n.• Ñ âåðîÿòíîñòüþ 1− 2ρ > 1
2 âûïîëíÿåòñÿg(y) = x � 1y , g(y + e j) = x � 1(y + e j).
• g(y) + g(y + e j) = x � 1y + x � 1(y + e j) =2(x � 1y) + x � e j = x � e j = xj .
• Ïîâòîðåíèåì ìîæíî ïîíèçèòü âåðîÿòíîñòü îøèáêè.
• Êàê îïðåäåëèòü x1?
• Îïðåäåëèì x2x3 . . . xn, à çàòåì íàéäåì x0 �ãîëîñîâàíèåì�.
14 / 21
Êîä Ðèäà-Ìàëëåðà
• F � êîíå÷íîå ïîëå. `, d � ÷èñëà. d < F.• Âõîäíàÿ ñòðîêà: ìíîãî÷ëåí îò ` ïåðåìåííûõ ñòåïåíè d :
P(x1, x2, . . . , x`) =∑
i1+···+i`≤d
ci1...i`xi11 x i2
2 . . . x i``
• Êîä: çíà÷åíèå P íà âñåõ âîçìîæíûõ çíà÷åíèÿõïåðåìåííûõ.
• RM : FCd`+d → F|F|l
• Ïðè ` = 1 ïîëó÷àåòñÿ êîä Ðèäà-Ñîëîìîíà.
• Ïðè d = 1, F = Z2 ïîëó÷àåòñÿ ïî÷òè êîä Óîëøà-Àäàìàðà:x ∈ {0, 1}n 7→ z ∈ {0, 1}2·2n
, ãäå zy ,a = x � y ⊕ a,y ∈ {0, 1}n, a ∈ {0, 1}
• Ðàññòîÿíèå êîäà 1− d|F| .
15 / 21
Ëåììà Øâàðöà-Çèïïåëÿ
Ëåììà. Åñëè ìíîãî÷ëåí p(x1, x2, . . . , x`) íàä êîíå÷íûì ïîëåì Fíåíóëåâîé ñòåïåíè ≤ d , òîãäà
Pra1,...,al←F
[p(a1, a2, . . . , a`) 6= 0] ≥ 1− d
|F|
Äîêàçàòåëüñòâî.
• l = 1: èçâåñòíîå óòâåðæäåíèå
• p(x1, . . . , x`) =∑d
i=0 x i1pi (x2, . . . , x`)
• Ïóñòü k íàèáîëüøåå ÷èñëî, ÷òî pk 6= 0, deg pk ≤ d − k .
• Pra1,...,a`←F[pk(a2, . . . , a`) 6= 0] ≥ 1− d−k|F|
• Êîãäà pk(a2, . . . , a`) 6= 0, òî p(x1, a2, . . . , ak) èìååò ≤ kêîðíåé.
• Pr[p(a1 . . . am) 6= 0] ≥ (1− k|F|)(1−
d−k|F| ) ≥ 1− d
|F|
16 / 21
Ëîêàëüíûé äåêîäåð äëÿ êîäà
Ðèäà-Ìþëëåðà
• Áóäåì ñ÷èòàòü, ÷òî ìíîãî÷ëåí çàäàí íå ñïèñêîìêîýôôèöåíòîâ, à çíà÷åíèÿìè íà íåêîòîðûõ C `
`+d òî÷êàõ.
• Pry∈F` [P(y) 6= g(y)] < ρ ≤ (1− d|F|)/6, P � ìíîãî÷ëåí
ñòåïåíè d îò ` ïåðåìåííûõ.
• Öåëü: âû÷èñëèòü P(x) (åñòü îðàêóëüíûé äîñòóï ê g !).
• Âûáåðåì ñëó÷àéíóþ ïðÿìóþ, ïðîõîäÿùóþ ÷åðåç òî÷êó x .Lx = {x + ty | t ∈ F}, y ← U(F`)
• Çàïðîñèì g íà âñåõ |F| òî÷êàõ Lx , ïîëó÷èì òî÷êè{(t, g(x + ty))} äëÿ t ∈ F.
• Ñ âåðîÿòíîñòüþ õîòÿ áû 23 íà âûáðàííîé ïðÿìîé áóäåò íå
áîëåå 3ρ|F| < (1− d/|F|)|F|/2 íåïðàâèëüíûõ îòâåòîâ.
• Q(t) = P(x + ty) � ìíîãî÷ëåí ñòåïåíè d . Âîñïîëüçóåìñÿäåêîäåðîì äëÿ êîäà Ðèäà-Ñîëîìîíà.
• Âûäàäèì Q(0).
17 / 21
Êîäû Á×Õ
• Àâòîðû êîäà: Áîóç (R.C. Bose), ×îóäõóðè (D.K.Ray-Chaudhury) è Õîêâèíãåì (A. Hocquenghem)
• Êîä ïîçâîëÿåò èñïðàâëÿòü ëþáîå êîíñòàíòíîå ÷èñëîîøèáîê.
• Îáîáùåíèå êîäà Õýììèíãà.
• F � ïîëå èç n = 2k ýëåìåíòîâ.
• Ìíîãî÷ëåíû ñòåïåíè < n:• A(x) = a0 + a1x + · · ·+ an−1x
n
• Îïðåäåëÿåòñÿ çíà÷åíèÿìè â n òî÷êàõ ïîëÿ• êîýôôèöèåíòû ←→ çíà÷åíèÿ
• Äâà îãðàíè÷åíèÿ:• ñòåïåíü < n − s• Çíà÷åíèÿ òîëüêî 0 èëè 1
18 / 21
Êîäû Á×Õ
• Äâà îãðàíè÷åíèÿ:• ñòåïåíü < n − s• Çíà÷åíèÿ òîëüêî 0 èëè 1
• Çíà÷åíèÿ òàêèõ ìíîãî÷ëåíîâ âî âñåõ òî÷êàõ ïîëÿ � êîäÐèäà-Ñîëîìîíà ñ ðàññòîÿíèåì s + 1
• F2 � ïîäïîëå F.• Ìíîæåñòâî êîäîâ � ëèíåéíîå ïðîñòðàíñòâî íàä F2.
• Áåç îãðàíè÷åíèé íà ê-òû ìíîãî÷ëåíà ðàçìåðíîñòüïðîñòðàíñòâà êîäîâ n
• Îáðàùåíèå â íîëü êàæäîãî ê-òà: k óðàâíåíèé
• F2-ðàçìåðíîñòü ≥ n − sk = n − s log n
• Ïðè s = 2, d = 3, 2 log n ïðîâåðî÷íûõ ñèìâîëîâ
•  êîäå Õýììèíãà áûëî log n ïðîâåðî÷íûõ ñèìâîëîâ
•  Á×Õ ìîæíî ñýêîíîìèòü íà ïðîâåðî÷íûõ ñèìâîëàõ
19 / 21
Êîäû Á×Õ
• A(x) ïðèíèìàåò çíà÷åíèÿ òîëüêî 0 èëè 1:• A(x)2 = A(x), ìíîãî÷ëåí A(x)2 − A(x) îáðàùàåòñÿ â íóëüäëÿ âñåõ x ∈ F.
• A(x)...
∏a∈F(x − a)
•∏
a∈F(x − a) = xn − x
• A(x) = an−1xn−1 + an−2x
n−2 + · · ·+ a1x + a0
• A2(x) = a2n−1x
2n−2 + a2n−2x
2n−4 + · · ·+ a21x
2 + a20
• a2n−1 = an−1
• a2n−2 = an−3
• a2n−3 = an−5
• a2n/2 = a1
• Ýòî ëèíåéíûå ñîîòíîøåíèÿ, òàê êàê(a + b)2 = a2 + b2 + 2ab = a2 + b2
• Èç óñëîâèé an−1 = 0, an−2 = 0, . . . , an−s = 0 ìîæíîîñòàâèòü òîëüêî an−1 = 0, an−2 = 0, an−4 = 0, . . . .
• F2-ðàçìåðíîñòü ≥ n − s2k = n − s log n
2
20 / 21
Á×Õ è ãðàíèöà Õýììèíãà
• Ãðàíèöà Õýììèíãà: 2kV2(e, n) ≤ 2n.
• Øàð ðàäèóñà e = s/2 ñîäåðæèò ïðèìåðíî C en ≈ ne
e!ýëåìåíòîâ
• k ïðèìåðíî îöåíèâàåòñÿ n − e log n + log e!
• Á×Õ: k = n − e log n
21 / 21