13. A szimplex módszer lépésszámáról 75
13.3. Alkalmazás a Markov Döntési Problémára
A Markov Döntési Folyamatok a hosszú távú sztochasztikus dinamikus programozási felada-tokat jelentik. Egy állapottérben ha hozunk egy döntést, akkor egy újabb állapotba kerülünk és mindezért az átmenetért jár egy bizonyosjutalom. Minden következő állapotnak adott egy átmeneti valószínűsége. A fő kérdés az, hogy hosszú távon milyen stratégiával döntsünk az előálló helyzetekben. A régmúlttól már nem függ semmi, mindig csak az adott helyzettől. Az összjutalom akár végtelen is lehetne, ezért diszkontálnak (pl. θ-szoros pénzromlást feltéte-leznek). Ha állandó stratégiát követünk, vagyis az időponttól nem függőt, akkor az optimális stratégia meghatározásának egyik módszere lineáris programozás alkalmazása, erre utal az alábbi rövid megállapítás az (MDP)-ről. Erről a gazdaságban nagyon fontos területről bőveb-ben tájékozódhatunk pl. a [27], [43], [48] könyvekből. A Markov Döntési Probléma (MDP), melyben kétféle akciót engedünk meg a következő
min cT1x1+cT2x2,
feltéve,hogy (E1−θP1)x1+ (E2−θP2)x2=e, x1,x2≥0,
(13.7) ahol Ei m×k méretű mátrix, amelyneki-edik sora csupa 1, egyébként 0, a P1 ésP2 m×k méretű oszlop sztochasztikus mátrixokok, θ a diszkontráta, és e a csupa 1-ből álló vektor.
MDP(13.7) rendelkezik a következő tulajdonságokkal:
13. A SZIMPLEX MÓDSZER LÉPÉSSZÁMÁRÓL 81
1. MDP(13.7) nem degenerált.
2. A bázismegoldások összes pozitív változóinak értéke legalább egy, tehátδ≥1.
3. A bázisváltozók pozitív komponenseinek maximuma legfeljebb 1−θm , tehát,γ≤ 1−θm . Alkalmazva a13.1.8. Következményt kapunk egy Ye [55] eredményéhez hasonlót.
13.3.1. Következmény. Az MDP (13.7)-ot szimplex módszerrel megoldva legfeljebb n⌈1m−θ2 log1m−θ2 ⌉lépésben optimális megoldást kapunk, aholn= 2m.
14. fejezet
Szakirodalom
Hasznos oktatási anyagok találhatók:
http://www.cs.elte.hu/ lovasz/
http://www.cs.elte.hu/opres/index2.html http://compalg.inf.elte.hu/ tony/Oktatas/
http://www.cs.bme.hu/ recski/oktatas/index.html http://www.math.bme.hu/ hujter/ok.htm
http://www.inf.u-szeged.hu/ pluhar/
http://www.inf.u-szeged.hu/ cimreh/okt.htm http://www.inf.u-szeged.hu/ csendes/
http://www.inf.u-szeged.hu/ pszabo/konyvek.htm http://www.typotex.hu/konyv/
Irodalomjegyzék
[1] A. V. Aho, J. E. Hopcroft, and J. D. Ullman, The Design and Analysis of Computer Algorithms, (Addison-Wesley, Reading (MA) 1974).
[2] M. L. Balinski and R. E. Gomory. A mutual primal-dual simplex method. In R. L. Graves and P. Wolfe, editors, Recent Advances in Mathematical programming. McGraw-Hill, New York, 1963.
[3] E. M. L. Beale. Cycling in the dual simplex algorithm. Naval Research Logistics Qu-arterly, 2:269–75, 1955.
[4] C. Busch, R. KannanBicriteria Optimization in Routing GamesCoRR abs 0801.4851:
(2008)
[5] Blázsik, Z., B. Imreh, A note on connection between PNS and set covering problems, Acta Cybernetica,12, 1996, 309-312.
[6] Blázsik, Z., Cs. Holló, B. Imreh, Explicit bound for the number of feasible solutions of special PNS-problem classes,Pure Mathematics and Applications,9, 1998, 17-27.
[7] Blázsik, Z., Cs. Holló, B. Imreh, Cs. Imreh, Z. Kovács, On a well-solvable class of the PNS problem,Novi Sad Journal of Mathematics,3, 2000, 21-30.
[8] Blázsik, Z., Cs. Holló, B. Imreh, Cs. Imreh, Z. Kovács, On Bottleneck and k-sum version of the Process Network Synthesis Problem,Novi Sad Journal of Mathematics3, 2000, 11-19.
[9] Blázsik, Z., Cs. Holló, Cs. Imreh, Z. Kovács, Heuristics for the Process Network Synthe-sis Problem,New Trends in Equilibrium Systems, Mátraháza Optimization Days, Kluwer Academic Publishers, 2000, 1-16.
[10] Blázsik, Z., K. Keserű, Z. Kovács, Heuristics for simplied Process Network Synthesis problems with a Blossom-type Algorithm for the edge covering problem, Optimizati-on Theory: Recent Developments from Matrahaza,(eds.: F. Giannessi, P. Pardalos, T.
Rapcsák), Kluwer Academic Publishers, Dordrecht, 2001, 19-31.
[11] Chvátal, Linear programming. A Series of Books in the Mathematical Sciences.W. H.
Freeman and Company,New York, 1983.
84 GAZDASÁGI FOLYAMATOK MATEMATIKAI MODELLEZÉSE
[12] G. B. Dantzig:Linear Programming and Extensions. Princeton University Press, Prince-ton, New Jersey, 1963.
[13] J. Egerváry, Matrixok kombinatorikus tulajdonságairólMatematikai és Fizikai Lapok, 38, 16-28 (1931)
[14] J. Egerváry,Kombinatorikus módszer a szállítási probléma megoldásáraA Matematikai Kutató Intézet közleményei, IV./1. 15-28 (1958)
[15] D. Kőnig,Graphok és matrixokMatematikai és Fizikai Lapok,38116-119 (1931) [16] R. Fletcher. Degeneracy in the presence of roundoff errors. Linear Algebra and its
Applications, 106:149–183, 1988.
[17] R. Fletcher. Resolving degeneracy in quadratic programming. Annals of Operations Research: degeneracy in optimization problem, 47:307–334, 1993.
[18] R. Fletcher and J. A. J. Hall. Towards reliable linear programming. In G. A. Watson and D. F. Grifths, editors,Pitman Research Notes in Mathematics Series 228, pages 89–104. Longman Scientic and Technical, 1990.
[19] Floudas, C. A., I. E. Grossmann, Algorithmic Approaches to Process Synthesis: Logic and Global Optimization, AiChE Symposium Series No. 304,91(Eds: L. T. Biegler and M. F. Doherly), (1995), 198-221.
[20] J. J. H. Forrest and J. A. Tomlin. Implementing the simplex method for the Optimization Subroutine Library. IBM Systems Journal, 31(1):11–25, 1995.
[21] Friedler, F., K. Tarján, Y. W. Huang, and L. T. Fan, Graph-Theoretic Approach to Process Synthesis: Polynomial Algorithm for maximal structure generation, Computer chem.
Engng.17, 1993, 924-942.
[22] Friedler, F., J. B. Varga, and L. T. Fan, Decision-Mappings: A Tool for Consistent and Complete Decisions in Process Synthesis,Chem. Eng. Sci.,50(11), 1995, 1755-1768.
[23] Friedler, F., J.B. Varga, E. Fehér, and L.T. Fan, Combinatorially Accerelated Branch-and-Bound Method for Solving the MIP Model of Process Network Synthesis, Interna-tional Conference on State of the Art in Global Optimization: ComputaInterna-tional Methods and Applications, Princeton, 1995.
[24] Friedler, F., J. Fülöp, B. Imreh, On the reformulation of some classes of PNS-problems as set covering problems,Acta Cybernetica,13, 1998, 329-337.
[25] P. E. Gill, W. Murray, M. A. Saunders, and M. H. Wright. A practical anti-cycling procedure for linearly constrained optimization. Math. Prog., 45:437–474, 1989.
[26] D. Goldfarb and J. K. Reid. A practical steepest-edge simplex algorithm. Math. Prog., 12:361–371, 1977.
IRODALOMJEGYZÉK 85
[27] R. Howard, Dynamic programming and Markov processes Cambridge, Mass.:MIT Press, 1960
[28] Bajalinov, E., Imreh B.,Operációkutatás, POLYGON Kiadó, Szeged, 2001.
[29] B. Imreh, Cs. ImrehKombinatorikus optimalizálásNovadat, Győr, 2005.
[30] Hall JAJ, McKinnon KIM,The simplex examples where the simplex method cycles and conditions where EXPAND fails to prevent cycling Mathematical Programming 2004;
100 (1): 133-50.
[31] T. Kitahara, S. Mizuno, A bound for the number of different basic solutions generated by the simplex method for an LP with bounded variables, Technical paper.
[32] V. Klee and G. J. Minty ”How good is the simplex algorithm?” In Shisha, Oved. Inequ-alities III (Proceedings of the Third Symposium on InequInequ-alities held at the University of California, Los Angeles, Calif., September, dedicated to the memory of Theodore S.
Motzkin). New York-London: Academic Press. pp. 159-175. MR332165, 1972.
[33] E. L. Lawler,Combinatorial Optimization: Networks and Matroids, (Holt, Rinehard and Winston, New York 1976).
[34] L. Lovász,Combinatorial problems and exercises.North-Holland Publishing Co., Am-sterdam, 1979. A magyar nyelvű változat: Kombinatorikai problémák és feladatok, Ty-potex kiadó, 1999.
[35] R. L. Graham, M. Grötschel, and L. Lovász, Handbook of Combinatorics, (Elsevier Science Publishers, Amsterdam 1995).
[36] L. Lovász and M. D. Plummer,Matching Theory, (Elsevier Science Publishers, Amster-dam 1986).
[37] M. Grötschel, L. Lovász, A. Schrijver, Geometric algorithms and combinatorial opti-mizationSpringer, Berlin, 1988
[38] W. J. Cook, W. H. Cunningham, W. R. Pulleyblank, and A. Schrijver, Combinatorial Optimization, (John Wiley & Sons, New York 1998).
[39] B. Korte and J. Vygen,Combinatorial Optimization – Theory and Algorithms, (Springer, Heidelberg 2000).
[40] J. Oxley,Matroid theory, Oxford University Press, New York, NY, USA, 1992.
[41] Jordán Tibor, Recski András, Szeszlér Dávid,Rendszeroptimalizálás, Typotex; 2004 [42] A. Schrijver,Combinatorial optimization: Polyhedra and efciency, Springer, 2003.
[43] Cs. Szepesvary,Algorithms for Reinforcement Learning (Synthesis Lectures on Articial Intelligence and Machine Learning)Morgan & Claypool Publishers, 2010.
86 GAZDASÁGI FOLYAMATOK MATEMATIKAI MODELLEZÉSE
[44] T. H. Cormen, S. Clifford, C. E. Leiserson, and R. L. Rivest,Introduction to Algorithms, (MIT Press, Cambridge (USA) 2001).
[45] J.B. Orlin, S.A. Plotkin, and E. Tardos,Polynomial Dual Network Simplex Algorithms, Mathematical Programming 60, 255-276, 1993
[46] R. Sedgewick,Algorithms in C, (Addison-Wesley, Reading (MA) 1990).
[47] Robert J. Vanderbei: Linear programming: Foundations and extensions, Kluwer Aca-demic Publishers Boston/London/Dordrecht, 1997.
[48] Wayne L. Winston: Operációkutatás – Módszerek és alkalmazások 1-2. Aula Kiadó Kft.,2003
[49] D. Welsh,Matroid theory, Academic Press, Inc., 1976.
[50] P. Wolfe. A technique for resolving degeneracy in linear programming. SIAM Journal Appl. Math., 11:205–211, 1963.
[51] Andras Frank, Connections in Combinatorial Optimization Oxford University Press, 2011.
[52] Peter Zörnig, Systematic construction of examples for cycling in the simplex method Computers & Operations Research 33 (2006) 2247-2262
[53] Y. Ye,A new complexity result on solving the Markov decision problemMathematics of Operations Research,30:3 (2005), 733-749.
[54] Y. Ye,The simplex method is strongly polynomial for the Markov decision problem with a xed discount rateTechnical paper
[55] Y. Ye, The Simplex Method is Strongly Polynomial for the Markov Decision Problem with a Fixed Discount Rate