Friday 15 December 2017

Ruchoma średnia dynamiczna koperta


Nie znaleziono strony Zachęcamy do zgłoszenia tego problemu, abyśmy mogli jak najszybciej to poprawić. Może się tu zdarzyć kilka rzeczy: z powodu niedawnego przeprojektowania strony strona już nie istnieje. W adresie URL może występować literówka. Link, którego używałeś, może zostać zerwany z innego powodu. Aby znaleźć drogę tak szybko, jak to możliwe, spróbuj wyszukać słowa kluczowe powiązane z poszukiwaną stroną. Pomóż sobie Zamów Pomoc Śledzenie zamówienia. Pytania dotyczące zamawiania, wysyłki lub twojego konta: Pomoc techniczna Pytania dotyczące produktu lub kwestii technicznych: Powrót do początku strony Nowe podejście do kontroli zarządzania: Dynamiczne zarządzanie przez Matthew Leitch, 13 listopada 2002, wersja 1.2 Czy zauważyłeś, że rzeczy w pracy często nie działają? tak jak się spodziewaliśmy lub chcieliśmy pierwotnie, a bramki wciąż się poruszają W dzisiejszych czasach większość ludzi tego doświadczyła. Kontrola budżetowa wydaje się coraz bardziej niewystarczająca. Karty wyników i cele to nowa nadzieja, ale większość organizacji powinna już zauważyć, że mają wiele takich samych wad, jak złe budżetowanie. Czy to jest beznadziejne Czy powinniśmy przyjąć teorię złożoności i zaakceptować chaotyczne zamęt jako naturalne i zdrowe, nie sądzę. Istnieje sposób zarządzania w warunkach dużej niepewności i złożoności. Łamie zasady, które możesz znać tak dobrze, że nawet nie wiesz, że im wierzysz, ale jest sposób. Jak będziesz czytać, będą chwile, kiedy pojawią się problemy w twoim umyśle - obiekcje - powody, dla których to, co mówię, nie działa. Zaufaj mi i czytaj dalej. Przez wiele lat pracowałem nad rozwiązaniami tych problemów i rozwiązałem wiele problemów, o których większość ludzi nawet nie pomyślała. Jeśli coś przeoczyłem, nie znajdziesz tego tak łatwo. I nawet jeśli nie zgadzasz się ze wszystkim, jestem pewien, że znajdziesz tutaj coś, co jest dla ciebie nowe i użyteczne. Oto indeks. Przeczytaj i ciesz się Definicją i wprowadzeniem Dynamiczne zarządzanie to po prostu zarządzanie, które oczekuje, że system celu (tj. Cele i sposób wyceny alternatywnych kontraktów terminowych) zostanie zmieniony, choć niekoniecznie w przewidywalny sposób. Oczekuje zmiany obu zmysłów: przewiduje się zmianę w systemie celu, który w większości sytuacji rzeczywistych jest prawidłowym założeniem, a zmiana w systemie celu jest postrzegana jako pożądana, ponieważ systemy celowania, które są statyczne przez długi czas, sugerują, że nic więcej się nauczyłem. Dynamiczne zarządzanie dotyczy zarówno operacji, jak i projektów, ponieważ zmieniające się systemy celowe występują w obu. Ma również zastosowanie na każdym poziomie, od dużej organizacji do osób w niej przebywających oraz osób prywatnych. Oto kilka przykładów zmiany systemów celów: Przykład: Zmieniono powód istnienia. Franklin D Roosevelt cierpiał na kalectwo w wyniku polio. W 1938 roku, u szczytu swojej popularności i powagi problemu polio, założył Narodową Fundację na Rzecz Paraliżu Dziecięcego w celu walki z polio. Organizacja szybko stała się odnoszącym sukcesy zbiorem funduszy. W ciągu niespełna 20 lat polio zostało w dużej mierze pokonane dzięki szczepionkom Salk i Sabine. Fundacja miała wybór: znaleźć nowy cel lub zamknąć. Postanowili znaleźć nowy cel i skoncentrować się na innych kalekich chorobach ze szczególnym naciskiem na wady wrodzone. Przykład: zmiana poziomu projektu. Pod koniec lat 90. brytyjska Telekomunikacja (BT) rozpoczęła projekt stworzenia rynku wewnętrznego, na którym jego oddziały mogły wymieniać się ze sobą. Chodziło o to, by dać menedżerom wyższą odpowiedzialność za organizacje nastawione na zysk i dać im bardziej znaczące rachunki zarządcze, a także zachęcić większą część dużej firmy, aby zachowywała się w sposób komercyjny i była konkurencyjna. Gdy gorączka złota telekomunikacyjnego osiągnęła swój szczyt, ogłoszono reorganizację, która wymagała poważniejszego potraktowania tej idei. Teraz zamiarem było stworzenie oddzielnych firm, które można by przenieść osobno, choć nadal jako część grupy, dzięki czemu prawdziwa wartość grupy BT byłaby bardziej przejrzysta dla inwestorów i analityków w mieście. Rozdzielenie nabrało tempa i stało się jasne, że samo udostępnienie mniejszości udziałów w najbardziej ekscytujących działach nie wystarczy. Inwestorzy chcieli stworzyć całkowicie oddzielne firmy. Dział komunikacji mobilnej został przeniesiony i rozłożony, a inne dywizje przygotowywano. Potem pękła bomba telekomunikacyjna i zmienił się topowy zespół BT. Dalsze flotacje zostały porzucone, a podziały zachęcono do wspólnego działania, zamiast starać się iść na ich odrębne sposoby. Przykład: zmiana życia. Większość osób uważa, że ​​zostawanie rodzicem to wydarzenie zmieniające życie, radykalnie zmieniające priorytety i plany. Niektórzy ludzie dostosowują się szybciej niż inni. W moim własnym przypadku wyjechałem z pracy, aby zdobyć dla siebie karierę, aby zdobyć pieniądze dla mojej rodziny za około miesiąc. Jest inaczej Oczywiście w większości późnych XX wieku cele dotyczące zarządzania zmieniają się, ale wynika to z tworzenia strategii lub innego cyklicznego procesu planowania, a nie z rutynowej części codziennego zarządzania z miesiąca na miesiąc. Zmieniające się cele są postrzegane jako wstrząs, uciążliwa, emocjonalna, ciężka działalność, ograniczona tylko do starszych elit w hierarchii korporacyjnej. W przeciwieństwie do tego zarządzanie dynamiczne sprawia, że ​​uczenie się i zmienianie celów jest częstym zjawiskiem, przeprowadzanym na dowolnym poziomie w organizacji, po otrzymaniu odpowiednich wiadomości, a nie z powodu zakończenia kolejnego roku. Główne problemy menedżerów korzystających z zarządzania dynamicznego obejmują aktualizowanie celów i prognoz, aby odzwierciedlić to, czego się uczymy, i aktualizowanie planów zgodnie z najnowszymi celami i prognozami. Chociaż jest to zdrowy rozsądek, ogromna literatura zarządzania i określona praktyka (choć rzadziej rzeczywiste zachowanie) sprawia, że ​​założone cele pozostają niezmienne. Głównym problemem jest dostosowanie planów w celu zmniejszenia różnicy między faktycznymi wynikami a oryginalnymi planami i oczekiwaniami. Pomysł ten jest szczególnie silny w zarządzaniu projektami, a prawie wszystkie porady dotyczące utrzymania kontroli nad projektami i operacjami opierają się na porównaniu rzeczywistych wyników z oczekiwaniami lub celami, które odzwierciedlają pierwotny widok, a nie najnowszy i najbardziej świadomy widok. Jest to prawdą niezależnie od tego, czy istnieje jakiś kontrakt lub umowa, która daje szczególną wagę do celów uzgodnionych w określonym momencie w przeszłości. W ostatnich latach wzrosło niezadowolenie i niezadowolenie z ustalonych celów. Prawie wszyscy nie lubią swojego procesu budżetowego, a niektóre firmy już odrzuciły budżetowanie, podczas gdy inne kładą coraz większy nacisk na prognozę kroczącą. W obliczu ciągłego niepowodzenia systemy zarządzania wydajnością (tj. Praktyka polegająca na zmuszaniu jednostek do ustalania celów rocznie i bycia przez nich ocenianym) również znalazły się pod ostrzałem. Jednocześnie zarządzanie ryzykiem nabiera coraz większego znaczenia w wielu dziedzinach, a pojawia się nowy pogląd, w którym niepewność zastępuje ryzyko jako główny cel zarządzania. Podczas gdy zarządzanie ryzykiem jest postrzegane jako sposób na osiągnięcie swoich pierwotnych celów, to co może, zarządzanie niepewnością obejmuje zarządzanie zdarzeniami, które okazują się niespodziewanie przychylne, i oczywiste, że w takich sytuacjach chcesz zmienić swoje cele, aby wykorzystać nowe możliwości przedstawione. Zasadniczo istnieją więc oznaki początku kulturowego przesunięcia w kierunku zarządzania dynamicznego. Dynamiczne zarządzanie to naturalna ewolucja tego, co zwykle nazywa się zarządzaniem ryzykiem. Przejście od założenia stabilnego, znanego świata do zarządzania dynamicznego przebiega mniej więcej tak: zarządzanie w przewidywalnym świecie: wiemy, co się wydarzy w przyszłości i odpowiednio ułoży nasze plany. Zarządzanie ryzykiem: Mamy cele, które się nie zmieniają i plan, ale akceptujemy, że coś może się nieoczekiwanie nie udać, więc musimy zarządzać tymi zagrożeniami, zmniejszając ich prawdopodobieństwo i zmniejszając wpływ, jeśli wystąpią. Zakładamy, że możemy łatwo określić wszystko na temat przyszłości, z wyjątkiem tego, czy pewne wyniki wystąpią, czy nie, i nawet tam wiemy prawdopodobieństwa tych zdarzeń ryzyka. Zarządzanie niepewnością: Mamy cele, które się nie zmieniają i plan, ale akceptujemy, że mogą się zdarzyć różne rzeczy, które różnią się od naszych oczekiwań. Niektóre z tych nieoczekiwanych wyników są gorsze niż nasze oczekiwania, ale niektóre są lepsze (tj. Są to szanse). Co więcej, często mamy niepewność, którą można by ograniczyć poprzez dalsze badania, ale może to być kosztowne. Zarządzanie niepewnością wiąże się z ograniczaniem negatywnych skutków, zwiększaniem pozytywnych wpływów, modyfikowaniem szans, aby uczynić dobre rzeczy bardziej prawdopodobnymi i złymi, mniejszymi, oraz przeprowadzaniem badań lub monitorowaniem w celu zmniejszenia niepewności. Zarządzanie dynamiczne: To samo, co w przypadku Zarządzania niepewnością, z tym że nasze cele same w sobie są czymś, co wiąże się z pewną niepewnością. Mogą być teraz niejasne i zmieniać się w przyszłości. Główne zalety Dynamicznego Zarządzania Niepewność istnieje, w tym niepewność co do celów we wszystkich, oprócz najbardziej banalnych przedsięwzięciach. Pytanie brzmi, czy lepiej go zignorować, czy też celowo nim zarządzać. Osobiście idę raczej oczekiwać niespodziewanego, niż być zszokowanym, szczególnie jeśli chodzi o przeniesienie stanowisk. Główne zalety Dynamicznego Zarządzania to: Lepsze decyzje: Bardziej dokładne spojrzenie na przyszłość (tj. Prawidłowe odzwierciedlenie wszystkich form niepewności) powinno prowadzić do lepszych decyzji niż zniekształcony obraz. Ostatecznie, prawdziwy wkład działań w długoterminowy sukces powinien być większy, jeśli zawsze kierujemy działaniami przy użyciu najlepszego, najbardziej świadomego spojrzenia na to, co musimy osiągnąć. Powinno to być bardziej skuteczne niż kierowanie się na cele, które są do roku przestarzałe. Zmniejszone paraliżowanie: Jeśli uważasz, że nie możesz rozpocząć projektu bez jasnych, uzgodnionych celów, na których możesz polegać, to prawdopodobnie nie możesz rozpocząć projektu. Rzeczywistość życia polega na tym, że zawsze istnieje pewien zamęt, polityka i zamieszanie. To nie znaczy, że ustalenie, co można na temat celów na samym początku, nie jest wartościowe, jest bardzo cenne. Paraliż może również wynikać ze stwierdzenia, że ​​wydarzenia przebiegają inaczej niż plan i nie uwzględniono żadnych nieprzewidzianych okoliczności. Dynamiczne zarządzanie zmniejsza obie te formy paraliżu, poprawiając wyniki i redukując stres. Zredukowane problemy z agencją: Teoria Agencji to zbiór teorii na temat tego, co dzieje się, gdy my (główny) płacimy komuś innemu (naszemu Agentowi), aby zrobił coś dla nas. Częstym problemem jest to, że możemy mierzyć niektóre wyniki pracy osób, ale nie jest to prawdziwy wkład tego, co robią. Na przykład możemy mierzyć sprzedaż brutto przedstawicieli handlowych, ale nie osiągać na nich zysków długoterminowych. Prowadzi to do dysfunkcjonalnego zachowania. Na przykład przedstawiciel handlowy może zarejestrować firmę za zbyt niską cenę, mówiąc kłamstwa, które później zniszczą firmę. Agent musi zrównoważyć nagrodę z płatności motywacyjnej w zamian za nagrodę z długoterminowego sukcesu firmy. Zwykłe założenie jest takie, że podstawa nagrody jest ustalona, ​​ale jeśli zamiast tego jest prawdopodobne, że ulegnie zmianie i zmieni się tak, aby lepiej odzwierciedlała rzeczywisty wkład Agenta, Agenci pragną wykonać dysfunkcjonalne zachowanie spowodowane obecnym program motywacyjny jest ograniczony. Największym kosztem agencji mogą być konsekwencje motywowania ludzi do realizacji nieaktualnych celów, na przykład gdy dyrektorzy firm otrzymają ogromne premie za osiągnięcie celów długo po tym, jak cele okazały się złym pomysłem. Mniej zmarnowany czas zarządzania: Jednym z powodów marnowania czasu zarządzania jest różnica pomiędzy planowanymi działaniami a rzeczywistym zachowaniem. Wraz ze wzrostem różnicy między pierwotnymi planami i celami a rzeczywistymi wymaganiami, jak zwykle, rozbieżność między planami i zachowaniami również rośnie. Menedżerowie spędzają coraz więcej czasu próbując wyjaśnić różnicę między faktycznymi zachowaniami i wynikami a pierwotnym (przestarzały i coraz bardziej nieistotny) plan. To zmarnowany czas. Dynamiczne zarządzanie dostosowuje się szybciej do rzeczywistych wymagań, które się pojawiają, zmniejszając w ten sposób rozbieżności między planami i zachowaniami, a tym samym zmniejszając stracony czas zarządzania. Nie mogę znaleźć żadnych badań empirycznych, które w sposób konkretny oceniają efekty próby zastosowania metod zarządzania, które zakładają ustalone cele w warunkach, w których cele się zmieniają. Dlatego mogę jedynie spekulować na podstawie osobistych doświadczeń jako pracownik w różnych organizacjach. Myślę, że przez większość czasu ludzie nie stosują się do metod zarządzania i zasad, które podają. Wydaje nam się, że poświęcamy sporo czasu na próbę odgadnięcia, w jaki sposób mogą zmienić się nasze cele, choć nie możemy tego zrobić bardzo sprawnie ani systematycznie. Jednak w czasach, gdy jesteśmy zawiedzeni wynikami, które otrzymujemy, ktoś zwykle sugeruje czas, aby wszystko kontrolować i właściwie zarządzać, przez co oznaczają one przeciwne pierwotne cele. Im bardziej energetycznie i systematycznie to się stanie, tym gorsze będą wyniki, chyba że w innym miejscu wydarzy się coś naprawdę dobrego, aby zrównoważyć efekt tej nieefektywnej metody zarządzania. O wiele skuteczniejsze byłoby praktyczne i systematyczne wdrażanie zarządzania dynamicznego, gdy pożądane są lepsze wyniki. Dwa słynne fragmenty badań nad zarządzaniem stanowią dla niego niewielkie wsparcie. Słynne studium zachowania menedżerów to porównanie rzeczywistego zachowania Henry'ego Mintzberga z teoretycznym pojęciem naukowego, systematycznego menedżera. Mintzberg stwierdził, że menedżerowie są bardziej zainteresowani najnowszymi plotkami niż w oficjalnych raportach zarządczych z systemów informatycznych firmy. Każdego dnia podejmowali niezliczone decyzje, a ich kierunek stopniowo zmieniał się w czasie, zamiast od czasu do czasu podejmować duże strategiczne decyzje, a następnie systematycznie wprowadzać konsekwencje w szczegółach. Innym znanym badaniem są badania pod koniec lat 50. Charlesa Kepnera i Benjamina Tregoe. Zaobserwowali, że menedżerowie faktycznie wykonują swoją pracę i doszli do wniosku, że istniały trzy podstawowe czynności umysłowe, które zajmowały większość czasu ich myślenia: analiza problemu, analiza decyzji i potencjalna analiza problemu (czyli zarządzanie ryzykiem). Analiza problemu obejmuje porównania zachowań oczekiwanych lub pożądanych z faktycznym zachowaniem, ale wszystkie ich przykłady dotyczą problemów związanych z maszynami produkcyjnymi, gdzie to, co powinno się dziać, jest znacznie wyraźniejsze i bez żadnej niepewności, więc nie można tego porównać z kontrolą przeciwko planowi finansowemu. Technika analizy decyzyjnej, którą zalecili, zdaje sobie sprawę, że może być wiele celów do spełnienia jednocześnie i przypomina technikę, którą sugeruję później. Wreszcie, w ostatnich latach Kepner-Tregoe zmienił nazwę analizy potencjalnego problemu na potencjalny problem i analizę możliwości, aby zdać sobie sprawę z tego, że sytuacja może okazać się nieoczekiwanie lepsza, a nawet gorsza. Kluczowe pojęcia zarządzania dynamicznego Dynamiczne zarządzanie wykorzystuje kilka prostych pojęć: Systemy celu: System celu jest kombinacją funkcji celu i zestawu celów. Istnieje również założony ogólny cel maksymalizacji wartości funkcji celu w każdym podejmowaniu decyzji lub planowaniu. Oto wyjaśnienia tych pomysłów. W pewnym sensie - być może niezbyt precyzyjnie - musimy mieć możliwość określenia wartości alternatywnych przyszłych wyników w przyszłości, abyśmy mogli wybrać te, które preferujemy. Matematyczne wyrażenie dla reguły, która to robi, jest funkcją celu. Funkcja celu odwzorowuje przyszłe sekwencje stanów świata na wartość, jaką mają dla nas, pod względem użyteczności. Obiektywne funkcje mają różne wejścia, z których można czerpać ogólną wartość użytkową. Wejścia można nazwać wymiarami funkcji celu. Założonym celem jest maksymalizacja użyteczności, którą otrzymujemy. Zastosowanie naszej obiektywnej funkcji (która może być jedynie oceną) pomaga nam zidentyfikować poszczególne zestawy stanów, które są dla nas wysoce pożądane i które możemy uznać za cele. Cele (znane również jako cele, cele, wizja itd.) Są mentalnym narzędziem do tworzenia i komunikowania planów. Deklaracja celu wyraża ograniczenia na przyszłe wydarzenia, takie jak Osiągnij obrót o 10 milionów do końca roku lub Uzyskaj wyższą sprzedaż niż nasi konkurenci. Istnieje wiele sposobów wykorzystania celów w myśleniu, ale zazwyczaj identyfikujemy cel, który wydaje się być wart realizacji i który naszym zdaniem może być osiągnięty z łatwością, a następnie spróbuj wymyślić sposób na jego osiągnięcie. Dla danej funkcji celu możemy łatwo znaleźć inny zestaw celów, a sama funkcja celu może się zmienić, prowadząc nas do preferowania nowych celów. Obiektywne wymiary funkcji różnią się od celów Obiektywne wymiary funkcji Uruchom reklamę w telewizji dla nowego produktu Często sposób, w jaki naturalnie wymawiamy wymiary funkcji celu, pokazuje również, które poziomy wymiaru preferujemy, a więc wyglądają bardzo podobnie, a nawet identycznie, do celów . Na przykład, Minimalizacja reklamy może oznaczać, że (1) wielkość reklamy jest wymiarem funkcji celu, (2) mniej jest bardziej pożądana niż większa, ale (3) nie wybraliśmy konkretnej przeszkody w zakresie wielkości reklamy. Jest to więc wyraźnie część funkcji celu, a nie cel. Inne przykłady są mniej wyraźne, gdy wymiar celu celu jest sformułowany tak, aby był również celem kandydata. Cele zazwyczaj tworzą sieć, ponieważ wierzymy (w oparciu o nasze teorie na temat działania świata), że osiągnięcie niektórych celów jest konieczne lub pomocne w osiąganiu innych celów. Sprowadza się to do celów takich jak napisanie dokumentu specyfikacji do końca przyszłego tygodnia. więc plany są tylko dolną częścią naszych systemów celu. Dynamiczne zarządzanie oczekuje zmian na wszystkich poziomach celu oraz na funkcję celu, a nie tylko na niższym poziomie. W wielu systemach zarządzania podane są definicje, aby spróbować rozróżnić różne poziomy celów, a słowo cel może być zarezerwowane dla określonego poziomu. Na przykład mogą istnieć definicje misji, wizji, wartości, celów, celów, celów, zadań i działań. Powszechne jest również rozróżnianie, co z tego, jak. W praktyce trudno jest dokonać tych rozróżnień, a także trudno jest uformować różne typy celów w ścisłe hierarchie. Dlatego sugeruję, aby nazwać wszystko celem i modelowaniem systemu celów jako sieci, w której dostrzegamy przyczynową zależność pomiędzy celami. Jest to prostsze i bardziej ogólne. Ponadto, ponieważ Dynamiczne Zarządzanie utrzymuje, że wszystkie cele są obarczone niepewnością i zmianami, nie ma potrzeby rozróżniania między różnymi celami i odkładania na bok jako stałych. Przykład: uruchomienie produktu. Wyobraź sobie, że realizujesz projekt wprowadzenia nowego produktu na rynek konsumencki. Produkt jest gazowanym napojem w puszce. Jego lepki, słodki, niezdrowy i nieprzyjemny smak, ale wstępne badania rynkowe sugerują, że ma dużą przyszłość. Pytanie brzmi, jak go uruchomić, aby uzyskać maksymalny efekt i zysk. Początkowy warsztat identyfikuje i docenia 9 rzeczy, które byłyby cenne dla wyniku uruchomienia, oraz 23 rzeczy, które również byłyby cenne i które miałyby skłonność do wywoływania pożądanych efektów na oryginalnych 9 wymiarach. Na przykład silna reklama może być czynnikiem sprawczym dla wysokiej początkowej próby i wysokiej świadomości marki. 18 z 23 to w rzeczywistości elementy, które można rozszerzyć na elementy zawarte w planie wprowadzenia, takie jak promocje detalistów i reklama plakatowa. Dotychczasowe myślenie wyjaśniło funkcję celu, tj. Jak cenisz przyszłe wyniki. Następnym etapem jest stworzenie listy elementów do planu startu, które będą oczywiście bardziej ograniczone niż elementy w funkcji celu, ale kierowane przez nich. Im bardziej wartościowe pomysły w funkcji celu mają większe szanse na posiadanie odpowiednika w planie wprowadzenia. Plan uruchomienia jest w rzeczywistości częścią zestawu celów do uruchomienia. Możesz myśleć, że te dźwięki bardziej przypominają akcje niż cele, ale elementy na twoim planie wprowadzenia nie mają za sobą szczegółów, więc są niczym więcej niż celami, które musi spełnić bardziej szczegółowe planowanie. Inne cele mogą polegać na osiągnięciu pewnych poziomów na innych pozycjach w ramach funkcji celu, takich jak uzyskanie niepopartej znajomości marki w 12 lub więcej w grupie wiekowej 12-16 lat na południowym zachodzie do końca czerwca. Zwykle funkcja celu jest ważniejsza niż cele. Modele światowe: nasze wyobrażenia o tym, co się wydarzy w przyszłości i jak mogą wpływać nasze działania, zależą od informacji, które zdobywamy na temat obecnej sytuacji, oraz od modeli (zazwyczaj bardzo nieformalnych, a nawet intuicyjnych) na temat działania świata. Modele te są bardzo często w formie sieci przyczynowo-skutkowych i są często inspiracją dla naszych sieci celów. Ocena i czas: Wartość planu zależy od dwóch razy. Po pierwsze, czas, do którego koszty i korzyści są uważane za zatopione. Normalnie jest to wybrane teraz, ale są wyjątki i oczywiście teraz cały czas się zmienia. Po drugie, ewaluacja musi wykorzystywać funkcję celu, światopogląd, prognozy itd., Które mieliśmy lub będziemy trzymać w określonym momencie. Te dwa razy można by nazwać odpowiednio Czas teraźniejszy i Czas oglądania. Dynamiczne zarządzanie dąży do utrzymania obecnego czasu i czasu oglądania jak najwięcej. Niepewność i ryzyko: ryzyko sugeruje złe rzeczy, tj. Zagrożenia, podczas gdy niepewność nie ma takiej konotacji. Bardziej subtelnie, ryzyko w modelach formalnych implikuje sytuację, w której wiemy wszystko, co dotyczy jakiegoś przyszłego wydarzenia, z wyjątkiem pewnych wątpliwości, których po prostu nie możemy wyeliminować przez dalsze badania, a zatem model wykorzystujący pojęcia losowości i prawdopodobieństwa. Niepewność obejmuje takie sytuacje, ale także sytuacje, w których moglibyśmy zmniejszyć niepewność poprzez więcej badań, tj. Uzyskanie większej ilości informacji i więcej myślenia. Niepewność jest o wiele bardziej przydatnym terminem i tym używanym w Dynamicznym Zarządzaniu. Monitorowanie i aktualizowanie wiadomości - nie daty: większość porad dotyczących sprawowania kontroli nad projektem lub działaniem sugeruje regularne przeglądy, w celu umożliwienia regularnego porównywania z planem budżetu. Zarządzanie dynamiczne jest inne, ponieważ monitorowanie odbywa się w celu aktualizacji widoków i odbywa się po otrzymaniu ważnych wiadomości. Kluczową techniką zarządzania dynamicznego jest monitorowanie nowych informacji (które mogą być wykonywane w sposób ciągły, często i regularnie lub ze zmienną częstotliwością w zależności od okoliczności) i reagowanie poprzez przeglądanie myślenia natychmiast po otrzymaniu wiadomości, a nie w regularnych odstępach czasu. (Jeśli istnieje ryzyko niepowodzenia aktualizacji zbyt często, można ustawić maksymalny odstęp między spotkaniami aktualizacji.) Stabilne aktualizowanie: zmiana obiektywnych funkcji, celów, planów, prognoz itp. Często na podstawie wszystkich informacji uzyskanych do tej pory może prowadzić do niestabilnych celów, jeśli źle zrobione. Dzieje się tak ze względu na dobrze znaną słabość ludzkiego rozumowania, polegającą na braku połączenia nowych dowodów ze starymi dowodami. Naszą tendencją jest, abyśmy zapomnieli o istniejącym materiale dowodowym i byli całkowicie pod wpływem nowych dowodów, jeśli w to wierzymy. Są też sytuacje, w których przekazywanie do przodu jest niestabilne, co prowadzi do oscylujących zachowań, które wymykają się spod kontroli. Nawiasem mówiąc, sprzężenie zwrotne może również prowadzić do zachowań oscylujących, które wzmacniają się poza kontrolą. Nie jest to powszechne w praktyce, ale obie formy błędu należy zrozumieć i unikać. Chcemy zminimalizować szok związany ze zmianą systemów celu i prognoz. Skuteczne odpowiedzi: Żaden proces analizy nie jest użyteczny, jeśli nie ma skutecznych odpowiedzi, które można zastosować do analizowanej sytuacji. Na szczęście istnieje zbrojownia potężnych technik dostępnych dla zarządzania niepewnością, w tym niepewność co do celów. Obejmują one od prostych procesów myślowych zapisanych z tyłu starej koperty do wyrafinowanego modelowania komputerowego i technik podejmowania decyzji. Umiejętność dynamicznego zarządzania polega na coraz powszechniejszym stosowaniu ogólnych zasad w konkretnych sytuacjach i dziedzinach, którymi zarządzasz. Nie jest możliwe wypracowanie wszystkiego od pierwszych zasad, ponieważ rzeczy dzieją się zbyt szybko. Musisz zdobyć wiedzę na temat zagadnień i technik stosowanych w konkretnych dziedzinach i rodzajach sytuacji. Wiele już wiemy na temat zarządzania niepewnością w medycynie, finansach i dużych projektach budowlanych i informatycznych. Istnieją również sytuacje problemowe, które pojawiają się w różnych dziedzinach, ale mają bardzo podobne cechy. Przykład: chłopiec spotyka dziewczynę. Chłopiec spotyka się z sytuacją dziewczynki ma wiele wspólnego z innymi sytuacjami, w których ważna jest perswazja. Wyobraźmy sobie, że chłopcy i dziewczęta spotykają się i fantazjują sobie nawzajem, ale boją się upokarzającego odrzucenia, więc starają się tego nie okazywać - przynajmniej nie zbyt wyraźnie. Każdy stoi w obliczu niepewności co do uczuć drugiej osoby i stara się rozwiązać ten problem przez sondowanie informacji bez zbytniego oddawania. Obaj starają się unikać podejmowania decyzji od drugiej, dopóki nie upewnią się, że zrobili dobre wrażenie, a decyzja pójdzie na ich korzyść. Czy wyjdziesz za mnie, o co poprosiłeś zbyt wcześnie, nie będzie w stanie uzyskać odpowiedzi "nie", a odmowa może być trudna do odzyskania. Z drugiej strony, czekaj trochę dłużej, żyj z niepewnością nieco dłużej, a wynik jest bardziej prawdopodobny. Przykład: Przyspieszenie umysłowe. Niektóre projekty, które wiążą się z trudnym rozwiązywaniem problemów, często mają określony wzorzec. Na początku postęp jest wolniejszy niż się spodziewano, a ludzie wydają się tracić czas na ślepych uliczkach. Wraz z upływem czasu postęp zaczyna przybierać na sile, ponieważ ludzie dowiadują się więcej o problemie i możliwych rozwiązaniach. W ostatnich kilku procentach czasu projektu ogromna ilość zostaje rozwiązana i ukończona, ponieważ ludzie nauczyli się na swoich wcześniejszych błędach, a zamieszanie ustąpiło. To, co sprawia, że ​​te projekty są stresujące, to fakt, że tak się nie dzieje. Ważne jest, aby ludzie naprawdę skutecznie uczyli się na wcześniejszych etapach, jeśli przyspieszenie nastąpi później. Pięć przykładów zarządzania dynamicznego Przykłady uznanych metod zarządzania, które przypominają zarządzanie dynamiczne, są zaskakująco rzadkie. Jednak znalazłem pięć przykładów, z których większość pochodzi ze świata IT. Realizacja aktywnych korzyści Przez wiele lat budziła się kontrowersja pomiędzy tymi, którzy wierzą, że komputery są wielką korzyścią dla świata i przedsiębiorstw, a tymi, którzy wskazują na faktyczne statystyki, które zwykle nie wykazują żadnej. W obliczu problemu, że projekt informatyczny może mieć negatywny wpływ na organizację jako pozytywny efekt, było tylko kwestią czasu, zanim ktoś ukuł frazę zarządzania korzyściami i zaoferował ją światu (za cenę), jako odpowiedź. Chcesz więcej korzyści z IT Potrzebujesz zarządzania benefitami. Oczywistym podejściem do tego było ustalenie celów, środków, celów itd. Od samego początku, monitorowanie rzeczywistych wyników i zarządzanie nimi, aby w jakiś sposób wymusić istnienie korzyści oczekiwanych na samym początku. Studia przypadków rzeczywistych projektów informatycznych konsekwentnie pokazują, że rzadko się to zdarza, inaczej niż w przypadku zwykłej fluke. Niedawno badanie praktyk informatycznych w Australii przeprowadzone przez Chad Lin i Grahama Pervan wykazało, że 83 respondentów nie sądziło, że możliwe jest przewidzenie wszystkich potencjalnych korzyści na etapie zatwierdzania projektu. Faktem jest, że korzyści pojawiają się z czasem. Zwróć uwagę, że to właśnie te korzyści powinny być celami projektu, choć rzadko zdarza się, że ludzie to widzą. W odpowiedzi na ten problem zmieniających się korzyści, dr Dan Remenyi i jego kolega zaproponowali to, co nazywają aktywnym realizowaniem świadczeń, w którym przedstawiciele wszystkich zainteresowanych stron wielokrotnie powtarzają podczas projektu, aby zaktualizować swoje pomysły na temat korzyści płynących z projektu, jak również zyski z nauki, a także jako wykonujące oceny formatywne (tj. oceny potencjalnych korzyści, które pomagają w kształtowaniu projektu). Metoda rozwoju systemów dynamicznych W latach osiemdziesiątych wielu programistów zdawało sobie sprawę, że wiele projektów było porażką, ponieważ dostarczony system nie był już systemem, który był rzeczywiście potrzebny, nawet gdyby idealnie spełniał pierwotne wymagania. Prototypowanie stało się modne, aby pokazać klientom, co zamierzają osiągnąć na wczesnym etapie rozwoju, aby ich reakcje i realizacje dotyczące ich wymagań mogły zostać uchwycone i włączone. Uświadomiono sobie również, że robienie szeregu postępowych postępów, z których każdy dostarczył coś pożytecznego, nawet jeśli nie była to pełna i ostateczna odpowiedź, było bardziej użyteczne i mniej ryzykowne niż pojedynczy, dłuższy projekt rozwojowy. Metoda rozwoju systemów dynamicznych (DSDM) jest zapisaną metodą wykonywania tego rodzaju rozwoju. Głównym celem metody różni się od podejścia wodospadowego bardziej powszechnego w tamtym czasie. Zamiast próbować dostarczyć system, który spełnia pierwotne, podane wymagania, DSDM ma na celu dostarczenie systemu, który spełnia rzeczywiste wymagania w momencie uruchomienia systemu. Dramatyczne ulepszenia produktywności i współczynnika powodzenia są zgłaszane dla DSDM (która jest promowana przez organizację non-profit), choć nie są one dostępne we wszystkich typach projektów, ponieważ DSDM koncentruje się na systemach, w których interfejs użytkownika jest ważny. Evolutionary DevelopmentProject Management Podejście do zarządzania projektami, które jest bardzo podobne do DSDM w swoich zasadach, ale było wykorzystywane w kilku znacznie większych projektach i na dłużej nazywa się Zarządzanie projektami ewolucyjnymi. Według Toma Gilba, Hewlett-Packard używał go w co najmniej ośmiu oddziałach od 1985 roku, a główną korzyścią jest możliwość wczesnego, dobrze poinformowanego feedbacku od użytkowników i reagowania na nie. Inni użytkownicy to NASA, Loral, Lockheed Martin i IBM Federal Systems Division. Chodzi o to, aby wcześnie dostarczyć wyniki projektu poprzez dostarczanie częstych, użytecznych przyrostów - zwykle 50 mikroprojektów, z których każdy reprezentuje około 2 tego, czym byłby tradycyjny projekt. Celem jest dostarczenie najbardziej przydatnych przyrostów w pierwszej kolejności, jeśli to możliwe. Jednak nie jest to to samo, co dostawa przyrostowa, co oznacza dostarczanie małych plasterków z pierwotnymi wymaganiami. Ewolucyjna dostawa umożliwia zmianę wymagań w wyniku zmian i odkryć podczas projektu. Szczegółowe plany są opracowywane tylko dla następnej inkrementacji, ale nadal istnieją plany i architektury dla innych przyrostów (nawet jeśli prawdopodobnie ulegną one zmianie). Według Gilba, główną trudnością dla organizacji przyjmujących to jest przyzwyczajenie się do myślenia o stopniowych sposobach dostarczania. Jednakże, gdy ludzie przyzwyczają się do myślenia o wartości, jaką ich klient może uzyskać z projektu, mogą zobaczyć, jak przydatne będą dostawy inne niż na początku. Gilb podaje szereg wskazówek dotyczących identyfikacji odpowiednich przyrostów, w tym: Poszukaj rzeczy, które będą użyteczne dla klienta w jakikolwiek sposób, jakkolwiek małe. Do not focus on the design ideas themselves, especially when thinking of the first, small increments. Do not be afraid to use temporary scaffolding designs, as they can still deliver value and provide practical learning opportunities. If you help your customer in practice, now, where they need it you will be forgiven many mistakes. Getting practical experience helps you understand things better. Do early deliveries to cooperative, mature, local parts of the organisation. When something is going to take a long time, whatever you do, start it early and do other things while you wait to keep up the momentum of useful deliveries. If you are developing something to work with a new system when it is delivered, consider if you can deliver the same thing earlier to help with the old system and learn before the new system comes along. Try to negotiate pay as you really use contracts for things you dont want to commit to buying outright or with uncertain demand. Talk to real customers or end users as they are a good source of ideas for things that can be delivered as increments. In those rare cases where tiny increments cannot be found, Evolutionary Management resorts to the more familiar risk management techniques of insurance, contracting risk to others, sticking with established technology, and so on. Dynamic Strategic Planning Another method that has been applied on large scale engineering projects is Dynamic Strategic Planning, as described by Professor Richard de Neufville of MIT. This is long term planning that recognises the difficulties of forecasting and tries to build in flexibility in the plan, and adjust the plan according to events that occur. It is like playing chess, in that the planner thinks many moves ahead, but only commits to one at a time, and adjusts the game plan to events as they unfold. An important aspect of Dynamic Strategic Planning is the attention paid to the interests and powers of major stakeholders, though this does not appear to be explicitly linked with the problem of anticipating possible changes to goals as the project unfolds. Beyond Budgeting A very exciting development is probably best known as Beyond Budgeting. The story starts in Sweden in 1979 where Svenske Handelsbanken abandoned budgetary control in favour of new methods. The man behind this, Dr Jan Wallander, later wrote about what he did and the book was published in Swedish. Some other Swedish companies followed Dr Wallanders lead and companies that have abandoned budgeting now include IKEA and Volvo. However, the rest of the world paid little attention. That all changed when an organisation called the Beyond Budgeting Round Table (BBRT), under the wing of CAM-I, discovered what was happening. The BBRT, led by Robin Fraser, Jeremy Hope, and Dr Peter Bunce, was set up in January 1998 initially to research alternatives to budgeting by visiting companies who had successfully replaced budgets with something better. The research was sponsored by companies interested in improving their own management methods and the results were shared among BBRT members. The BBRT is now moving into a new phase of helping companies implement the Beyond Budgeting management model that resulted from their research. The Beyond Budgeting management model is still being refined as new cases are examined and new thinking emerges, but the model is already well developed with various published articles, papers, and case studies available. In February 2003 a book is due to be published that deserves to be a big step forward. One way the Beyond Budgeting has been refined is that it has moved from apparently just recognising the flaws of budgetary control to recognising the limitations of all systems of management control that work by negative feedback loops i. e. setting fixed targets then trying to manage variances. The Beyond Budgeting management model now has two major areas: adaptive planning, and decentralisation. The current principles of the model include the following: Set goals so high people cannot reach them, and make them relative to the performance of others. There are two interesting aspects to this principle. Firstly, the goals are so high that it is progress towards them that is measured, not actual achievement of the goals. Consequently the problem of distorting the objective function is largely removed. Secondly, the goals are relative so that they tend to move as circumstances change. Svenske Handelsbanken checks its KPIs against other banks, and also produces league tables for its regions and branches. There is no fixed target but people strive to be in the top half of the league table. Reward shared success on the basis of the conditions that actually occurred. Whether performance was good or bad is based on what is known at the end of the performance period. Include people in planning and do it continuously. The main method for including people is decentralisation. Make resources available when they are needed, rather than allocating them annually. Coordinate interactions dynamically rather than by annual planning. How to manage Dynamically I have defined Dynamic Management as management that expects goals to change and given the basic concepts. Within this framework there are many ways one could go about actually managing dynamically so the following proposals are just one version - a version that will surely change in future years. The demands of Dynamic Management create some important general constraints on any techniques used: Speed: If every change to objectives required an off-site meeting for executives complete with Powerpoint slides, group work, and flip charts then Dynamic Management would not be practical. If all financial forecasting and planning took as long as an annual budget round then Dynamic Management would be out of the question. Fortunately, these wasteful techniques are not needed. Coordination: When Dynamic Management is applied in a team or collection of teams it is not a mandate for unconstrained, uncoordinated improvisation. On the contrary, as change is so frequent it needs to be handled smoothly and systematically, as a routine matter, and involving all and only the required people for each change. More specifically, Dynamic Management requires the following: Better, quicker understanding of goal systems. Faster uncertainty management extended to include goal systems. Faster teamwork that gets more people involved in rethinking. Incentives that point in the right direction. Building flexibility into contracts. Planning and forecasting. Management information focussed on learning and rethinking. A new management process. Easy adaptation to different domains and scales of organisation. Creating pockets of Dynamic Management in static organisations. Techniques to achieve all of these are described in the following sections. Better, quicker understanding of goal systems In one sense, the ultimate goal is unchanging - maximise utility. However, this on its own is no guide to action and we have to think about how future outcomes have value for us, and try out specific goals that might be worth planning to achieve. In practice, our objective functions and goals look more like shopping lists than mathematical expressions. Why Multiple dimensions of value The objective function is a function that places a value on an imagined future. This is not the state at a point in future time but rather the value of an entire future path. A common approach to evaluating the value of some proposed business venture is to convert its impact into cash flows and calculate a single monetary value using Discounted Cash Flow techniques, ideally using a risk adjusted rate of return reflecting the companys weighted average cost of capital. This is called the Net Present Value, and often considered to be the same as the Shareholder Value created by the venture. Impressive as this usually appears it has very serious drawbacks, of which the most serious have been pointed out by Igor Ansoff in his classic book, Corporate Strategy. Looking ahead to the short term, identifying cash flows usually looks tough but possible. However, the further ahead you look the more difficult it is to convert every impact into a cash flow. Many important positive and negative effects of a strategy, such as a strengthened balance sheet, or increased intellectual capital, do not convert readily into cash flows. The uncertainty is simply too great. Ansoff suggests a different approach which is also much more practical, being quicker and more robust, and better at suggesting specific actions than maximise shareholder value. Ansoff suggests a system of points for valuing various outcomes, including things that do not convert to cash flows. This may be used in combination with the Net Present Value of relatively short term and predictable cash flows to provide an overall score for desirability. This is, in effect, a heuristic scoring method similar in principle to those used in chess playing computer programs. While the specific set of measures suggested by Ansoff may not be useful in every case, the simple idea of listing all the desirable aspects of future outcomes that would influence the choice of strategy, and giving some indication of their relative importance, is easy and useful. It can be used easily in the vast number of situations where quantification is not worthwhile. With a bit more work one can start to structure the objectives to show how they are linked causally. One can also think about the relationship between degrees on each dimension and the actual value. For example, for some things one either hits the target and gets the value, or doesnt and gets nothing. More often, the utility of an outcome varies more smoothly. For example, typically, reducing costs a certain amount is more desirable than reducing them a little less than that, for all degrees of cost reduction, other things being equal. The next step is to select a set of goals, which usually means specific values for aspects of the future situations. Example: A better garden - part 1. What is a better garden Imagine youre just starting out on the property ladder but lucky enough to be able to afford a property with a garden. Your first attempt to write down something about your objective function might look like this: Attractive: Neat, segregated, green or blooming all year round. Low maintenance: Low maintenance plants (daisy, lavender, etc), weed suppressing mulches for all beds, easy-trim lawn edges. Imagine you dont define a formal objective function, but your judgment is that a very messy garden is unacceptable but theres no need to create perfection. Similarly, low maintenance is important but you are willing to make some small concessions if that makes a significantly more attractive garden. Planting annuals each year is too much effort, but there are other smaller efforts you are willing to make. As for goals, you might decide to replace certain plants at a particular time of year, redesign the edges of the lawn in spring, and put down weed suppressing plastic sheeting under bark chips. All these things have value you to you, as the objective function shows. However, on investigating further you decide to change your goals to replace the bark chips with gravel for certain parts of the garden near the house. A better garden - part 2: Later, you learn more about the environmental impact of gardens and, being concerned for our environment generally, you decide you would like to change your objective function as follows: Attractive: Neat, segregated, green or blooming all year round. Low maintenance: Low maintenance plants (daisy, lavender, etc), weed suppressing mulches for all beds, easy-trim lawn edges. Environmentally low impactrestorative: Containing some habitats for wild creatures, not using chemicals, composting. Again, your objective function rules out certain things as unacceptably damaging to the environment, but also makes some concessions to attractiveness and easy maintenance. A better garden - part 3: Suddenly everything changes as you discover you are to become a parent. Now the objective function changes a lot: Attractive: Neat, segregated, green or blooming all year round. Low maintenance: Low maintenance plants (daisy, lavender, etc), weed suppressing mulches for all beds, easy-trim lawn edges. Environmentally low impactrestorative: Containing some habitats for wild creatures, not using chemicals, composting. Safe: No poisonous species. Safe furniture. No big steps. Fun: Toys and toy storage are needed. Robust: Football proof species. Perhaps more paving. A delineated play area. Easy to create: Minimum new landscaping, paving, etc. The weighting that feeds into the objective function now gives a high priority to safety and low maintenance, at the expense of attractiveness. Explicit objective functions and quantification There are two strong reasons for making objective functions more explicit and trying to quantify them. Firstly, humans are very bad at judging the value of combinations - much worse than most people think. Secondly, quantification is much easier than you might think, as the following techniques will show. The quantification might just be putting numbers on subjective feelings. You dont always need evidence and often cant get it anyway. Example: Negotiations. The value of quantifying objective functions (even subjective ones) in a negotiation has been shown by Howard Raiffa in a series of simulated negotiations. The scenario was a negotiation between a city council and a union over 11 issues including pay, hours, vacations, and the fate of a hated council official. A large number of pairs of people played the roles of union and city negotiators in various conditions. Some were given confidential instructions that showed their valuation of various outcomes on each issue using a points system. Others had similar confidential instructions but the numbers were replaced by words and phrases intended to convey about the same values. Negotiations where both negotiators lacked numbers were highly variable in outcome and the most inefficient in the sense that joint gains were left on the table. Both teams were better off with numbers regardless of what the other team were using. Making our objective functions more explicit is a fascinating subject and there are a number of useful techniques. Multi-Attribute Utility Theory (MAU) is the name for models that use utility as a kind of common currency for human value. The idea is that the utility of some object or future situation depends on more than one attribute. Conjoint analysis is the name for a group of techniques for making MAU models of the way people value different attributes of things. It arose from mathematical psychology and is most often used in market research to find out what combination of features is most attractive to potential customers. The practical attraction is that with some simple software it is possible to find out how a person values different aspects of the future or of things, and so create an approximate model of their objective function in just a few minutes. This can be done for an individual, or for a group of individuals. If a leader wanted to know what people thought they should be aiming for in the organisation this is a simple and unusually precise way to do it. Example: Project trade offs. A rather generic way to assess a persons priorities in a project is to use three attributes of the projects outcome: cost, completion date, and quality of result. A number of levels for each of these must be defined specific to the project. The conjoint analysis program then asks people, individually, questions about which trade offs they prefer. For example, What is your preference between a plan that means finishing the project in December for a cost of 2m, and finishing in October for 2.5m, all other things being equal Differences between individual views will quickly become apparent. To apply conjoint analysis you have to define the object or situation in terms of a number of attributes, each of which has two or more possible levels. (If an attribute varies continuously so that there are infinitely many levels it can take it is still possible to choose a small sample of these and interpolate approximately for levels in between.) The software then poses a series of questions about how much you prefer some combinations of attribute levels to others, and uses your answers to build up a multi-attribute utility function. In the simplest models each attribute level has a utility worked out for it, and the total utility of a situation is simply the sum of the utilities attached to each attribute value. (In other models the value of an attribute level depends on the levels of other attributes, but these require asking more questions and are rarely much more accurate so are less commonly used.) The model can even give an idea of the relative importance of different attributes. However, this is for a given set of possible levels for each attribute and meaningless otherwise. For example, if the difference in utility between the best and worst levels of attribute A is 10 and the difference between best and worst for attribute B is 5, then A is twice as important as B for the attribute levels considered . So, in selecting levels for attributes in your testing it is a good idea to choose them to span the full feasible range for every attribute so that the relative importance of attributes is not misleading. Putting numbers into a simple formula improves decision making. Humans have so much difficulty combining several factors together in any decision that even apparently crude models perform better, e. g. a simple linear model such as: overall score L1 x w1 L2 x w2 L3 x w3, with three attribute levels (L1, L2, L3) multiplied by three weights (w1, w2, w3). Numerous experiments have shown that making probability judgments (a similar task involving combining factors) is better done with a linear function than with unaided judgment. If the level values are normalised so that they have the same distribution as each other even choosing the weights at random gives a judgment more accurate and consistent than un-aided human judgment. Conjoint analysis means we can assign meaningful weights that mimic human judgements, but perform more consistently. Faster uncertainty management extended to include goal systems The techniques of most value are those that allow us to make powerful inferences about the actions we should take, quickly and easily, from limited and poor quality information. They should help us pick out the relevant information from a confused situation, quickly and reliably, and allow us to make the main decisions about future action with ease. With the ability to get close to good answers quickly, it only remains to add more sophisticated refinements where necessary for precision in big decisions. Inferences from degrees of uncertainty A basic technique is to list out areas of relevant uncertainty (or update your existing list), consider the amount of uncertainty faced, and consider the extent to which you could reduce that uncertainty and how you would do it. Knowing the common reasons for uncertainty can make it easier to spot: Novelty - particularly where new conditions are different from conditions that have been unchanging for some time and which you have become accustomed to. It can be difficult to identify and review all the ways in which assumptions about that factor have become embedded in your current behaviour so errors are common. Complexity - particularly when the complexity is from numerous, interconnected elements interacting. Speed - because if you have less time to gather information and think you will have to guess more. Intangibles - especially psychological things. Predicting human behaviour is extremely difficult. First cut actions flow as follows: If uncertainty is high for a relevant area and it would be easy to reduce it by research, decide to do the research, though not if that research could influence actual outcomes adversely (e. g. dont ask a competitor if they intend to block your next strategic move it could prompt them to do so). If uncertainty is high for a relevant area and we will probably get useful new information if we monitor and wait for it, decide to monitor. (This decision is independent of the research decision.) If uncertainty will remain high whatever we do, choose one of the robust patterns of action (see below) such as multiple-stages, portfolios, reusable blocks, or cheap commitments (though you would probably want to do so anyway). Do not let someone else push risk onto you unless you have to. If this leads to too many actions or to actions whose cost-benefit is in doubt one can always prioritise the actions and decide which are worthwhile. Example: Running conferences. Imagine you have a job in the Conferences department of a thriving society for people who study lichens. Your role is to gather ideas for conferences, arrange them, sell them, run them, and report on the results obtained. Youve been doing the job for a year and its turned out to be a lot more difficult than you expected. On top of all the stress of getting everything ready for each conference there is the problem of deciding whether to go ahead with a conference idea. It all depends on how many people attend, which is proving very difficult to predict and nobody in your department seems to have more than a vague idea, even though they still seem confident they can predict demand and always act surprised when things turn out differently from their expectation. One of the most awkward situations is to have to abandon a conference because of poor take up after it has been advertised and some people have signed up. This has happened three times in your first year and it is more costly than you expected because the venue is usually paid for in advance and only a small part of the fee is refundable. Thinking about the uncertainty you face it is obvious that it is mainly uncertainty about demand. This is generated by the intangible nature of the interests of the scientists who might come, and is worse for conferences that are on unusual topics not previously explored. By contrast, the annual conference on Scandinavian tree lichens has been running for 12 years and attendance is pretty steady. However, this uncertainty can be reduced by appropriate research. You decide to try a survey using a market research method called conjoint analysis at the next big conference and also on the societys web site to find out what the members value in a conference (including rating specific topics), and exactly how much. For example, what is the impact of the venue, the time of the year, the narrownessbreadth of the topic area, the style of the presentations, and the reputation of the main speakers Using the analysis will give you a much better chance of proposing conferences with a good chance of at least breaking even. The uncertainty can also be reduced by waiting more time to see how many people actually do sign up. However, the problem of non-refundable venue fees has to be reduced at least. You survey suitable conference venues to find out their cancellation fees and discover that some will refund closer to the date of the conference than others. By favouring these venues for novel conferences, encouraging members to sign up early, and monitoring the growth of committed attendees you can avoid the venue fee problem much more often than in the past. Inferences from specific uncertainties Another basic technique is to list out specific uncertainties in a relevant area (or update your existing list) and consider the extent to which you could reduce that uncertainty, influence the probabilities involved, or change the impact of alternative outcomes. Decisions about how to reduce the amount of uncertainty by research and monitoring flow as previously described. For influencing probabilities and impacts, first cut actions flow as follows: If you see a way of reducing the negative impact andor increasing the positive impact of a possible outcome, note it down as it might be useful. (Basic techniques include sharing the impact with someone else, having a contingency plan and any necessary resources in place, having some fallback in place, getting insurance, creating a buffer or insulation, reducing a commitment, weakening the causal links between the outcome and the negative consequences, and giving yourself more than one chance.) Having considered ways to modify the impact of outcomes, do you see any ways to make outcomes that are, overall, positive in their impact more likely Do you see how to make outcomes that are, overall, negative in their impact less likely If so, note them down. (Basic techniques include weakeningstrengthening the causal link between drivers of the outcome and the outcome itself, putting your best people on the most important uncertainties, altering things that are drivers of the probabilities, and avoiding combinations of hazards at the same time by changing the timing of events.) Do any of the actions noted down look worthwhile If so, decide to do them. Once again, having quickly roughed out some actions it may be worthwhile going into more detail to get precision or a more comprehensive and knowledgeable analysis by using a more sophisticated approach as well. There are lots of different styles to choose from but actual practice tends to be let down by a range of reasoning errors. My paper on Straight and crooked thinking about uncertainty mentions several. Considering the uncertainty around objectives Having identified a goal system it is helpful to have a quick look to see which elements have most uncertainty attached, and which are most likely to change in future. Knowing that a particular element is likely to change, you can make it easier to handle those changes should they arrive. Often, the goals are the result of a customers requirements. The customer might be internal or external to the organisation concerned. To identify uncertainty around these you can talk to the customer, and also consider the conditions they face. This helps identify potential changes of requirements - perhaps even before the customer recognises them. Quantification Quantification is important in thinking about risks and uncertainty, but need not imply expensive research or computation. Putting numbers on subjective certainty is a vital step forward from ignoring uncertainty or assuming you have no probabilistic information at all. Supporting judgement with data makes those judgements more reliable. Individual risks (i. e. potential outcomes) can be rated for their probability of occurrence and impact if they did occur. However, this technique cannot be applied to sets of risks, so in most practical situations a more sophisticated quantification method is needed. Example: Corporate risk registers. Company risk registers tend to cover very many risks in a summarised way so it is not surprising that many of the risks that appear on them are actually sets of risks. This happens in various ways: General category names . For example Health and safety is not a specific risk. It is a way of referring to all the risks in a category. Lists of risks . Sometimes people actually list more than one risk explicitly within a single row on their risk register table. Events that could occur more than once . For example, if your company has several data centres you could have several explosions at data centres so Explosion at data centre is really a set of risks whose elements are 1 explosion at a data centre, 2 explosions at data centres, 3 explosions at date centres, and so on. Risks of variable extent . For example, an item like Loss of market share is not a single risk but a set of them, one for each possible extent of loss of market share. Obviously a loss of 2 has a different impact to a loss of 20 and probably a different likelihood as well. Sometimes people try to deal with this by having more than one risk on the register. For example, A small loss of market share and A large loss of market share. This shows an awareness of the problem but it is hardly a solution. If sets of risks are rated for probability and impact in the usual way this is a logical error that invalidates the ratings. Sets of risks can be rated by estimating the probability distribution of impact. If the number of risks in the set is small the distribution can be a discrete distribution with every risk considered individually. For example, if there are only five outcomes their probability and impact ratings can be combined on one table or graph e. g. Discrete probability distribution of impact Using robust project patterns Projects can be designed in various ways and it helps to use one or more of the robust patterns in your designs. The main robust patterns are: Multiple-stage projects where each stage is valuable in itself, with opt outs: In this pattern there are two helpful things going on. Firstly, each project stage is designed so that it is worthwhile in itself and would be desirable even if it was decided not to go on with further stages. Secondly, there is the option to quit after each stage, and do no more stages. Both contribute to average returns, and improve them provided excessive sacrifices were not made to design the project in that way. Portfolios: The portfolio pattern means putting your eggs in several baskets, instead of just one. This is the normal approach with investing in company shares, but also applies to research projects, new products, new systems, and so on. The idea is often to try lots of things and monitor closely for signs of successes that can then be pushed harder, while failures are pruned away. The benefit of diversification in this way is greatest if the performance of the individual investments is not correlated. Sometimes people standardise something in an organisation for perceived efficiency benefits without allowing for the loss of variety and the implications of having reduced learning by leaving fewer experiments with which to discover success. Reusable blocks: Building or achieving something that could be re-used in other projects or to meet other objectives is another useful pattern. Reusable blocks tend to have a more robust value across a variety of objective functions, i. e. they are more likely to stay useful even when the objective function changes. Reuse also has good environmental credentials. Cheap commitments: Generally it is better to make low commitments if you can. Avoid up-front investment wherever possible. Delay commitments. Make your commitments low. Pareto value sequencing: Often, you can divide the work and prioritise it so that the items of greatest value can be done first, with less important items left until later. If time or resources run out before the lesser items are done this is less damaging than if an important item is left undone. The project degrades gracefully. For example, it is often safer to create a rough but complete version of a deliverable first, then do a series of refinements, than to do half the deliverable to full refinement, then start working on the second half. Another example would be trying to get everyone in a team to learn Dynamic Management by Christmas. Not everyones skill in Dynamic Management will be equally important, so start where Dynamic Management is most useful and move out from there. Systematic risk reduction through variable costs: Systematic risk is risk that comes from general economic conditions and affects just about all businesses though to different extents. Some investors use a number called beta to represent how much a companys results are affected by general economic conditions. These investors consider a low beta desirable and worth paying extra for because it shows that returns from the company are steadier whatever the economic climate. One way to reduce your beta is to do what you can to keep fixed costs a low proportion of your total costs. Fixed costs are costs that do not vary with your output or sales. Systematic risk reduction through counter cyclical activities: Another way to get a lower beta is to combine two activities that react in opposite ways to economic conditions. For example, insolvency plus services to create new companies, or selling new and used cars, or housebuilding and renovation, or taking deposits and making loans, or a recruitment agency that also does outplacement advice. While trying lots of things to see what works is essential in many common areas and should be happening in all organisations, trial and error alone is not as efficient as trial and error plus expertise. For example, people who design user interfaces for computer systems vary in their skill. Really skillful ergonomists know that only usability tests will drive out the usability bugs in their designs because of the difficulty in predicting human responses. However, experiment has shown that the initial design by an expert ergonomist is generally better than a non-experts design after several rounds of usability testing. Faster teamwork that gets more people involved in rethinking Dynamic Management is not a mandate for unconstrained, uncoordinated improvisation. It is not a mandate for undirected, haphazard experimentation. On the other hand, Dynamic Management does work much better if people from all levels and areas of an organisation can feed into decisions about goals systems, plans, uncertainty management, and so on. Uncertainty and the risk of failure are much reduced when plans are made rapidly right down to the crucial details on which performance will depend. People need to be able to see the whole picture and make their plans accordingly. Example: Sam Walton. The man who created Wal-Mart and made himself a billionaire in the process was relentless in his search for grass-roots ideas to improve his business. Many of his clothes were bought from his own stores. He visited competitors shops almost compulsively. On one occasion he flagged down a Wal-Mart 18 wheeler to ride for 100 miles, pumping the driver for ideas all the way. The driver was not expecting his passenger but knew, like other employees, that Sam would take his ideas seriously. Involving team members at various levels in thinking about changes to goals and the objective function has nothing to do with achieving buy in. The reason for doing it is to maximise learning and get the best information, experience, and thinking applied to management. This contrasts with typical management thinking from the late twentieth century where a senior elite decides the goals then tries to get them supported by involving people at lower levels to get their buy in. This has always seemed somewhat phoney to me as so much has actually been decided and will not change even if it is discussed. Often, the discussion is really negotiation over performance related pay or evaluation targets in which underlings try to argue for the easiest targets possible while their bosses demand more while trying not to seem to be imposing targets, even though eventually they do. In Dynamic Management, the involvement of people at lower levels in the corporate hierarchy is to get the benefit of their knowledge and take account of their interests to some extent, and will normally lead to some modifications to goals and the objective function. This is because so much depends on the operational detail of performance (particularly in contacts with customers). In Bottom Up Marketing, advertising experts Jack Trout and Al Ries, famous for inventing the modern marketing concept of positioning, point out that so much depends on having a tactic that wins in the marketplace, and such tactics are so hard to find, that making a strategy without having one identified is likely to lead to failure. They give numerous examples of companies where a senior elite set out a vision of rising revenues and profits, handed targets down to lower levels of management for them to find tactics that would deliver those financial results, and watched while no such tactics could be found and the company lost money. Ries and Trout liken a winning tactic to a nail, and strategy to the hammer. The purpose of the strategy is to drive home the nail as strongly as possible. But you have to have a nail, and you should make sure you have a good one before making commitments to a strategy. (This is a general rule of uncertainty management. If theres a big uncertainty in a venture, it is usually preferable to try to resolve it early if possible rather than waiting until you have committed more resources.) Goals should reflect what you and your organisation are capable of doing. To find out what youre capable of doing you need to get down to the detail that determines the results of trading or service delivery. Therefore, what happens at the detailed, everyday level familiar to those at the bottom of the hierarchy is vital to the goal system and must be brought into the thinking. The input of people who actually do the work of the organisation rather than just managing it must be able to influence all the goals and objective function. Efficient involvement in changes Getting lots of information from different parts and levels of an organisation pulled together and considered, repeatedly as conditions change, demands extremely efficient techniques for communication and decision making. If every piece of news meant getting away for an off site with the whole organisation to debate it nothing else would get done. There are a number of techniques that can be efficient enough provided they are done well and the appropriate techniques are chosen to suit circumstances. Who should be involved in decisions to change goals, world models, etc It cannot be everyone, every time as this would mean nothing could be changed quickly. The groups leaders will have to make some decisions about who needs to agree to each change, who needs to give their views, who will just be told about the change afterwards, and who wont find out unless they take the trouble to look at the groups documentation. The groups leaders will have to make some decisions about who will talk to whom, what groups ought to meet, and so on. Here are some techniques that can be used: Near decomposable structures: Often an organisation can be divided into units that are near decomposable in the sense that communication within the unit needs to be much greater than between the unit and other units. Often, it will be obvious in advance that some goals only concern an individual or sub-set of the group so wider consensus or involvement is not needed. Full advantage needs to be taken of this. In other words, decentralisation can be a solution to the planning problem. Prefabrication of solutions: Both strategy and tactics have to be in place at once and before commitments are made if the risk of finding there is no solution is to be mitigated. Furthermore, a lot of this has to be revised frequently (more than once a year). This is not possible by following sequential problem solving methodologies. However, it is done successfully by many people because they already have a vast mental store of solutions to potential problems, and they assemble these prefabricated solutions together to tackle new situations. Some simple modeling of problem spaces suggests that the benefits of tackling problems simultaneously from the top down and bottom up increase as problems grow in size. For large problems it is orders of magnitude more efficient than proceeding in one direction only. Building this store of solutions to likely problems takes a long time and a lot of effort and thought. This is rarely done and leaders have to convince their teams they are open to suggestions if they expect people to come forward with this sort of ability. Well connected leaders: Leaders tend to be more connected than others in an organisation and this is traditionally why they are the ones who get together to make the big decisions. However, there is a problem here because in practice people who are leaders in large organisations are still too far removed from the real work of the organisation to represent the front line. So much information is lost as it percolates up that leaders are left making abstract decisions on the basis of generalisations that are often distorted along the way by preconceptions and other human weaknesses. To overcome this leaders need to have direct contact with people at all levels. Getting facts behind the suggestions: One problem with suggestion schemes, focus groups, and so on is that the vast majority of the points raised are bad ideas or requests for more money for less work. Ideas tend to be poorly thought out, unworkable cliches that sound bright and politically correct but lack the practical details and efficiency refinements that would give them a chance of working. Not surprisingly nothing comes of such ideas though most leaders try to look as if they are taking them seriously and may even try them at times. This is only to be expected since everyone at every level in an organisation suffers from the same problem: we all have just a part of the picture. To bring all parts of the picture together it is not particularly helpful to just put forward suggestions. It is much more useful for everyone to hear the problem or incident that prompted the suggestion, and other related facts too. It may be that the suggestion is a poor one, but a different interpretation making use of information from someone else leads to a truly good idea. The suggestion is not even needed, though if it exists it should be put forward too. This applies when senior managers put forward their business plans and when front line staff explain their bright ideas. The listeners should always try to get to the experiences that prompted the ideas. This improves understanding of the ideas as well as giving the possibility of producing new, better ideas from bringing together more parts of the picture. Detailed research presented with rich detail: Another way to bring crucial details into the board room is to commission detailed research designed to capture the crucial details and presented in a way that conveys the crucial observations in a realistic, rich, dramatic, personal way. Video tape, recordings, quotes of people speaking, anecdotes, and crucial statistics can bring home points that contradict the preconceptions of the audience and stimulate beneficial change. Managed communication channels: Conversations in which different parts of the picture are moved and shared around an organisation can be planned and encouraged to happen. (Databases and emails can be used too but mostly this is creating a barrier to communication rather than encouraging it. Better to have a teleconference or meeting where people can ask unscripted questions and make rapid progress.) Desired flows of information can be drawn on a diagram where squares represent groups or individuals in the organisations and annotated arrows show information passed between them. The frequency, topics, and attendees of meetings to carry the information flows can easily be written on and used to explain what is proposed. For example, if sales people should be passing on their experiences to the marketing department and product development team then schedule some quick but focussed meetings to do exactly that, regularly or on some other timing basis. Too many organisations resolve to improve communication but dont actually draw out what should be communicated and between which parties. Co-location: If people work close together - adjacent desks, or in a project room for example - communication is encouraged. Representative groups of the right type of people: Sadly there is a second reason why most suggestions are poor ones, which is that only a few people are good at planning and problem solving where the solution requires new thinking. Many of the problems organisations seek to solve are long standing ones that have stubbornly resisted all obvious solutions so original thinking is normally needed. Individuals capable of original thinking can exist at any level but they are a minority. A group put together to tackle some issue or stimulate some change should be composed chiefly of these people, as far as possible, consistent with the need to get the right experiences and connections into the group. Genuine openness to input: The number of people able to put forward good ideas can be increased by showing that it is worth putting in the effort to create them. When people feel that there is no point making any real proposals because the leading elite has already made up its mind and the consultation is phoney then they will not make the effort to develop ideas properly. Dynamic Management means that even the goal system is up for discussion, so over time Dynamic Management means more people with well thought out ideas to put forward. In addition, if people are given more of the information that leaders have they can make better suggestions. Spreading knowledge It is helpful if members of a team working with Dynamic Management know the goals and objective function, and know the world models being used. They also need to know about changes in the factors that drive the goal system. This helps them fill in the detail for themselves and organise and act without waiting for centrally issued commands. However, it is unrealistic to expect that everyone will know and understand all of this material. Inevitably, some people will have a much better grasp than others. Dynamic Management tends to help with this because it requires frequent reviews of goal systems and their related thinking. By going through that thinking repeatedly group members improve their memory of it, their understanding of it, and their ability to act in accordance with it. This contrasts with the common experience of finding that a strategic review has become dust-gathering shelfware. Shared views It is also unrealistic to expect a commonly held view of what the goals etc should be. Some people in a group will believe that the goals etc in use are the right ones, but most will see them as just the ones were working with at the moment and disagree with some or all of them. Provided people work along with the formally adopted group position there is no harm in dissent. On the contrary, it is from the dissenters that improved thinking is likely to arise. Personally, I dislike being in a group where holding a different view triggers strong social pressure to conform both in action and belief. In addition, I believe it inhibits thinking and slows adaptation. The technical term for this is groupthink. Skilled uncertainty management tends to reduce disagreement - or at least makes it possible to live more harmoniously with it. Much of the difference in view between people is in their subjective estimates of the likelihood of various events. Often, the heat of an argument exaggerates the magnitude of the difference. When this is found to be the case it is often possible to agree that the future is not known by anyone and we can at least agree that the outcome is uncertain. That may be all the common ground needed to agree an appropriate action, such as monitoring the risk. For example, suppose a plan is put forward and adopted, but soon a member of the group realises that the plan is a poor one because it is based on a bad forecast and will fail because of a factor that has not been taken into consideration. While proponents of the original plan may not accept that their plan is flawed, they might still be persuaded that there is a risk that threatens their plan, and that a sensible step can be taken to manage that risk. Taking that step may well reveal whether or not the plan was flawed and so provide the facts needed to revise it without further argument. Empowerment Empowering people in an organisation is also helpful in creating the ability to adapt to a changing, unpredictable, complex, even chaotic environment. This does not help directly with the problem of getting low level input into high level goals, but it does allow low level decision making to be better aligned to overall strategy. Empowerment has been well explained by a number of authors and it is generally accepted that it involves: Providing a framework of constraintsprinciplesvalues within which people are encouraged to make decisions themselves as if they were owners of the company. Providing information that traditionally only leaders would have, so that everyone is able to make decisions. Providing continued encouragement and not punishing honest mistakes, since empowerment takes time and people dont always get it or want it initially. Good reasons The various elements of the world view and goal system are likely to be more acceptable and memorable if they are explained with good reasons. For example: Which is more memorable and more inspiring Without good reasons With good reasons Conclusion Management thinking in the late twentieth century has become increasingly concerned with control exercised by comparing actual results with original plans or expectations. The emphasis is on achieving original goals, which themselves are set by a strategy formation activity that occurs infrequently and is done by a senior elite in the organisation. Yet this is neither sensible nor close to actual, natural behaviour. In contrast, Dynamic Management is management that confidently and skillfully learns and adapts to changing circumstances, refining and revising goals as often as needed so that action is always guided by the latest, best, and most informed thinking. Managing in todays organisations would be more effective, and more enjoyable if we rejected the focus on goals fixed in the past and instead recognised and welcomed the changes we face, using Dynamic Management. Further reading The Cranfield School of Management paid Accenture to survey views on budgeting, though I dont think Accenture have quite understood the full implications of their results, being more interested in promoting expensive software implementations. A more comprehensive critique of budgeting can be found at the Beyond Budgeting Round Table. which is a fantastic source of information and ideas. The fatal flaws in current Performance Appraisal systems are brilliantly analysed by Tom Coens and Mary Jenkins in Abolishing Performance Appraisals, though the title is rather misleading. They dont want to abolish appraisals, just integrated appraisal systems which try to meet every appraisal need in one system. The advantages of Uncertainty Management over Risk Management are quite well explained by Stephen Ward and Chris Chapman in Project Uncertainty Management as a Desirable Future . A number of case studies of large IT projects are reported in From Control to Drift, The Dynamics of Corporate Information Infrastructures by Professor Claudio Ciborra and others. Dr Dan Remenyi explains Active Benefits Realisation in a book called Achieving Maximum Value from Information Systems: a Process Approach and gives some idea of the thinking behind it in a paper available on the web called The Elusive Nature of Delivering Benefits from IT Investment . The Australian survey showing how hard it is to anticipate benefits of IT in advance was by Chad Lin and Graham Pervan and reported in Realising the Benefits of ISIT Investments in Australian Organisations . The Dynamic Systems Development Method is promoted by the DSDM consortium in many countries. This website is the official source but you do have to be a member to get anything useful from it. Tom Gilb has provided a description of Evolutionary Project Management. Tom has more great material on his personal site at gilb . Dynamic Strategic Planning for Technology Policy by Richard de Neufville explains Dynamic Strategic Planning. Igor Ansoff sets out his ideas on objective functions in Corporate Strategy. Its a classic. Howard Raiffa reports his experiments in negotiation in The art and science of negotiation, which nicely blends real examples, experiments, theory, and a little easy mathematics to make some very interesting and useful points. Conjoint Analysis is explained quite well in various papers by Sawtooth Software. who offer computer programs that use a variety of methods to work out a persons multi-attribute utility function. Using calculations to combine human judgments is discussed with conviction by Robyn M. Dawes in The robust beauty of improper linear models in decision making, which appears in a collection edited by Daniel Kahneman, Paul Slovic, and Amos Tversky called Judgment under uncertainty: Heuristics and biases, which is a classic. Bottom Up Marketing by Al Ries and Jack Trout is a great book, that ranks alongside their other seminal works, Positioning: the battle for your mind and Marketing Warfare. The clearest, and most convincing account of empowerment I have read is in Empowerment Takes More Than a Minute by Ken Blanchard, John P. Carlos, and Alan Randolph. Roger Lewin and Birute Regine have written a book about complexity science applied to management called The Soul at Work. While their theories may not be convincing to many readers the case histories provided are excellent and give so much detail that one can experiment with other interpretations. Acknowledgments: I would like to thank all those who have read this page and commented. I consider every point carefully and often make improvements as a result. About the author: Matthew Leitch has been studying the applied psychology of learning and memory since about 1979 and holds a BSc in psychology from University College London. Until very recently he worked as a consultant in risk management and systems for a leading professional services firm. Working with internationally known organisations, he pioneered new methods of designing and evaluating internal control systems for large scale systems and business processes and contributed to thinking on corporate governance. However, this web site is not connected in any way with his former employer nor are the views expressed here connected with the views of his former employer. Words copy 2002 Matthew LeitchPage Not Found We encourage you to report this problem so we can correct it as quickly as possible. A few things might be going on here: Due to a recent site redesign, the page doesnt exist anymore. There could be a typo in the URL. The link you followed might be broken for some other reason. To find your way as quickly as possible, try searching for keywords associated with the page you were looking for. Help Yourself Order Help Track an order. Questions about ordering, shipping or your account: Technical Support Product or technical questions: Return to Top of Page

No comments:

Post a Comment