主要的電腦廠商可以故意在程序中設(shè)置漏洞，以測試工廠的反應(yīng)水平。通過故意關(guān)閉關(guān)鍵的生產(chǎn)設(shè)施，來驗(yàn)證備用系統(tǒng)和冗余設(shè)計的：際工作狀況。當(dāng)系統(tǒng)正在上線工作，為真正的客戶生產(chǎn)，這樣做似乎有！危險，盡管如此，這是唯一能夠測試巨大而復(fù)雜的系統(tǒng)的方法。小范圍測試和模擬反映不出系統(tǒng)的復(fù)雜性、抗壓水平，以及比擬真實(shí)系統(tǒng)故障意外事件。
埃里克·霍納格爾( Erik Hollnagel)、戴維·伍茲(David Woods)南希·萊維森( Nancy Leveson)是這個主題一系列有影響力的書的作者他們嫻熟地總結(jié)如下：
修補(bǔ)回復(fù)工程是安全管理的范例之一，關(guān)注于幫助人們在壓下成功應(yīng)付復(fù)雜的環(huán)境以取得成功。它與現(xiàn)在典型的模式有巨大異——將差錯列成表格，好似一件事情，然后干預(yù)并降低其數(shù)量實(shí)施修補(bǔ)回復(fù)工程的組織將安全視為核心價值，而不是可以清算商品。實(shí)際上，在沒有發(fā)生安全事件時才能看到安全的影子！不要回顧過去的成功案例作為分配時間和精力的理由，實(shí)施修補(bǔ)工程的組織要持續(xù)關(guān)注于預(yù)測故障的潛在變化，因?yàn)樗麄兩钪躁P(guān)于事故的知識仍有欠缺，而且周圍環(huán)境在不斷改變。對修補(bǔ)回工程的一個評價是預(yù)見的能力，即在故障和損傷發(fā)生前，預(yù)測風(fēng) 的形勢變化。（摘錄已得出版方許可，埃里克·霍納格爾、戴維·茲、南希·萊維森，2006年。）
自動化的悖論
機(jī)器正越來越聰明。越來越多的工作可以完全自動化。隨之而來一種傾向，認(rèn)為很多與人類控制相關(guān)的困難就要消失了?？v觀全球，交通事故每年造成數(shù)百萬人傷亡。當(dāng)我們最后廣泛使用自動駕駛汽事故和傷亡概率將可能令人吃驚地大幅下降，僅僅由于自動化技術(shù)在工廠和航空領(lǐng)域增加了效率，同時降低了差錯和傷殘率。
當(dāng)自動化系統(tǒng)工作正常時，好極了，但當(dāng)它出了故障，其結(jié)果通常無法預(yù)計，也許會非常危險。如今，相較于沒有電力供應(yīng)以前的家庭和商業(yè)，基于自動化和網(wǎng)絡(luò)運(yùn)行的電氣設(shè)備極大地減少了工作時間。但是電網(wǎng)停止運(yùn)行，也將影響大批的用戶，需要很多天系統(tǒng)才能修復(fù)。使用自動駕駛汽車，我預(yù)言會產(chǎn)生更少的事故和傷殘。但如果出了事故，將會是大事故。
自動化技術(shù)越來越強(qiáng)大。自動化系統(tǒng)能夠接手以前需要人來完成的工作。汽車的自動駕駛系統(tǒng)不僅僅維持舒適的溫度，自動駕駛可以讓汽車行駛在指定的車道，并與前車保持適當(dāng)?shù)木嚯x。自動駕駛系統(tǒng)可以讓飛機(jī)從起飛到著陸自己飛行，或者讓船只自己航行。當(dāng)使用自動化系統(tǒng)時，工作完成得比人還好。此外，它將人從枯燥乏味、令人厭煩的日常工作中解放出來，可以更加高效地利用時間，減少疲勞和差錯。但如果任務(wù)太復(fù)雜，自動化系統(tǒng)便應(yīng)付不來。當(dāng)然，此時往往卻是最需要它們的時候。自動化的悖論就是能夠執(zhí)行那些枯燥乏味、令人厭煩的工作，但是不能做太復(fù)雜的工作。
當(dāng)自動化系統(tǒng)發(fā)生故障，經(jīng)常沒有警告。我在自己的其他書和很多論文里非常詳細(xì)地梳理過這種狀況，很多在安全與自動化領(lǐng)域的人都有同感。當(dāng)發(fā)生故障時，人“在系統(tǒng)環(huán)路之外”。這意味著人沒有太注意系統(tǒng)的運(yùn)轉(zhuǎn)情況，人們需要一些時間才能注意到故障，評價分析，然后決定如何處置。
在飛機(jī)上，當(dāng)自動駕駛失效，飛行員通常有相當(dāng)長的時間了解狀況并做出反應(yīng)。飛機(jī)飛得很高：地面上空一萬米（6英里），所以即使飛機(jī)開始下降，飛行員還有幾分鐘做出反應(yīng)。此外，機(jī)組都受過很好的培訓(xùn)。但當(dāng)汽車的自動駕駛失效，司機(jī)恐怕只有幾分之一秒來避免發(fā)生事故。即使對于多數(shù)熟練的司機(jī)，這都非常困難，更何況很多司機(jī)并在另外一些狀況下，諸如船只，會有更多時間做出反應(yīng)，但經(jīng)注意到自動駕駛發(fā)生故障。有一個戲劇性的案例，在1997年，下”號擱淺。故障持續(xù)數(shù)日，只是在事故發(fā)生后才發(fā)現(xiàn)問題，那經(jīng)觸礁，造成數(shù)百萬美元的損失。到底發(fā)生了什么？通常由全球 GPS)確定船的位置，但是將衛(wèi)星天線連接到導(dǎo)航系統(tǒng)的線纜不開了（沒有人知道是如何斷開的），結(jié)果，導(dǎo)航系統(tǒng)自動從使用轉(zhuǎn)入到“死循環(huán)”，即使用估算的速度和航行的方向來給輪船定設(shè)計導(dǎo)航系統(tǒng)時沒有將這個模式顯示出來。結(jié)果，當(dāng)輪船從百豢的地波士頓時，太偏向南方，擱淺在科德角（Cape Cod，波士蛔突出的一個半島）。自動導(dǎo)航幾年來都工作得毫無瑕疵，人們信它，所以沒有人對它進(jìn)行正常的人工定位，或者仔細(xì)分辨顯示烈[細(xì)小的字母“dr”代表“dead reckoning”船只定位故障模式]。
嚴(yán)重的功能狀態(tài)失效。應(yīng)對差錯的設(shè)計原則
