§ 1 Введение

Целью вычислений при наличии обратимых повреждений является построение надежных систем, которые вычисляют правильные результаты даже сталкиваясь с локальными неудачами. Например, если один из модулей отказывает, скажем, из-за ошибки программирования, то другие модули продолжают вычисления, закрывая неудачу первого модуля. Будет изучен ряд новых методов, чтобы осуществить эту исключительно сильную форму модульности.

Отказ системы – отклонение фактического поведения системы от запланированного поведения. Один из разделов проектирования системы, устойчивой к ошибкам, определяет, что конкретно составляет желаемое и не желаемое поведение.

Отказы происходят из-за ошибки в модуле. Причина ошибки – дефект. Дефекты подразделяются на 4 категории:

1. Дефекты аппаратуры (например, отказы в работе устройств).

2. Дефекты программного обеспечения (погрешности проектирования).

3. Дефекты среды (наводнения, землетрясения)

4. Дефекты управления (погрешности операторов и ремонтного персонала).

Для того, чтобы оценить надежные системы, нужен метод измерения надежности. Можно моделировать срок службы модуля, как последовательность периодов правильной работы (когда модуль делает то, что предполагается делать) и неправильной работы (когда он не делает то, что предполагается делать). Таким образом, надежность системы может быть измерена, как процент времени, когда она выполняет свои функции (работает правильно).

Среднее время от начала правильного выполнения до первого отказа называется средним временем наработки на отказ, Т_о. Это – статистическая величина. Время от первого отказа до момента, когда модуль снова заработает правильно, статистически определяется, как среднее время до восстановления, Т_в . Надежность может быть теперь количественно определена, как Т_о / (Т_о + Т_в). Величина Т_ср = Т_о + Т_в иногда называется средним временем между отказами. Например, можно сравнить стандартную компьютерную систему IBM (Т_ср = 9 дней, Т_в = 10 минут) и компьютерную систему Tandem (Т_ср = 11 лет).

Общий подход к проектированию надежных систем прост:

1. Обнаружение ошибок (требует планирования).

2. Помещение ошибок в «контейнер» (модульность и изоляция дефектов).

3. Исправление ошибок.

Что представляет собой общая методика исправления ошибок? Дефекты аппаратных средств могут быть преодолены с помощью копирования данных и обработки, маскирующей отказы. Чтобы сделать малым Т_в, применяется самодиагностика системы. Подход к преодолению погрешностей операторов и обслуживающего персонала состоит в том, чтобы уменьшить возможность ошибок (т.е. устранить оператора, осуществлять самонастройку и самопроверку, и т.д.). Дефекты окружающей среды могут быть преодолены с помощью эффективной репликации (дополнительные источники энергоснабжения; не устанавливать систему там, где она может быть затоплена; иметь дополнительные линии связи; копировать систему полностью). Для текущего состояния технологии, главная проблема – ошибки аппаратного и программного обеспечения.

§ 2 Обеспечение надежности микропроцессорных информационно-управляющих вычислительных систем (увс).

Под надежностью изделия (элемента, узла, устройства, системы) понимается свойство последнего сохранять свое качество при определенных условиях эксплуатации в течение заданного промежутка времени, т. е. надежность — качество, развернутое во време­ни. Количественно надежность характеризуется рядом интерваль­ных, интегральных и точечных показателей.

Невосстанавливаемые изделия — изделия, поведение которых существенно лишь до первого отказа, — характеризуются следующими количественными показателями надежности: интенсивностью отказов λ(t); частотой отказов f(t); вероятностью безотказной ра­боты P(t); вероятностью отказа Q(t); наработкой на отказ Т_о.

Восстанавливаемые изделия — изделия, эксплуатация которых допускает их многократный ремонт,— характеризуются следующими количественными показателями надежности: параметром потока отказов ω(t); параметром потока восстановлений μ(t); функцией готовности К_г (t); коэффициентом готовности К_г; средним временем работы между двумя отказами t_ср; средним временем восстановления t_в.

Если в процессе функционирования невосстанавливаемого изделия возможен ремонт отдельных его элементов при сохранении работоспособности изделия в целом за счет резерва или если надежность функционирования восстанавливаемого изделия оценивается в интервале времени до первого отказа восстанавливаемого изделия в целом, то такие изделия характеризуются следующими количественными показателями надежности: вероятностью безотказной работы P(t); вероятностью отказа Q(t); наработкой на отказ Т_о; параметром потока отказов элементов изделия ω(t); параметром потока восстановлений элементов изделия μ(t).

Количественные показатели надежности невосстанавливаемых изделий. Интервальные показатели надежности — вероятность безотказной работы P(t) и вероятность отказа Q(t)—определяются как вероятности событий P(t)=P{τ>t} и Q(t)=P{τ ≤ t} соответ­ственно, где τ — случайный момент времени, в который происходит отказ. При этом P(t) + Q(t) = 1, P(0) = l, Q(0) = 0, P(∞)→0, Q(∞)→1.

Точечный (локальный) показатель надежности — интенсивность отказов λ(t)—определяется как вероятность невосстанавливаемого отказа изделия в единицу времени после момента времени при условии, что до этого момента времени отказ не возникал, т.е.

, (1)

при и с учетом (1) интенсивность отказов

, (2)

Интегрируя левую и правую части выражения (2) в пределах от 0 до t, нетрудно получить другую форму связи между вероятно­стью безотказной работы и интенсивностью отказов изделия:

;

. (3)

Рис. 1. Графическая зависи­мость интенсивности отказов изделий от времени

Интенсивность отказов λ(t) —один из наиболее удобных коли­чественных показателей надежности изделий электроники: инте­гральных схем, радиоэлектронных изделий (транзисторов, диодов, резисторов, конденсаторов и т. п.). Изменение интенсивности отка­зов λ(t) во времени большинства изделий электронной техники име­ет существенно нелинейный характер (рис. 1), тем не менее на большом по времени участке работы интенсивность отказов изде­лия обычно мало изменяется и принимается в практических расче­тах постоянной.

Следует помнить, что λ(t), оставаясь постоянной во времени на основном участке работы, существенно зависит от условий эксплу­атации изделия (климатических, механических и радиационных воздействий, электрической нагрузки и т. п.), т. е.

где a_i — поправочный коэффициент i-гo эксплуатационного факто­ра; λ₀ — интенсивность отказов изделия при номинальных (лабо­раторных) условиях эксплуатации.

Частота отказов f(t)—плотность вероятности времени работы изделия до первого отказа:

. (4)

С вероятностью безотказной работы частота отказов связана соотношением

(5)

Одной из часто используемых на практике интегральных харак­теристик надежности является наработка на отказ Т_о — математи­ческое ожидание случайного момента времени τ, в который проис­ходит отказ, т. е.

. (6)

Учитывая свойство преобразования Лапласа, заметим, что если известно изображение вероятности безотказной работы P(s), то

. (7)

Для экспоненциального закона вероятности безотказной работы изделия, т. е. при λ(t) = const и P(t) = exp (–λt), наработка на от­каз равна величине, обратной интенсивности отказов:

.

Количественные показатели надежности восстанавливаемых из­делий. Точечный (локальный) показатель надежности — параметр потока отказов ω(t) —удельная вероятность появления хотя бы од­ного отказа в единицу времени, т. е.

,

где П_o(t)—поток отказов — последовательность отказов, наступа­ющих в случайные моменты времени.

Точечный (локальный) показатель надежности— параметр пото­ка восстановлений μ(t) —удельная вероятность хотя бы одного вос­становления в единицу времени, т. е. где П_в(t) —поток восстановлений — последовательность восстанов­лений, наступающих в случайные моменты времени.

Среди множества различных отказов (восстановлений) в тео­рии надежности особое место занимает простейший поток отказов (восстановлений), поскольку наиболее важные для практики ре­зультаты получены в теории надежности именно для случая про­стейших потоков. Это объясняется тем, что поведение изделия как системы массового обслуживания при простейших потоках отказов и восстановлений описывается системой дифференциальных урав­нений с постоянными коэффициентами, методы решения которой хорошо разработаны.

Для практики расчетов надежностных показателей изделий очень важна связь между параметром потока отказов ω(t) восста­навливаемого изделия и интенсивностью отказов λ(t) того же из­делия, рассматриваемого как невосстанавливаемое, т. е. функцио­нирующее до первого отказа.

В [2] показано, что

, (8)

где f(t)= λ(t)P{t)—частота отказов невосстанавливаемого изде­лия.

Решение дифференциального уравнения (8) в предположении, что поток отказов соответствующего восстанавливаемого изделия простейший, дает ω(t) = λ(t).

Если учесть, что на практике в большинстве случаев предпола­гается, что λ(t)= λ =const, то ω(t) = λ, т. е. численно параметр по­тока отказов восстанавливаемого изделия равен интенсивности от­казов соответствующего невосстанавливаемого изделия.

В предположении, что поток восстановлений изделия простей­ший, на практике параметр потока восстановлений изделия находят как μ(t) = l / Т_в=const, где Т_в — эмпирическое (опытное) значение среднего времени восстановления (ремонта) изделия.

Точечный (локальный) показатель восстанавливаемого изде­лия— функция готовности K_г(t)—определяется как вероятность того, что в любой момент времени t изделие оказывается в рабо­тоспособном состоянии, т. е.

, если , и, если. (9)

где P_i(t). и P_j{t) —вероятности нахождения системы в момент вре­мени t в i-м исправном и j-м отказовом состоянии соответственно; N+1 — общее число, a k — число исправных состояний изделия.

Предел функции готовности K_Г(t) при t →  называется коэффи­циентом готовности К_Г и служит интегральным показателем на­дежности восстанавливаемого изделия:

. (10)

Поскольку коэффициент готовности является финальной вероят­ностью пребывания системы в исправном состоянии, его можно вы­числить, используя изображения Лапласа соответствующих веро­ятностей:

(11)

Обычно изображение функции готовности K_Г (s) имеет вид

,

причем n ≥ m; поэтому

(12)

Интегральные показатели надежности — среднее время работы между двумя отказами T_cp и среднее время восстановления T_в, т. е. математическое ожидание времени между соседними отказами и восстановлениями соответственно. Показатели T_cp и T_в можно опре­делить, если известны финальные вероятности пребывания изде­лия во всех возможных состояниях и интенсивности переходов из отказовых в предотказовые состояния:

; (13)

, (14)

где —финальная вероятность нахождения изделия в l-м рабочем состоянии, l = 0 ... L;

—финальная вероятность нахождения изделия в (L + i) -м отказовом состоянии, L + i=L+ l , ..., L + N; μ_L+i,l — интенсивность перехода из (L+i)-гo отказового состояния в l-е предотказовое состояние.

Иными словами, среднее время между двумя отказами T_cp опре­деляется как отношение суммы финальных вероятностей нахожде­ния системы в рабочих состояниях к сумме финальных вероятно­стей нахождения системы в отказовых состояниях, непосредствен­но связанных с рабочими состояниями и умноженных на соответ­ствующую эквивалентную интенсивность восстановления. Послед­няя есть сумма интенсивностей восстановления, с которыми возмо­жен переход из данного нерабочего состояния L + i, где i=l ÷N, во все связанные с ним рабочие состояния. При вычислении сред­него времени восстановления T_в в числителе отношения берется сумма финальных вероятностей нахождения системы во всех отка­зовых состояниях, в знаменателе — сумма, аналогичная выражению T_cp. Заметим, что

.

Классификация методов резервирования. При расчете надеж­ности сложного изделия (узла, устройства, системы) полезно соста­вить расчетную надежностную схему.

Если изделие состоит из N элементов и отказ изделия в целом наступает при отказе любого одного из его элементов, то говорят об основном (последовательном) соединении этих элементов, условное изображение расчетной надежностной схемы которого приведено на рис. 2, а. Так как каждый i элемент характеризуется в общем случае интенсивностью отказов λ_i(t) и вероятностью безотказной работы , то вероятность безотказной работы изделия в целом

. (15)

Для экспоненциального закона вероятности, безотказной рабо­ты отдельных элементов, т. е. при λ_i = const, вероятность безотказ­ной работы изделия в целом

и наработка на отказ Т_о= 1 / λ_Σ, где

.

Если изделие состоит из N элементов и отказ изде­лия в целом наступает лишь в случае, когда откажут все N входящих в него элемен­тов, то говорят о парал­лельном соединении этих элементов, расчетная на­дежностная схема которого приведена на рис. 2, б. В этом случае вероятность без­отказной работы

(16)

а наработка на отказ Т_о и интенсивность отказов изделия вычисляются по (6) и (2) соответственно.

а)

Рис. 2. Условное изображение в надеж­ностных схемах последовательного (а), па­раллельного (б) и параллельно-последова­тельного (в) соединений изделий.

В общем случае изделие с точки зрения надежности может быть представлено параллельно - последовательной рабочей надежностной схемой, в которой последовательное соединение элементов отражает поведение элементов, отказ которых приводит к отказу изделия в целом, а параллельное соединение элементов отражает поведение элементов, отказ которых приводит к отказу изделия в це­лом, если откажут все элементы параллельного соединения. На рис. 2, в приведен пример параллельно-последовательной надежностной схемы.

Если надежностная схема изделия содержит параллельное соединение, т. е. если в изделии повышение надежности обеспечивается использованием функционально избыточных элементов, то говорят, что в изделии имеет место резерв. При этом различают поэлементный, общий и скользящий резерв.

Рис. 3. Классификация способов резервирования изделий

Поэлементный резерв — резерв, при котором функционально избыточные элементы предусматриваются на случай отказа отдельных элементов или групп элементов изделия.

Общий резерв — резерв, при котором функционально избыточные элементы предусматриваются на случай отказа изделия в целом.

Скользящий резерв — резерв, при котором функции элемента неизбыточного изделия передаются резервному элементу только после отказа основного элемента, причем основные элементы резервируются одним или несколькими резервными элементами; каждый из которых может заменить любой отказавший основной элемент.

Общий, поэлементный и скользящий резерв в зависимости от того, в каком режиме (включенном или выключенном) используются резервные элементы до момента начала их функционирования вместо отказавших основных элементов, подразделяют на нагруженный (горячий) и ненагруженный (холодный) резерв.

В случае нагруженного (горячего) резерва резервные элементы находятся в том же рабочем режиме, что и основные.

В случае ненагруженного (холодного) резерва резервные элементы до момента их использования вместо основных элементов практически не несут нагрузок, находятся в выключенном состоянии.

Классификация способов резервирования невосстанавливаемых и восстанавливаемых изделий (узлов, устройств, систем ЭВМ) в зависимости от режима работы и способа включения резервных элементов приведена на рис. 3.

Методы расчета количественных показателей надежности изделий. Расчет показателей надежности невосстанавливаемых из­делий с нагруженным общим или поэлементным резервом в предположении внезапных отказов элементов с постоянными во времени интенсивностями отказов элементов проводится с использованием соотношений (6), (15), (16). Например, для расчетной надежности схемы, показанной на рис. 2, в,

_;

Расчетная надежностная схема для невосстанавливаемых из­делий с нагруженным скользящим резервом (рис. 4, а) содержит п основных элементов и т резервных. В предположении, что вероятности безотказной работы всех элементов (основных и резервных) одинаковы и равны p(t), вероятность безотказной работы изделий в целом P(t) определяется как вероятность события, что за время t в изделии произойдет не более т отказов, т. е.

, (17)

где p(t) в случае внезапных отказов с постоянной во времени интенсивностью λ равна ехр (-λ t).

На практике с целью повышения надежности сложных вычислительных устройств широкое распространение получило мажорирование, которое можно рассматривать как частный случай скользящего нагруженного резервирования.

При мажорировании изделие l-кратно резервируется; причем l нечетно. Результат работы всех изделий сравнивается в специальном устройстве — мажорирующем элементе (рис. 4, б)—и за истинное значение принимается такое, которое имеет место на выходе большинства изделий, т. е. на выходе (l—1)/2+1 изделий. Вероятность безотказной работы l-кратно мажорированного изделия в предположении, что мажорирующий элемент абсолютно надежен, можно оценить, используя соотношение (17), если в нем положить

Рис. 4. Расчетные надежностные схемы для случаев невосстанавливаемых изделий с нагруженным скользящим резервом (а) и мажорирования (б).

m + n = l, m= (l—1)/2, т.е.

.

При l =3, 5 и 7 соответственно получим Р₃(t) = р²(t)(3—2р(t)]; P₅(t)= р³(t)[10—6р²(t) —

—15p(t)];P₇(t)= р⁴(t) [35—84p(t)+70 р²(t) — 20 р³(t)].

Показатели надежности невосстанавливаемых изделий при нагруженном общем, поэлементном и скользящем резерве либо восстанавливаемых изделий при ненагруженном или нагруженном общем, поэлементном и скользящем резерве можно вычислить, описывая «старение» таких изделий случайным марковским процессом с дискретными состояниями [2].

Случайный процесс называется марковским случайным процессом (процессом без последействия), если дальнейшее поведение процесса определяется его состоянием в данный момент времени и не зависит от его предыстории. Случайный марковский процесс называется процессом с дискретными состояниями, если возможные состояния изделия S₁, S₂, S₃, ... можно перечислить (перенумеровать) одно за другим, а сам процесс состоит в том, что время от времени изделие S скачком (мгновенно) переходит из одного состояния в другое под действием простейших потоков отказов и восстановлений отдельных элементов изделия.

При анализе поведения изделия во времени в процессе износа (старения) удобно пользоваться графом состояний, содержащим столько вершин, сколько различных состояний возможно у изделия. Ребра графа состояний отражают возможные переходы из некоторого состояния во все остальные в соответствии с параметрами потоков отказов или восстановлений. Если для каждого состояния изделия, другими словами, для каждой вершины графа вычислить вероятность нахождения изделия именно в этом состоянии в любой произвольный момент времени P_i(t), то, зная эти вероятности, можно оценить интересующие на практике показатели надежности, используя соотношения (2),(6),(9)- (14).

Связь между вероятностями нахождения изделия во всех его возможных состояниях, в свою очередь, выражается системой дифференциальных уравнений Колмогорова [2]. Структура уравнений Колмогорова построена по вполне определенному правилу: в левой части каждого уравнения Колмогорова записывается производная вероятности нахождения изделия в рассматриваемом состоянии вершины графа, а правая часть содержит столько членов, сколько ребер графа состояний связано с данной вершиной графа (если ребро направлено из данной вершины, соответствующий член: имеет знак минус, если в данную вершину — знак плюс). Каждый член равен произведению параметра потока отказа (восстановления), связанного с данным ребром, на вероятность нахождения в той вершине графа, из которой исходит ребро. Система уравнений Колмогорова включает столько уравнений, сколько вершин в графе состояний изделия. Решение системы уравнений Колмогорова при конкретных начальных условиях, определяемых спецификой эксплуатации изделия, дает значения искомых вероятностей P_i(t).

В общем случае применение теории случайных марковских процессов к решению задач оценки показателей надежности восстанавливаемых и невосстанавливаемых изделий включает: 1) составление списка всех возможных состояний изделия; 2) вычисление параметров потоков отказов и восстановлений для каждого состояния; 3) составление графа состояний; 4) запись системы дифференциальных уравнений Колмогорова; 5) решение системы уравнений Колмогорова и определение количественных показателей надежности по соотношениям (2), (6), (9)-(14).

Пути повышения надежности УВС. Надежность УВС растет по мере совершенствования элементной базы. Так, применение микропроцессорных наборов БИС, БИС ЗУ, матричных кристаллов ведет к уменьшению числа элементов, числа межсоединений (паек, сварок) в средствах вычислительной технике. Однако из-за тенденции постоянного увеличения функциональных возможностей средств вычислительной техники число элементов в системах остается достаточно большим.

Если резерв в УВС отсутствует, то практически невозможно достичь приемлемых показателей надежности. Поскольку в инженерной практике считают, что вычислительное средство надежно, если вероятность безотказной работы Р(Δt) в течение некоторого интервала времени Δt равна 0,997, постольку при λ = 10^-4÷10^-7 1/ч и числе элементов в системе n = 10⁴÷10⁵ время безотказной рабо­ты в указанном выше смысле составляет лишь единицы часов:

(18)

Например, при λ = 10^-7 1/ч и n=10⁴ Δt ≤3 ч. Так как существенно уменьшить п и λ нельзя, то и увеличить Δt без применения резерва практически не удается. Опыт эксплуатации электронной техники показывает, что интенсивность отказов элементов при ее хранении примерно на порядок ниже, чем при работе в реальных условиях эксплуатации, т. е.

λ _xp ≈ 0,1λ [1]. Это означает, что применение ненагруженного резерва без восстановления может снизить nλΔt не более чем в 10 раз. Такой подход дает возможность создавать средства вычислительной техники, работающие безотказно практически лишь в течение десятков часов, что не решает проблемы резкого повышения надежности УВС.

Теоретически введением избыточности в структуру УВС можно создать сколь угодно надежную вычислительную систему. Но не всегда это практически выполнимо. Для подтверждения этого тезиса сравним количественные показатели надежности: 1) нерезервированной УВС, характеризуемой параметром потока отказов ω = λ и параметром потока восстановлений μ; 2) дублированной УВС (общее резервирование) с восстановлением отказавших ЭВМ; 3) дублированной УВС (поэлементное резервирование) с восстановлением отказавших элементов; 4) УВС, состоящей из п основных и m резервных равнонадежных ЭВМ с параметром потока отказов, каждый из которых равен λ (предполагается, что восстановление отказавших элементов с параметром μ возможно в процессе работы системы).

Для нерезервированной УВС

Р (t) = ехр ( –λ t); К_Г = μ / (μ + λ); T_cp = 1 / λ.