Luck-lady.ru

Настольная книга финансиста
0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Количественные методы системного анализа разновидность

Количественные и качественные методы системного анализа.

По степени формализованности процедур, реализующих перечисленные этапы методологии СА, можно выделить количественные и качественные методы СА. В качественных методах основное внимание уделяется постановке задачи, формированию вариантов, выбору подходов к оценке вариантов. Количественные методы связаны с анализом вариантов с их количественными характеристиками корректности и точности. Количественные методы связаны:

1) с оценкой показателей, характеризующих различные свойства систем;

2) с выбором оптимальной структуры системы;

3) с выбором оптимальных значений её параметров.

К количественным методам относятся следующие группы методов:

1 группа – аналитические методы – полная формализация схемы; эта группа в большей мере может быть отнесена к области Исследования операций;

2 группа –математические методы, когда в значительной степени используются формальные приемы анализа и эпизодически – возможности человека;

3 группа – семиотические методы, в которых широко используется эвристики и логика: математическая и (или) неформальная (нечеткая);

4 группа – имитационное моделирование, когда процесс выполнения этапов неотделим от процессов разработки моделей и получения информации по модели на основе формальных и эвристических процедур.

Качественные методы СА – группа методов экспертного оценивания и принятия решений.

Количественные методы системного анализа

Рассмотрим некоторые методы СА в качестве типичных примеров методов этой группы.

Энтропия – это количественная мера неопределённости случайного объекта или системы.

Генетические алгоритмы.

Генетические алгоритмы – перспективное и динамично развивающееся направление интеллектуальной обработки данных, связанное с решением задач поиска и оптимизации.

Область применения генетических алгоритмов достаточно обширна. Финансовые компании используют их для прогнозирования развития финансовых рынков при управлении пакетами ценных бумаг. Генетические алгоритмы применяются для решения комбинаторных задач, для оценки значений непрерывных параметров моделей большой размерности, для оптимизации моделей, включающих одновременно непрерывные и дискретные параметры. Другая область применения – использование в системах извлечения новых знаний из больших баз данных, обучение нейронных сетей, оценка параметров в задачах многомерного статистического анализа.

Сейчас при решении очень сложных задач основной целью является поиск уже не оптимального, а более «хорошего» решения по сравнению с решением, полученным ранее или заданным в качестве начального. Именно для этих целей и применяются генетические алгоритмы. Они не гарантируют обнаружения глобального экстремума целевой функции (или оптимального решения) за определенное время. Основное их преимущество в том, что они позволяют найти более “хорошие” решения очень трудных задач за меньшее время, чем другие методы. Генетические алгоритмы оказались достаточно эффектив­ными для решения ряда реальных задач инженерного проектирования, планирования, маршрутизации и размещения, управления портфелями ценных бумаг, прогнозирования, а также во многих других областях.

Отрицательной чертой генетических алгоритмов является то, что они представляют собой скорее подход к решению задач оптимизации, чем алгоритм. И вследствие этого требуют адаптации к каждому конкретному классу задач путем выбора определенных характеристик и параметров.

Основные определения и свойства

Генетические алгоритмы имеют целью нахождение не оптимального, а лучшего решения по сравнению с имеющимся решением задачи. Это связано с тем, что для сложной задачи часто требуется найти хоть какое-нибудь удовлетво­рительное решение, а проблема достижения оптимума отходит на второй план. При этом другие методы, ориентированные на поиск именно опти­мального решения, вследствие чрезвычайной сложности задачи становят­ся вообще неприменимыми.

Основные отличия генетических алгоритмов от традиционных методов:

1. Генетические алгоритмы работают с кодами, в которых пред­ставлен набор параметров, напрямую зависящих от аргументов целевой функции. Причем интерпретация этих кодов происходит только перед на­чалом работы алгоритма и после завершения его работы для получения результата. Впроцессе работы манипуляции с кодами происходят независимо от их интерпретации, код рассматривается просто как битовая строка.

2. Для поиска генетический алгоритм использует несколько то­чек поискового пространства одновременно, а не переходит от точки к точке, как это делается в традиционных методах. Это позволяет преодо­леть один из их недостатков – опасность попадания в локальный экстре­мум целевой функции, если она не является унимодальной, т. е. имеет несколько таких экстремумов.

3. Генетические алгоритмы в процессе работы не используют ни­какой дополнительной информации, что повышает скорость работы. Един­ственной используемой информацией может быть область допустимых значений параметров и целевой функции в произвольной точке.

4. Генетический алгоритм использует как вероятностные пра­вила для порождения новых точек, так и детерминированные пра­вила для перехода от одних точек к другим. Одновременное использование элементов случайности и детерминирован­ности дает значительно больший эффект, чем раздельное.

Прежде чем рассматривать непосредственно работу генетического ал­горитма, введем ряд терминов, которые широко используются в данной области.

Выше было показано, что генетический алгоритм работает с кодами безотносительно их смысловой интерпретации. Поэтому сам код и его структура описываются понятием генотип, а его интерпретация, с точки зрения решаемой задачи, – понятием фенотип. Каждый код представляет, по сути, точку пространства поиска. С целью максимально приблизиться к биологическим терминам, экземпляр кода называют хромосомой, особью или индивидуумом.

На каждом шаге работы генетический алгоритм использует несколько точек поиска одновременно. Совокупность этих точек является набором осо­бей, который называется популяцией. Количество особей в популяции назы­вают размером популяции. Размер попу­ляции является фиксированным и представляет одну из характеристик гене­тического алгоритма. На каждом шаге работы генетический алгоритм обнов­ляет популяцию путем создания новых особей и уничтожения ненужных. Чтобы отличать популяции на каждом из шагов и сами эти шаги, их называют поколениями и обычно идентифицируют по номеру. Например, популяция, полученная из исходной популяции после первого шага работы алгоритма, является первым поколением, после следующего шага – вторым и т. д.

В процессе работы алгоритма генерация новых особей происходит на основе моделирования процесса размножения. При этом, естественно, по­рождающие особи называются родителями, а порожденные – потомками. Родительская пара порождает пару потомков. Непосредствен­ная генерация новых кодовых строк из двух выбранных происходит за счет работы оператора скрещивания. При порождении новой популяции оператор скрещи­вания может применяться не ко всем парам родителей. Часть этих пар мо­жет переходить в популяцию следующего поколения непосредственно. Насколько часто будет возникать такая ситуация, зависит от значения ве­роятности применения оператора скрещивания, которая является одним из параметров генетического алгоритма.

Читать еще:  Анализ брака и потерь от брака

Моделирование процесса мутации новых особей осуществляется за счет работы оператора мутации. Основным параметром оператора мутации также является вероятность мутации.

Поскольку размер популяции фиксирован, то порождение потомков должно сопровождаться уничтожением других особей. Выбор пар родите­лей из популяции для порождения потомков производит оператор отбо­ра, а выбор особей для уничтожения – оператор редукции. Основным пара­метром их работы является качество особи, которое опреде­ляется значением целевой функции в точке пространства поиска, описыва­емой этой особью.

Таким образом, можно перечислить основные понятия и термины, ис­пользуемые в области генетических алгоритмов:

• генотип и фенотип;

• особь и качество особи;

• популяция и размер популяции;

• родители и потомки.

К характеристикам генетического алгоритма относятся:

• оператор скрещивания и вероятность его использования;

• оператор мутации и вероятность мутации;

Операторы отбора, скрещивания, мутации и редукции называют еще генетическими операторами.

Критерием останова работы генетического алгоритма может быть одно из трех событий:

1. Сформировано заданное пользователем число поколений.

2. Популяция достигла заданного пользователем качества (например, значение качества всех особей превысило заданный порог).

3. Достигнут некоторый уровень сходимости, т. е. особи в популя­ции стали настолько подобными, что дальнейшее их улучшение происходит чрезвычайно медленно.

Характеристики генетического алгоритма выбираются таким образом, чтобы обеспечить малое время работы, с одной стороны, и поиск как мож­но лучшего решения, с другой.

24.Классификация интеллектуальных информационных систем

Для интеллектуальных информационных систем характерны следующие признаки:

— развитые коммуникативные способности;

— умение решать сложные плохо формализуемые задачи;

— способность к самообучению;

Коммуникативные способности определяют способ взаимодействия пользователя с системой.

Решение сложных плохо формализуемых задач требует построения оригинальных алгоритмов решения в зависимости от конкретной ситуации, характеризующейся неопределенностью и динамичностью данных и знаний.

Способность к самообучению – умение системы автоматически извлекать знания из накопленного опыта и применять их для решения задач.

Адаптивность – способность системы к развитию в соответствии с изменениями области знаний.

Каждому из перечисленных признаков соответствует свой класс интеллектуальных систем. Различные системы могут обладать одним или несколькими признаками интеллектуальности с разной степенью проявления.

На рис 1 приведена классификация ИИС на основе указанных признаков.

Количественные методы системного анализа разновидность

Системный анализ представляет собой важный объект методологических исследований и одно из наиболее бурно развивающихся научных направлений. Ему посвящено множество монографий и статей. Наиболее известные его исследовател: В. Г. Афанасьев, Л. Бер-таланфи, И. В. Блауберг, А. А. Богданов, В. М. Глушков, Т. Гоббс, О. Конт, В. А. Карташов, С. А. Кузьмин, Ю. Г. Марков, Р. Мертон, М. Месарович, Т. Парсонс, Л. А. Петрушенко, В. Н. Садовский, М. И. Сетров, Г. Спенсер, В. Н. Спицнадель, Я. Такахара, В. С. Тюх-тин, А. И. Уемов, У. Черчмен, Э. Г., Юдин и др.

Популярность системного анализа ныне столь велика, что можно перефразировать известный афоризм выдающихся физиков Уильяма Томсона и Эрнеста Резерфорда относительно науки, которую можно разделить на физику и собирание марок. Действительно, среди всех методов анализа системный — настоящий король, а все другие методы можно с уверенностью отнести к его невыразительной прислуге.

Вместе с тем всякий раз, когда ставится вопрос о технологиях системного анализа, сразу же возникают непреодолимые трудности, связанные с тем, что устоявшихся интеллектуальных технологий системного анализа в практике нет. Имеется только некоторый опыт применения системного подхода в различных странах. Таким образом, налицо проблемная ситуация, характеризующаяся постоянно нарастающей потребностью технологического освоения системного анализа, которое разработано весьма недостаточно.

Ситуация усугубляется не только тем, что не разработаны интеллектуальные технологии системного анализа, но и тем, что нет однозначности в понимании самого системного анализа. Это несмотря на то что уже 90 лет прошло со времени выхода в свет основополагающего труда в области теории систем — «Тектологии» А. А. Богданова, и почти полстолетия насчитывает история развития системных идей.

Достаточно рельефно выделяются несколько вариантов понимания сущности системного анализа:

  • Отождествление технологии системного анализа с технологией научного исследования. При этом для самого системного анализа в этой технологии практически не находится места.
  • Сведение системного анализа к системному конструированию. По сути системно-аналитическая деятельность отождествляется с системотехнической деятельностью.
  • Очень узкое понимание системного анализа, сведение его к одной из его составляющих, например к структурно-функциональному анализу.
  • Отождествление системного анализа системным подходом в аналитической деятельности.
  • Понимание системного анализа как исследования системных закономерностей.
  • В узком смысле под системным анализом довольно часто понимают совокупность математических методов исследования систем.
  • Сведение системного анализа к совокупности методологических средств, которые используются для подготовки, обоснования и осуществления решений по сложным проблемам.

В этом случае то, что называют системным анализом, представляет собой недостаточно интегрированный массив методов и приемов системной деятельности. В табл. 31 дана характеристика основных видов системной деятельности, среди которых фактически теряется системный анализ.

Качественные и количественные методы описания информационных систем

Методы описания систем классифицируются в порядке возрастания формализованности – от качественных методов, с которыми в основном и связан был первоначально системный анализ, до количественного системного моделирования с применением ЭВМ (рис. 2.3). Разделение методов на качественные и количественные носит, конечно, условный характер.

В качественных методах основное внимание уделяется организации постановки задачи, новому этапу ее формализации, формированию вариантов, выбору подхода к оценке вариантов, использованию опыта человека, его предпочтений, которые не всегда могут быть выражены в количественных оценках.

Качественные методы используются на начальных этапах моделирования, если реальная система не может быть выражена в количественных характеристиках; отсутствуют описания закономерностей систем в виде аналитических зависимостей. В результате такого моделирования разрабатывается концептуальная модель системы.

Рис. 2.2. Схема преобразования моделей

Рис. 2.3. Качественные и количественные методы описания информационных систем

К основным методам качественного описания систем относят: методы типа мозговой атаки или коллективной генерации идей; типа сценариев; экспертных оценок (например, ранжирование, парное сравнивание, множественные сравнения, непосредственная оценка, метод Черчмена-Акоффа, метод Терстоуна, метод фон Неймана-Моргенштерна); типа Дельфи; типа дерева целей; морфологические методы.

Читать еще:  Анализ эффективности системы управления предприятием

Количественные методы используются на последующих этапах моделирования для количественного анализа вариантов системы с их количественными характеристиками корректности, точности и т.п. и связаны с оценкой показателей, характеризующих различные свойства системы; выбором оптимальной структуры системы; выбором оптимальных значений ее параметров. Для постановки задачи эти методы не имеют средств, почти полностью оставляя осуществление этого этапа за человеком.

Выполнение таких исследований возможно лишь при наличии математического описания процесса функционирования системы, т.е. ее математической модели (ММ). Так как ММ сложной системы может быть сколько угодно много и все они определяются принятым уровнем абстрагирования, то рассмотрение задач на каком-либо одном уровне абстракции позволяет дать ответы на определенную группу вопросов, а для получения ответов на другие вопросы необходимо провести исследование уже на другом уровне абстракции. Каждый из возможных уровней абстрагирования обладает ограниченными, присущими только данному уровню абстрагирования возможностями. Для достижения максимально возможной полноты сведений необходимо изучить одну и ту же систему на всех целей сообразных для данного случая уровнях абстракции.

Наиболее пригодными являются следующие уровни абстрактного описания систем: символический, или, иначе, лингвистический; теоретико-множественный; абстрактно-алгебраический; топологический; логико-математический; теоретико-информационный; динамический; эвристический.

Между этими крайними классами методов системного анализа имеются методы, которые стремятся охватить оба этапа – этап постановки задачи, разработки вариантов и этап оценки и количественного анализа вариантов, – но делают это с привлечением разных исходных концепций и терминологии, с разной степенью формализованности. Среди них: кибернетический подход к разработке адаптивных систем управления, проектирования и принятия решений (который исходит из развития основных идей классической теории автоматического регулирования и управления и теории адаптивных систем применительно к организационным системам); информационногносеологический подход к моделированию систем (основанный на общности процессов отражения, познания в системах различной физической природы); структурный и объектноориентированные подходы системного анализа; метод ситуационного моделирования; метод имитационного динамического моделирования.

Такие методы позволяют разрабатывать как концептуальные, так и строго формализованные модели, обеспечивающие требуемое качество систем.

Контрольные вопросы

1. В чем суть информационного инжиниринга?

2. Охарактеризуйте качественные методы описания информационных систем.

3. Охарактеризуйте количественные методы описания информационных систем.

4. Перечислите уровни абстрактного описания систем.

5. В чем суть метода ситуационного моделирования?

Системный анализ

«Системный анализ в экономике» Ю. Черняк

Системный анализ применяется в экономике и технике, биологии и медицине, истории и филологии, в политике и военном деле. Он используется в теоретических и прикладных исследованиях, при выборе образцов новой техники и вариантов капиталовложений и т. п. Для более ясного изложения материала предварительно сформулируем вопросы, относящиеся к системному анализу. Вопросы поставлены в том виде, в каком они возникали при проведении практических работ по системному анализу.

Можно ли дать однозначное определение системного анализа?

Известно, что определяя понятие, мы его ограничиваем, сужаем, обедняем. Тем не менее в качестве рабочего инструмента можно использовать одно из возможных определений как главное, выделив некоторые существенные черты явления, отличающие его от других исходных.

Системный анализ — методология исследования, трудно наблюдаемых и трудно понимаемых свойств и отношений в объектах с помощью представления этих объектов в качестве целенаправленных систем и изучения свойств этих систем и взаимоотношений между целями и средствами их реализации.

Он применяется при такой постановке задачи, когда необходимые для ее решения сведения об объекте не могут быть получены непосредственным его наблюдением. Тогда объект рассматривается в качестве подсистемы некоторой системы, как совокупность подсистем во взаимодействии с другими системами. Это определение, которое следует рассматривать в качестве рабочего, позволяет отличить методы системного анализа от других методов исследования и относит его к определенной области научных знаний.

Чем отличается системный анализ от других методов исследования?

Во множестве методов исследования и анализа подавляющее большинство ориентировано на непосредственное наблюдение объектов с учетом их природы и специфики. При этом всегда предполагается, что исследуемый объект можно выделить, отграничить от окружающей среды, что его можно наблюдать непосредственно или посредством приборов. В отличие от них метод системного анализа, базирующийся на теории систем, учитывает принципиальную сложность исследуемого объекта, его разветвленные и прочные взаимосвязи с окружающим миром, ненаблюдаемость целого ряда его свойств.

Поэтому, отталкиваясь от реального явления, от имеющихся фактических данных о его свойствах и связях с окружающим миром, исследователь переводит их далее в абстрактные категории теории систем и на основе известных свойств систем выявляет новые свойства и новые взаимосвязи. В большинстве методов исследования точно определены объекты. Системное исследование обычно включает в качестве одного из важных этапов именно определение объекта, его нахождение или конструирование. Почти все методы исследования исходят из четко сформулированной заранее задачи. Системный анализ решает вопросы, как правильно ставить задачи, какие методы исследования использовать.

Главное в системном анализе — как сложное превратить в простое, как не только трудноразрешимую, но и труднопонимаемую проблему превратить в четкую серию задач, имеющих метод решения.

Системный анализ всегда конкретен. Он имеет дело с определенным народнохозяйственным объектом (пусть вначале нечетко определенным), с конкретной народнохозяйственной проблемой (пусть вначале неясно сформулированной).

Каково место системного анализа в ряду других методов и форм управления?

Системный анализ ни в коей мере не противопоставляется другим методам анализа проблем и принятия решений. Новым является синтез в единой методологии некоторого взаимосвязанного круга понятий, методов и приемов, которые ранее использовались разрозненно при решении отдельных частных проблем в науке и технике. Далее, этот комплекс системных понятий и методов распространяется па совершенно новые сферы деятельности, где раньше эти понятия не использовались, — на область планирования, управления.

Сила системного метода в анализе именно сложных проблем заключается в том, что он позволяет, с одной стороны, разложить слишком сложную для решения проблему на ее составляющие вплоть до постановки конкретных, имеющих отработанные методы решения задач, а с другой — удерживать их вместе в качестве единого целого.

Как весьма точно выразился советский исследователь С. П. Никаноров, системный анализ позволяет представить процесс решения проблемы как процесс конструирования, изготовления и использования систем.

Читать еще:  Анализ эффективности использования трудовых ресурсов

Что является существенным в системном анализе, на чем концентрируется его внимание, весьма точно сформулировано американским исследователем Квейдом: «Анализ систем есть способ рассмотрения проблемы. Математический аппарат и использование вычислительных машин при этом могут быть необходимыми и даже полезными, но могут такими и не быть Иногда может быть достаточно серьезного размышления над проблемой. Но в любом анализе, связанном с подготовкой решения при наличии неопределенностей, независимо его сложности присутствуют определенные элементы. Эти элементы — цель или цели, альтернативы или средства для достижения этих целей, расходы или все то, что необходимо затратить для достижения каждой из альтернатив, модель или описание зависимости между альтернативами и тем, что они выполняют и стоят, и критерии, в соответствии с которыми выбирается предпочтительная альтернатива, — присутствуют в любом анализе, целью которого является оказать влияние и; выбор образа действия».

Для решения каких проблем используется системный анализ?

Совершенно очевидно, что сложный, специально разработанный и довольно таки громоздкий научный аппарат, каким является системный анализ, стоит применять только для решения достаточно сложных, крупных проблем, связанных с деятельностью многих людей, с большими материальными и иными затратами.

Трудно установить какую-либо классификацию проблем, с тем чтобы точно сказать, где можно, а где нельзя применять системный аппарат. Пути возникновения проблем различаются по потребностям и возможностям. Первый случай более простой: существующие ресурсы или методы работы, какие-либо товары перестали удовлетворять людей и требуется изменить существующее положение.

Системный анализ применяют в том случае, если возникла очень сложная проблема. Второй случай в принципе более сложен: появляется новая возможность, такая, например, как полеты в космическое пространство, использование термоядерной энергии. В каждом случае развитие таких возможностей связано с созданием целых новых отраслей в народном хозяйстве. В этом случае применение системного анализа оказывается не только полезным, но и совершенно необходимым, так как здесь предстоит еще сформулировать саму проблему, имеющую сложный характер, поскольку реализация новых возможностей сказывается на самых разнообразных сторонах человеческой деятельности, жизни общества и государства. Можно отметить и еще более сложные случаи, когда новые возможности порождаются повсеместно и почти ежечасно: так, например, экспериментальная химия синтезирует в год до трехсот тысяч новых соединений с самыми разнообразными свойствами, которые могут быть использованы во многих, если не во всех отраслях производства.

Человеческую деятельность можно условно разделить на две области: область рутинной деятельности, т. е. регулярных, повседневно решаемых задач, и область решения новых, впервые возникающих задач. В первой из них способы решения задач обычно хорошо отработаны и почвы для системного анализа не представляется, хотя само наличие рутины в некоторых случаях составляет проблему. Так, наличие многомиллионного аппарата экономического управления само по себе создает трудности в управлении, порождает проблемы; большую проблему создает тенденция к постоянному увеличению численности работников аппарата управления. Но в сфере человеческой деятельности, связанной с решением новых, неизвестных ранее задач (например, в перспективном планировании, в пауке, в конструкторских разработках), методы системного анализа применимы почти повсеместно, а в некоторых случаях без них нельзя обойтись.

В методе системного анализа принято также различать проблемы по степени их структуризации, т. е. по ясности, осознанности их постановки; степени детализации и конкретизации представлений об их составляющих и взаимосвязях; и, наконец, по соотношению количественных и качественных факторов, отмечаемых в постановке проблемы. Учитывая это, выделяют три класса проблем: хорошо структуризованные и количественно сформулированные; слабо структуризованные, или смешанные проблемы, которые содержат как количественные, так и качественные оценки; неструктуризованные, или качественные проблемы.

Для первого класса проблем методы системного анализа не нужны, поскольку для их решения существует развитый и мощный аппарат математического моделирования и строгие количественные методы решения. В качестве основной области приложения методов системного анализа называют второй класс проблем — слабо структуризованных, со смешанными количественными и качественными оценками. Считается, что неструктуризованные проблемы не решаются методами системного анализа, для их решения применяются так называемые эвристические методы. Конечно, между тремя классами проблем трудно провести какие-либо четкие границы, но суть дела в другом.

Метод системного анализа как раз и есть метод структуризации, упорядочения проблем. Системный анализ применяется для того, чтобы поначалу хотя бы слабо структуризовать неструктурированную, смутно определенную проблему, а затем собрать новую дополнительную информацию о ней, установить взаимосвязи составляющих, дать, где это только возможно, количественные оценки (хотя бы субъективные, экспертные) и перевести проблему в разряд структуризованных, к решению которых уже можно приложить аппарат математического моделирования и выбора оптимальных решений.

В ряде случаев системный анализ пытаются определить через те сферы человеческой деятельности, в которых он находит преимущественное применение, как методологию решения исследовательских, военных, политических, экономических проблем.

Каковы условия успеха системного анализа?

Первым условием успеха, системного анализа является применение его там, где он действительно нужен. Сам характер системного исследования, посвященного сложным вопросам на сложных объектах, требует высокого уровня знаний, привлечения на той или иной стадии анализа специалистов высокой квалификации. Между тем мода на системный анализ побудила заняться им многочисленных научных работников, аспирантов и даже студентов-дипломников. Естественно, что в таком случае выбирается «посильный» и вполне обозримый объект, либо некая гипотетическая модель, с которой можно производить любые действия, либо же частные проблемы себестоимости, производительности труда, качества продукции т. д. Не может быть успешного системного исследования в случае недобросовестного отношения к нему руководства организации заказчика или самих исследователей.

Условиями успеха системного анализа следует считать наличие трех элементов: 1) явно понятой потребности, цели или назначения; 2) источника идей, накопленной информации, опыта и представления о предмете; 3) ресурсов — опытных специалистов, а также оборудования, материалов и денежных средств.

Системный анализ является сам по себе инструментом обеспечения наличия всех этих трех элементов: выявления и детализации целей, соответствующей информации, ресурсов и их увязки с целями. Таким образом, специалисты по системному анализу должны знать условия успеха своей работы и приступать к ней только при их выполнении.

Ссылка на основную публикацию
Adblock
detector