«Если погрузиться в проблему достаточно глубоко, мы непременно увидим себя как часть проблемы»
Жак Арман Дюшарм
(американский этнограф, историк, публицист)
эксперт
Об особенностях технологического развития информационно-управляющих систем и их компонентов в условиях масштабного внедрения элементов «искусственного интеллекта»
Революция «искусственного интеллекта» («ИИ») продолжает изменять наш мир, взламывая привычные парадигмы во всех сферах человеческой деятельности, открывая новые возможности и обозначая новы проблемы.
Выступая на Конференция «AI Journey» в ноябре 2023 года, Президент России отметил, что «…с внедрением искусственного интеллекта в науку, в образование, в здравоохранение – да во все сферы нашей жизни, человечество начинает новую главу своего существования».
И это не фигура речи, а новая реальность, которую надо воспринять и адаптироваться к новым условиям. На Конференции Президент анонсировал утверждение новой редакция Национальной стратегии развития «искусственного интеллекта». Отмечается, что с учетом стремительного роста технологий в этот документ будет внесен ряд существенных изменений, которые конкретизируют цели и задачи ряда проектов по широкому внедрению «ИИ» в различные отрасли экономики и науки.
Прежде всего «..речь идёт о расширении фундаментальных и прикладных исследований в области генеративного искусственного интеллекта и больших языковых моделей».
Однако рост технологий «ИИ» также создает ряд серьёзных вызовов и проблем, требующих глубокого и всестороннего научного изучения, технологической апробации результатов исследований и создания перспективных моделей интеллектуальных средств и систем. Процессы цифровизации диктуют новые условия для технического прогресса в транспортной сфере. Не обходит это стороной и модернизацию инфраструктуры авиационной отрасли.
Особое место в исследованиях занимают вопросы модернизации сложных информационно-управляющих систем реального масштаба времени, где для оценки ситуации и принятии оптимальных решений отводятся минимальные временные ресурсы. К таким сложным системам относится система управления воздушным движением, системы управления безопасностью полетов и более десятка информационных систем и баз данных. Подобная система базируется на комплексную систему проводных, спутниковых, радио- и радиорелейных каналов связи, охватывающую всю территорию страны. Очевидно, что модернизация таких систем высокой сложности, придания им новых свойств в условиях повышенных требований к скорости и объёмам используемой информации, не может быть успешной без внедрения интеллектуальных средств и систем, в том числе с использованием нейронных сетей разных типов.
Как уже отмечалось в ранних публикациях на эту тему, внедрение интеллектуальных элементов на базе нейросетей и других технологических решений, имеет целью освобождение человеческих интеллектуальных ресурсов для принятия оптимальных решений в условиях критических ситуаций, сохраняя работоспособность системы в заданных параметрах и обеспечивая требуемый уровень безопасности и эффективности воздушного движения.
Отмечая бурный рост глобальных процессов цифровизации во всех сферах деятельности человека, было бы логичным дать краткую характеристику того цифрового бума, который происходит в мире.
Итак, вопрос: почему генерируемые данные и информационные потоки в сетях растут в геометрической прогрессии? Этому есть много причин, а интернет и динамика роста интернет-пользователей являются одной из главных.
Прорыв в области развития информационных технологий за очень короткий срок привёл к взрывному росту количества информации в различных сетях, а технология интернет вещей (IoT–Internet of Things) стала неотъемлемой частью повседневной жизни. Эта технология позволяет всей совокупности вычислительных устройств, связанных между собой и способных не только принимать и передавать информацию по беспроводным сетям без вмешательства человека, но и принимать интеллектуальные решения.
Понятийный аппарат этой технологии закреплён в ГОСТ Р ИСО/МЭК 29161-2019, «Уникальная идентификация для интернета вещей», где указано:
«3.2 сущность (entity): Любая конкретная или абстрактная вещь, представляющая интерес, в том числе объединения вещей [документ RFC 16917]».
Таким образом, в IoT-среде «вещь» – это физический или виртуальный объект, который можно идентифицировать и интегрировать в коммуникационные сети.
В ПНСТ 642-2022 от 5 марта 2022 г. N 18-пнст, «Промышленный интернет вещей», IIoT – Industrial Internet of Things определён как:
«5.1 ПИВ — это промышленная экосистема на основе сервисов (служб), построенная на принципах сетевого взаимодействия, интероперабельности данных и интероперабельности систем производственных ресурсов для реализации настраиваемой комплектации производственных материалов, производства по заказу, рациональной оптимизации производственных процессов, быстрой адаптации производственной среды и эффективного использования ресурсов…».
Порой интернет вещей рассматривают как развитие межмашинного взаимодействия —как концепцию, которая на доброе десятилетие старше. Однако важным отличием интернета вещей становится интеграция показаний сенсоров и датчиков с компьютерными приложениями. Они позволяют не просто отображать показатели в режиме реального времени, но и сравнивать данные, анализировать их и выявлять закономерности, делать прогнозы и управлять поведением устройств.
Концепцию беспроводной сети, объединяющей людей и устройства всей Земли, предвосхитил ученый-изобретатель, физик Никола Тесла. В интервью журналу Colliers, опубликованном в январе 1926 года, ученый описал фантастическую по тем временам картину. «Когда беспроводные технологии будут применяться максимально эффективно, Земля превратится в один гигантский мозг. Мы сможем общаться друг с другом в реальном времени вне зависимости от расстояния. Инструменты, с помощью которых мы сможем это делать, будут поразительно простыми по сравнению с телефоном и поместятся в карман жилета».
Тем самым Тесла предсказал создание интернета, смартфона и интернета вещей, но конечно же не мог даже и вообразить всех последствий цифровой революции.
Однако стремительное развитие цифровых технологий, а также эволюция данных с точки зрения объема, скорости и разнообразия в последние годы была впечатляющей. Рост данных за последние пару лет был экспоненциальным. Эволюция технологий и их доминирующее влияние на все аспекты жизни генерируют огромные объемы данных с невообразимой скоростью..
Некоторые статистические данные по данным отечественных и зарубежных консалтинговых компаний свидетельствуют о поистине фантастическом росте объёма данных. По данным компании International Data Corporation (IDC) пользователи Интернета генерируют около двух мегабайт данных в секунду. На начало 2024 года две трети населения мира подключены к сети, а количество подключенных устройств достигло 30 миллиардов, а к 2025 году будет подключено уже около 60 миллиардов. В 2023 году было сгенерировано почти в 3 раза больше данных, чем в 2019 году. А к 2025 году людьми будет создано более 180 зеттабайт данных. Это число 180, за которым следует 21 ноль. Вот уж воистину астрономические масштабы!
Из беглого анализа представленной статистики очевидно, что решение проблемы обработки таких потоков разнородной информации представляет собой невероятно трудную проблему. На протяжении последних лет применение новых архитектур вычислительных средств и систем с применением многоядерных процессоров для распараллеливания потоков, а также уникальных алгоритмов способных эффективно работать в распределённой среде, смогли лишь частично смягчить удар огромного информационного потока, однако проблема осталась и ждёт своего решения.
В последние годы большое распространение получили вычислительные технологии на базе нейронные сетей различных типов и большие базы данных под управлением специализированных программных систем, получивших наименование СУБД.
В ГОСТ 34.321-96 «Информационные технологии. Система стандартов по базам данных» базы данных и СУБД определены как:
«2.1 база данных (database): Совокупность взаимосвязанных данных, организованных в соответствии со схемой базы данных таким образом, чтобы с ними мог работать пользователь».
«2.39 распределенная база данных (distributed database): База данных, которая физически распределяется на две или более компьютерные системы».
«2.47 система управления базами данных (database management system): Совокупность программных и языковых средств, обеспечивающих управление базами данных».
«2.57 управление базами данных (database management): Процесс определения, создания, ведения баз данных, а также манипулирования ими».
Особое место в построении архитектур вычислительных систем получили в последнее время многоагентные системы (МАС).
Программные интеллектуальные агенты – это новый класс систем программного обеспечения, которые действует либо от лица пользователя, либо от лица системы делегировавшей агенту полномочия на выполнение тех или иных действий.
В ГОСТ Р 59277-2020 «Системы искусственного интеллекта. Классификация систем искусственного интеллекта» многоагентные (мультиагентные) и распределённые системы, а также нейротехнологии определены как:
«3.31 многоагентная система (multyagency system): Система, состоящая из множества взаимодействующих интеллектуальных агентов. Многоагентные системы могут решить проблемы, которые трудны или невозможны для отдельного агента или для единой (монолитной) системы».
«3.34 нейротехнологии: Технологии, которые используют или помогают понять работу мозга, мыслительные процессы, высшую нервную деятельность, в том числе технологии по усилению, улучшению работы мозга и психической деятельности».
3.39 распределенная система (distributed artificial intelligence): Распределенная система обеспечивает решение проблемы управления на базе распределенной системы знаний в отличие от многоагентных систем, где базы знаний отдельных агентов взаимодействуют».
Мультиагентная система – сложная система, в которой функционируют два или более интеллектуальных агентов.
Технология многоагентных систем, хотя и насчитывает уже более чем десятилетнюю историю своего активного развития, находится в настоящее время еще в стадии становления. Ведутся активные исследования в области теоретических основ формализации основных понятий и компонентов систем, в особенности в области формализации ментальных понятий.
Многоагентные системы могут быть использованы для решения таких проблем, которые сложно или невозможно решить с помощью одного агента или монолитной системы.
Нельзя не отметить такую особенность МАС как проявление самоорганизации, внутренней упорядоченности, согласованности во взаимодействии автономных агентов системы, обусловленной ее строением. Синергетические проявления больших систем дают возможность решить многие трудные задачи, однако проявление эмерджентных свойств потребует дополнительных исследований и технических решений в обеспечении устойчивости и надёжности подобных систем.
Необходимо заметить, что перспективные авиационные системы, имеющие в своём составе заметное количество мультиагентных систем, большие базы данных, перспективные средств коммуникаций и другие интеллектуальные компоненты, обретают новые качественные свойства в отличие от существующих больших информационно-управляющих авиационных систем реального масштаба времени. Такие системы уже относятся к классу киберфизических систем (КФС). Термин КФС является собирательным для большого числа новых цифровых технологий и предложен для обозначения автоматизированных комплексов, состоящих из объектов различного функционального назначения и управляющих контроллеров, объединяемых в единое целое.
Предшественниками КФС можно считать встроенные системы реального времени, распределенные вычислительные системы, автоматизированные системы управления техническими процессами и объектами, беспроводные сенсорные сети. Киберфизические системы — это системы, состоящие из различных природных объектов, искусственных подсистем и управляющих контроллеров, позволяющих представить такое образование как единое целое. В КФС обеспечивается тесная связь и координация между вычислительными и физическими ресурсами. Можно говорить о нескольких основных технических предпосылках, сделавших КФС возможными.
Первая —это рост числа устройств со встроенными процессорами и средствами хранения данных: сенсорные сети, работающие во всех протяженных технических инфраструктурах; транспортные системы; медицинское оборудование; умные дома и тому подобное.
Вторая — это интеграция, позволяющая достигнуть наибольшего эффекта путем объединения отдельных компонентов в большие системы: интернет вещей, умные среды обитания, оборонные системы будущего.
Третья — это ограничение когнитивных способностей человека, которые эволюционируют медленнее, чем машины, и непременно наступает момент, когда они уже не в состоянии справиться с объемом информации, требуемой для принятия решений, и какую-то часть действий целесообразно передать КФС.
В то же время в ряде случаев КФС могут усилить аналитические способности человека, поэтому оптимальным вариантом является создание интерактивных систем нового уровня, сохраняющих человека в контуре управления.
Для практического внедрения КФС проведена стандартизация решений интернета вещей и искусственного интеллекта через ГОСТы.
Так, в ПНСТ 417-2020 «Система киберфизическая» КФС определена как:
«…4. киберфиэическая система; КФС (cyber-physical system. CPS); Интеллектуальная система, которая включает в себя инженерные взаимодействующие сети физических и вычислительных компонентов».
«…5. киберфизическое устройство (cyber-physical device): Устройство, имеющее элемент вычисления и взаимодействующее с физическим миром посредством зондирования и приведения в действие».
Кроме того, в Распоряжении Правительства от 28 июля 2017 г. № 1632-р об утверждении Программы «Цифровая экономика Российской Федерации» в разделе 5.6. об «Обеспечении правового режима межмашинного взаимодействия для киберфизических систем» был определён следующий перечень работ в развитии подобных систем:
провести анализ и оценку адекватности рискам и угрозам информационной безопасности существующих стандартов межмашинного взаимодействия для киберфизических систем;
определить перечень необходимых стандартов межмашинного взаимодействия для киберфизических систем. Определить методики оценки показателей безопасности межмашинного взаимодействия для киберфизических систем, их текущие и целевые значения;
принять правила реагирования и установить ответственность для случаев несанкционированного вмешательства в управление межмашинным взаимодействием, включая киберфизические системы;
разработать проекты стандартов межмашинного взаимодействия для киберфизических систем;
принять национальные стандарты межмашинного взаимодействия для киберфизических систем;
в киберфизических системах использовать отечественные операционные системы;
достигнуть целевые значения показателей безопасности межмашинного взаимодействия для киберфизических систем.
С развитием элементной базы у нас в России и за рубежом, в последние годы получили развитие технологий КФС с развертыванием подобных систем в секторах энергетики, науки, транспорта, медицины, электронной и других видов промышленности. В настоящее Россия, как и другие страны, находится лишь в начале пути в освоении рубежей Четвертой промышленной революции – «Индустрии 4.0», которая знаменует собой новый подход к производству, основанный на массовом внедрении информационных технологий в промышленность, автоматизации бизнес-процессов и распространении искусственного интеллекта.
Это является одной из главных причин фрагментации рынка промышленных киберфизических систем, поскольку значительная часть проектов, которые реализуются сегодня на предприятиях, носят узконаправленный характер в соответствии с потребностями бизнеса и отдельных заказчиков.
Разработчики аппаратных средств и программного обеспечения во многом следуют за их спросом, но промышленные предприятия сегодня предпочитают получать готовые системные решения с быстрой окупаемостью, а не набор полезных инструментов. Это в полной степени относится к заказчикам авиационной отрасли.
После короткого обзора содержательной части о направлениях и перспективах развития интеллектуальных авиационных средств и систем, логично перейти к рассмотрению проблем, решение которых ещё предстоит найти в рамках Программ и поручений Президента России, анонсированных на Конференция AI Journey в ноябре 2023 года.
Перспективы использования нейронных сетей и больших данных в авиационной отрасли
Цифровая трансформация является очередным этапом развития компьютерных, информационно-коммуникационных и организационных технологий. В авиации цифровизация началась уже давно и затрагивает самые разные направления. В настоящее время масштабность и большое количество инновационных проектов в сфере воздушного транспорта, в том числе в системах управления воздушным движением, обусловлены высоким уровнем наукоемкости, а также технологическими особенностями сложной информационно-управляющей системы реального масштаба времени. Это, пожалуй, являются одной из основных причин активности по внедрению интеллектуальных компонентов в авиационные системы..
Колоссальные объемы информации, генерируемые в этом секторе, используются для осуществления серьезных изменений, которые повышают безопасность полётов, обслуживание воздушного движения, эффективность и качество деятельности многочисленных подразделений и служб системы.
Особо следует отметить факт экспоненциального взрывного роста количества беспилотных воздушных судов (БВС) и беспилотных летательных аппаратов (БПЛА), которые начали заполнять единое воздушное пространство и которые также являются генераторами потоков информации для систем контроля и систем управления воздушным движением.
В одном из печатных изданий сотрудник Федерального управления гражданской авиации США (FAA) назвал проблему использования БПЛА в едином воздушном пространстве «авиационной чумой XXI века».
Высшее руководство ИКАО также с настороженностью отнеслось к этой новой реальности. Так, выступая на Всемирной конференции по радиосвязи в 2015 году, бывший Генеральный секретарь ИКАО Фан Лю отметила: «Уровень воздействия осуществляемого в настоящее время внедрения беспилотных авиационных систем (БАС) в гражданской авиации сопоставим с тем, что происходило в сфере воздушного транспорта после появления реактивных двигателей в 1950-х годах. БАС разрушают многие парадигмы, лежащие в основе сегодняшней системы глобальной авиации, и открывают новые и заманчивые перспективы инноваций в области выполнения полетов для многих граждан и предприятий во всех регионах мира. Безопасное и эффективное включение БАС в авиационную систему является задачей, которая потребует коренных перемен и решительного взаимодействия всех связанных с авиацией заинтересованных сторон…». Трудно что-либо добавить.
Для решения этой сложнейшей задачи в США была сформирована концепция UTM (Unmanned aircraft system traffic management ), которую стали продвигать на мировых технологических площадках как международный стандарт. В России такой проект как RUTM1 (цифровая система организации безопасного воздушного движения БВС и пилотируемых воздушных судов в едином воздушном пространстве РФ), не получил должного признания и к масштабированию не был принят.
Опуская некоторые детали, можно только констатировать, что 27 апреля 2023 года Владимир Путин на совещании по развитию беспилотных авиационных систем в индустриальном парке “Руднево” отметил, что для обеспечения безопасности в использовании БВС, “…нужно переходить на новые технологические решения. И прежде всего – цифровые решения. В этой связи второе – деятельность такой авиации возможна только в цифровой среде. Потому нужно шире, еще раз повторю, внедрять созданные с применением российского программного обеспечения и технологии искусственного интеллекта цифровые платформы”, – добавил он. По словам президента, “они будут решать задачи хранения, обработки и анализа данных, получаемых от беспилотных авиационных систем”.
В этой связи технические решения, основанные на использовании нейронных сетей с технологиями машинного обучения, мультиагентных интеллектуальных систем и других элементов «искусственного интеллекта», для сегодняшнего уровня технологической готовности является, по существу, безальтернативными.
Как отмечалось ранее, преодолеть проблему гигантского роста информационных потоков в различных интеллектуальных системах без технологии Big Data практически не представляется возможным. Всё, что связано с технологиями машинного обучения, анализом и обработкой информации, хранения и защиты информации, а также множества других функций реализуется системой управления базами данных.
Этот важнейший элемент любой интеллектуальной системы часто и незаслуженно обойдён вниманием. Попробуем восполнить этот пробел.
По традиции приведём определение базы данных в соответствии с ГОСТ, который даёт расширительную трактовку этому термину.
И так, В ГОСТ Р ИСО/МЭК 20546-2021 «Большие данные» термин Big Data определён как:
«3.1.2 большие данные (big data): Большие массивы данных (3.1.11), отличающиеся главным образом такими характеристиками, как объем, разнообразие, скорость обработки и/или вариативность, которые требуют использования технологии масштабирования для эффективного хранения, обработки, управления и анализа».
«3.1.5 данные (data): Представление информации в формальном виде, пригодном для передачи, интерпретации или обработки.
3.1.6 аналитика данных (data analytics): Составное понятие, охватывающее получение, сбор, проверку и обработку данных (3.1.9), включая их количественную оценку, визуализацию и интерпретацию.
3.1.7 база данных (database): Совокупность данных (3.1.5), организованная в соответствии с концептуальной структурой, в которой описываются характеристики этих данных и взаимосвязи между представляемыми ими сущностями для одной или нескольких областей применения».
Здесь необходимо заметить, что трактовки определений, без утраты главных смыслов, могут несколько отличаться из-за адаптации к различным сферам применения, но это не является принципиальным.
Несколько слов о больших базах данных. Большие данные – это широкий термин для обозначения нетрадиционных стратегий и технологий, необходимых для сбора, упорядочивания и обработки информации из больших наборов данных.
Хотя проблема работы с данными, превышающими вычислительную мощность или возможности хранения одного компьютера, не является новой, в последние годы масштабы и ценность этого типа вычислений значительно расширились. В последнее время сформировалось отличие между обычными структурированными базами данных с чёткими и понятными обработками и большими данными, которые могут не иметь большой объём информации на начальном этапе, но обладают главной отличительной чертой – умением приспосабливаться под задачу в результате использования машинного обучения (Machine Learning) — это способ обучать компьютеры без программирования и явных инструкций, используя только шаблоны и логические выводы.
В ГОСТ Р 59895-2021 «Технологии искусственного интеллекта в образовании» термин «машинное обучение» определён как: «2.1.7 машинное обучение (machine learning): Процесс автоматического обучения и совершенствования поведения системы искусственного интеллекта на основе обработки массива обучающих данных без явного программирования».
Вообще определяющими характеристиками больших данных являются объём, вариативность, скорость, актуальность и ценность информации. Сегодня скорость обработки информации практически достигла реального времени и появилась возможность работы не со статичными данными, а с постоянно прибывающим потоком информации. Это позволяет использовать нейронные сети там, где человеку не по силу справится с анализом большого потока информации.
Однако текущий уровень развития не даёт возможности целиком и полностью автоматизировать управление многими процессами только искусственными нейронными сетями, тем более, когда речь идёт о нестандартных ситуациях. В ряде случае, когда необходима аналитическая работа с данными для исправления ошибок и их структурной корректировки, прогнозирования конкретных ситуаций и формирования пошаговых рекомендаций при решении задач, необходим человеческий ментальный опыт. Как мы увидим далее, надежды оптимистов на исключение человека из контура управления в больших интеллектуальных системах, мягко говоря, несостоятельны.
О некоторых проблемах нейронных сетей, Big Data и СУБД в больших интеллектуальных системах
Подвергая краткому анализу такой комплекс как базы данных и систему управления базами данных, следует отметить, что это достаточно сложная система, интегрированная в другие сложные системы для обеспечения последних требуемым уровнем и качеством информации. И если базы данных представляют собой физический информационный архив, который может быть размещён на сайтах, в программах и приложениях, то СУБД — это особый вид сложного программного обеспечения, с помощью которого можно создавать, управлять, открывать, вносить изменения и предоставлять персональный доступ для пользователей баз данных. Простыми словами, СУБД — это специализированный инструмент, который является сервисом управления от имени пользователя и обеспечивает: хранение и структурирование данных, многопользовательскую работу, управление транзакциями, сохранять целостность информации, поиск и устранение ошибок и еще очень много других операций с потоком информации и её хранение на физических носителях и программных средах.
Если рассматривать СУБД в составе других систем, то это по сути «система в системе». Система систем (System of systems), по определению, — «это совокупность ориентированных на задачи или специализированных систем, которые объединяют свои ресурсы и возможности для создания новой, более сложной системы, обладающей большей функциональностью и производительностью, чем просто сумма составляющих систем».
В настоящее время «системы систем» являются важной исследовательской дисциплиной, для которой характерны проявления признаков самоорганизации и эмерджентности. Именно это обстоятельство требует участия человека в тех случаях, где поток неопределённостей превышает порог чувствительности системы и снижает качество выдаваемого результата. Для этих целей существуют аналитики для работы с базами данными, эксперты по визуализации больших данных и другие соответствующие специалисты, для того чтобы разобраться в неструктурированной информации, обнаружить и исправить ошибки, подготовить надёжные данные для технологии машинного обучения и ещё множество других операций.
Специалисты такого уровня представляют большую ценность, поскольку они должны владеть не только всесторонними знаниями по предназначению системы, но и богатым опытом, который крайне важен для технологий машинного обучения и совершенствования качества элементов «искусственного интеллекта».
Несколько слов о том, в каких условиях работают системы больших данных и СУБД. Как уже отмечалось в начале статьи, нейросети, базы данных и СУБД приняли на себя первый удар взрывного экспоненциального потока информации, который продолжает расти. Совершенно очевидно, что этот факт предъявляет жесткие требования к пропускной возможности всех элементов системы, включая ограничения каналов связи, аппаратной среды, объёмов физической среды хранения информации, а также сохранения целостности и качества поступающей информации на входе системы и в обменных каналах коммуникации с элементами своей системы и внешними взаимодействующими системами.
Из теории информации известно, что любые действия с информационным потоком ведут к возрастанию энтропийных процессов и как следствие к увеличению ошибок в передаваемой информации в ходе её обработки и хранении. Кроме того, источниками ошибок могут быть несовершенство алгоритмов обработки информации, аппаратные сбои, разнородность и структурные различия информационных фрагментов, сбои в синхронизации потоков, ошибки человека и множество других причин.
В этой связи возникает парадоксальная ситуация, когда прожорливые нейронные сети требуют как можно больше информации, а увеличение информационного потока приводит к перегрузкам системы и к снижению качества данных.
Одним из способов в решении такого рода проблем стало технологическое решение по распараллеливанию потоков информации и создание распределённых сетей. На каком-то этапе синтеза подобных систем удалось продвинуться в минимизации собственно цифровых проблем, однако появились другие в виде временной синхронизации и актуальности информации, проблемы ложных корреляций и других, где потребовалось доработка аппаратной и алгоритмической частей системы, а также увеличение численности аналитиков для работы с базами данных и других специалистов обслуживающего персонала.
Итак, по мере возрастания информационных потоков возрастают объемы аппаратной части для увеличения пропускной способности системы и её элементов, возрастает количество интеллектуальных модулей, что неминуемо ведёт к усложнению системы и снижению её устойчивости. Растёт количество ошибок в информационной части и их неконтролируемое размножение при взаимодействии с другими системами, что вынуждает создавать дополнительные барьеры для их обнаружения в других системах. Этот процесс можно сравнить с процессами ядерного распада и сложных систем контроля для недопущения критической массы ошибок, когда система произвольно меняет своё назначение и вводит пользователей в заблуждение, что влияет на качество принимаемых решений.
Статистика показывает, что технологии машинного обучения , получая недостоверную, а в ряде случаев ошибочную информацию, могут впадать в состояние «галлюцинации». Этот термин уже давно используется в технической и научной литературе, который в отсутствие ГОСТ трактуется следующим образом: «В области искусственного интеллекта галлюцинация или искусственная галлюцинация, называемая заблуждением — это ответ, генерируемый «ИИ», который содержит ложную или вводящую в заблуждение информацию».
В прошлых публикациях на эту тему был приведен пример, к чему приводит бесконтрольное использование технологии генеративных GPT в социальных сетях ряда стран, которые вынуждены были законом ограничить их действие.
Попробуем эту мало обсуждаемую тему прокомментировать материалами «Технического отчета GPT-4», выпущенного американской научно-исследовательская организацией «OpenAI» в марте 2023 года, занимающейся разработками в области искусственного интеллекта и больших языковых моделей, в том числе GPT-4 и ChatGPT.
Что же касается термина «галлюцинация», то в отчёте указано: «…Мы используем термин «галлюцинация», хотя понимаем, что этот термин может привести к негативным последствиям или неверным ментальным моделям в ходе машинного обучения».
Характеризуя некоторые, ставшие для своих создателей неожиданными, свойства большой языковой модели, в отчёте отмечается: «GPT-4 также может уверенно ошибаться в своих прогнозах, не заботясь о том, чтобы перепроверить работу, когда есть вероятность ошибиться».
Авторы отчёта, ссылаясь на результаты ряда качественных и количественных оценок GPT-4, отмечают, что им удалось получить представление о некотором наборе рисков, возникающих в ходе генерации GPT-4, которые представляют собой достаточно внушительный перечень. Это:
« галлюцинации; вредоносный контент; операции по дезинформации и влиянию; распространение обычных и нетрадиционных вооружений; конфиденциальность; кибербезопасность; возможность рискованного эмерджентного поведения; взаимодействие с другими системами; экономические последствия».
Проблемы доверия к интеллектуальным и экспертным системам тоже нашли место в отчёте: «… галлюцинации могут стать более опасными по мере того, как модели становятся более правдивыми, и поскольку эти модели интегрированы в общество и используются для автоматизации различных систем, эта тенденция к галлюцинациям является одним из факторов, которые могут привести к ухудшению общего качества информации и еще большему снижению достоверности и доверия к свободно доступной информации».
Кроме проблем доверия, большое место в отчёте отводится наличию существенных ограничений GPT-4 в области кибербезопасности из-за своей склонности к «галлюцинациям».
Проблемы сложных больших систем тоже не остались в стороне. В отчёте отмечается, что «.. такие модели, как GPT-4, разрабатываются и внедряются не изолированно, а как часть сложных систем, включающих в себя множество инструментов, организаций, отдельных лиц, учреждений и стимулов. Это одна из причин, по которой мощные системы ИИ должны оцениваться и подвергаться состязательному тестированию в контексте возникновения потенциально опасных циклов обратной связи «система-система» или «человек-система» и разрабатываться с запасом прочности».
И вот здесь на горизонте замаячили проблемы больших систем, решения которых весьма сложные и крайне затратные. Раскрывая существо рискованной эмерджентности в поведении отдельных агентов большой системы, авторы отчёта отмечают, что «… выявленные новые возможности вызывают особую озабоченность, — это способность агентов создавать долгосрочные планы и действовать в соответствии с ними, например, достигать целей, которые, возможно, не были конкретно определены и которые не появились в обучении; сосредотачиваться на достижении конкретных, поддающихся количественной оценке целей и осуществлять долгосрочное планирование. Некоторые свидетельства такого эмерджентного поведения в моделях уже существуют».
В материалах «Технического отчета GPT-4», который имеет более трёхсот страниц и в котором указаны более пятидесяти авторов и участников тестовых команд из различных стран, отмечается, что исследования в области эмерджентных и рекурсивных проблем интеллектуальных больших систем будут продолжены в интересах поиска решений по их минимизации и выработки рекомендаций.
Резюмируя содержательную часть этого раздела, необходимо отметить, что развитие технологической базы, позволяющей работать с гигантскими объёмами информации, обеспечивать прогнозные решения с высокой достоверностью и обеспечивать множество новых сервисов, пока ещё отстаёт в решении проблем больших нелинейных неравновесных открытых динамических систем, к которым относятся авиационные системы, в том числе системы управления воздушным движением.
Заключение
В материалах статьи были изложены особенности новых реалий развития элементов «искусственного интеллекта», нейронных систем, баз данных и других интеллектуальных элементов, которые должны стать основой в модернизации имеющихся информационно-управляющих авиационных систем и создания новых. Взрывной рост количества беспилотных воздушных судов, а также рост количества информационных потоков во всех элементах авиационных систем требует «…расширения фундаментальных и прикладных исследований в области генеративного искусственного интеллекта и больших языковых моделей», как отметил Президент Росси на Конференции «AI Journey» в ноябре 2023 года.
В статье приведены основные свойства и особенности перспективных систем и комплексов, которые планируется применить при создании авиационных систем нового поколения в рамках новой авиационной парадигмы в связи с массовым развитием беспилотной авиации.
В статье также изложены новые вызовы и требования к подготовке кадров для работы с интеллектуальными системами в новых условиях, где подчёркивается важность нахождения человека в контуре управления сложных систем.
Поручения, сформированные по результатам работы Конференции «AI Journey», а также ряд программных и нормативных документов, посвященных развитию технологий «искусственного интеллекта», должны стать катализатором развёртывания научных исследований, технологических работ и подготовки кадров по плановому продвижению новых технологий в авиации и в других транспортных сегментах государства.
Да пребудет с нами Сила!
Источники
- Цифровые технологии в российской федерации.
- Анализ и перспективы развития российской авиастроительной отрасли.
https://applied-research.ru/ru/article/view?id=6000&ysclid=lrywhlt3pu236434301
- Программа “Цифровая экономика Российской Федерации”.
https://digital.gov.ru/ru/activity/directions/858/
- ГОСТ Р 59277-2020. Национальный стандарт Российской Федерации. Системы искусственного интеллекта. Классификация систем искусственного интеллекта.
https://base.garant.ru/400794448/
- ГОСТ Р 55859-2013 Воздушный транспорт. Система менеджмента безопасности авиационной деятельности. Базы данных.
https://docs.cntd.ru/document/1200107505?ysclid=lryxyrzem7671286685
- ГОСТ 33707-2016Информационные технологии.
https://sysadminmosaic.ru/_media/gost_rf/33707-2016.pdf
- ГОСТ Р ИСО/МЭК 29161-2019 Информационные технологии. Структура данных.
https://docs.cntd.ru/document/1200164026?ysclid=lryx439yf5213997769
8. Информационные технологии. Интернет вещей промышленный.
https://docs.cntd.ru/document/1200183441?ysclid=lryx8esune788578860
9. ПНСТ 417-2020 Система киберфизическая. Термины и определения. https://docs.cntd.ru/document/1200174442?ysclid=lryxbhfrq6555890132
- ГОСТ Р ИСО/МЭК 20546-2021 Большие данные. Обзор и словарь.
https://docs.cntd.ru/document/1200180276?ysclid=lryxe0lp3s339412769
- ГОСТ 34.321-96 Информационные технологии. Система стандартов по базам данных.
https://docs.cntd.ru/document/1200017662?ysclid=lryxgjyroa220253483
- ГОСТ Р 54080-2010 Воздушный транспорт. Система технического обслуживания и ремонта авиационной техники. Информационно-аналитическая система мониторинга летной годности воздушных судов. Общие требования.
https://docs.cntd.ru/document/1200083496?ysclid=lryy5ist45960122790
- ГОСТ 28195-89 Оценка качества программных средств. Общие положения.
14. GPT-4 Technical Report
О.О. Гапотченко,
эксперт
МКАА «Безопасность полетов» не несет ответственности за содержание этого материала. Содержимое сообщения не обязательно является мнением или взглядом учредителей МКАА «Безопасность полетов». Материал публикуется с целью ознакомления авиационного сообщества с различными мнениями специалистов.
Содержание материалов представлено в том виде, в котором их подготовили авторы – без какой-либо редакторской правки.
Я ХОЧУ ВНЕСТИ ЛИЧНЫЙ ВКЛАД В БЕЗОПАСНОСТЬ ПОЛЕТОВ В РОССИИ! |
 |