Представление знаний в информационных системах

Содержание

1. Анализ исходных данных и разработка ТЗ1.1 Основание и назначение разработки1.2 Классификация решаемой задачи1.3 Предварительный выбор класса НС1.4 Предварительный выбор структуры НС1.5 Выбор пакета НС1.6 Минимальные требования к информационной и программной совместимости1.7 Минимальные требования к составу и параметрам технических средств2. Обучение НС2.1 Формирование исходных данных2.2. Окончательный выбор модели, структуры и параметров обучения НС2.3 Блок-схема алгоритма обучения3. Анализ качества обучения4. Тестовый пример5. Выводы1. Анализ исходных данных и разработка технического задания1.1 Основание и назначение разработкиОснованием данной работы является необходимость выполнения курсовой работы по дисциплине "Представление знаний в информационных системах".Назначением работы является освоение нейронной сети.1.2 Классификация решаемой задачиВ таблице 1 представлены некоторые проблемы, решаемые нейронными сетями [5].Таблица 1.Исходными данными для данной задачи является вектора(из нулей и единиц) размерности 60, которые описывают каждую из 10 арабских цифр, выбранных для обучения. Исходные данные предлагаются в прилагаемом файле "cifri.xls"В этом же файле содержатся и выходные вектора размерности 10, где единица в одном из 10 положений означает принадлежность классифицируемого образца к той или иной цифре.Сеть, принимая входной вектор, должна в соответствии с ним выдать соответствующий данной последовательности выходной вектор.Исходя из исходных, выходных данных, задачам, которые необходимо решить, данная задача является задачей классификации.1.3 Предварительный выбор класса нейронной сетиСписок классов НС, в которых существует возможность решения задачи, отражён в таблице 2 [5].Таблица 2. Из классов, которые не подходят для решения задач классификации можно указать многослойные динамические сети с возбуждением и торможением и динамикой второго порядка.Строго и однозначно определить класс НС для этой задачи не представляется возможным, так как большинство из них в той или иной мере подходят для ее решения.Исходя из выше сказанного остановим свой выбор на следующих классах: Персептрон, однослойный и многослойный; Сети Хопфилда; Сети Ворда; Сети Кохонена; Двунаправленная ассоциативная память(ДАП);Проведем сравнительный анализ данных классов[5]:Исходя из выше сказанного сужаем выбор класса до многослойного персептрона и сети Ворда.1.4 Предварительный выбор структуры НСРекомендации по выбору структуры:На вход сети подается вектор размерности 60, так как в нашей математической модели растровое изображение делится сеткой 6х10 и представляется вектором.На выходе сети вектор из нулей и единиц размерности 10, так как число классов равно 10.1. количество слоев: 1, как правило, начинают с одного скрытого слоя, а затем экспериментально при необходимости увеличивают это число2. количество нейронов:1) во входном слое: 60, так как размер изображения 6x10;2) в скрытом слое: 30-50% от 60, также определяется экспериментально в процессе моделирования;3) в выходном слое: 10;3. вид функций активации: определим далее экспериментальноСкорость обучения выберем исходя из того, что при очень большой скорости сеть может обучиться неверно, а при очень маленькой процесс обучения может быть долгим.1.5 Выбор пакета НСТребования для выбора пакета НС:1. наличие в пакете выбранной модели НС2. возможность создания выбранной структуры3. возможность задания исходных данных для обучения и расчета4. доступность пакета5. трудоемкость по его освоению6. наличие русификации7. интерфейс8. другие достоинства9. другие недостаткиВ таблице 2 приведены характеристики некоторых пакетов [http://alife.narod.ru/].Таблица 2:Исходя из данных таблицы 2, наиболее подходящим пакетом является пакет NeuroShell 2.1.6 Минимальные требования к информационной и программной совместимостиMicrosoft Office 97 и вышеПакет NeuroShell 21.7 Минимальные требования к составу и параметрам технических средствMS Windows 9х/2000/Ме/NT/XP32 Mb RAM

IBM - совместимый персональный компьютер класса 486/66 или выше (желательно Pentium II или выше)

Видеоадаптер SVGA

Монитор VGA и выше

Клавиатура, мышь

2. Обучение нейронной сети

Под обучением искусственной нейронной сети понимается процесс настройки весовых коэффициентов ее базовых процессорных элементов, результатом чего является выполнение сетью конкретных задач -- распознавания, оптимизации, аппроксимации, управления. Достижение подобных целей формализуется критерием качества Q, минимальное значение minWQ=Q* которого соответствует наилучшему решению поставленной задачи [5].

2.1 Формирование исходных данныхРассматривается классификация цифр арабского алфавита, написанных шрифтом Arial 10ым размером. Для формирования исходных данных (вектор признаков) использовалось растровое представление цифр (в виде массива из 0 и 1). Размер изображения, исходя из шрифта написания, составил 6х10 квадратов. Отсюда размерность входного вектора - 60.Выходной вектор (-вектор, значения всех координат которого должны быть равными 0, за исключением координаты, соответствующей выходному элементу, представляющему искомый класс(значение этой координаты должно быть равным 1)) имеет размерность 10, в нем номер позиции единицы соответствует номеру цифры. Таким образом, обучающая пара содержит 60 + 10 = 70 значений.Для каждого желаемого образа формируется соответствующий массив, записанный в одну строку (сверху вниз слева направо), и также в процессе обучения используются реальные выходные значения, которые записаны в конце строки сформированного массива.2.2 Окончательный выбор модели, структуры и параметров обучения НСВ NeuroShell 2 предлагается несколько моделей НС.По рекомендациям разработчиков пакета критерием остановки обучения будет: события после минимума > 20000, так как с использованием встроенной калибровки этот критерий позволяет избежать переучивания сети и запоминания тестовых примеров.Окончательный выбор нейронной сети основан на анализе полученных экспериментально результатов для средней ошибки < 0,000001.Таблица 1 Окончательный выбор нейронной сетиИз анализа таблицы 1 следует, что наилучшей моделью является сеть Ворда с двумя блоками скрытого слоя, имеющими разные передаточные функции, с обходным соединением.Окончательный выбор структуры нейронной сети основан на анализе полученных экспериментально результатов для средней ошибки < 0,000001.Изменяем количество скрытых нейронов и передаточные функции скрытых блоков для выбора оптимальной структуры сети.Передаточная функция блока 1 - Б1.Передаточная функция блока 2 - Б2.Таблица 2 Окончательный выбор структуры нейронной сетиИз анализа таблицы 2 следует, что оптимальной структурой сети является:* комплем. Гауссова функция для блока 1;* комплем. Гауссова функция для блока 2;* количество скрытых нейронов - 50(25 в каждом из блоков);Выбор параметров обучения основан на анализе результатов эксперимента для сети Ворда с двумя скрытыми блоками, имеющими разные передаточные функции, с обходным соединением, с количеством скрытых нейронов равном 50.Таблица 3 Выбор скорости обученияИз анализа таблицы 3 следует, что оптимальная скорость обучения равна 0,7.Проанализируем теперь зависимость обучаемости сети от момента при выбранной скорости обучения.Таблица 4 Выбор моментаИз анализа таблицы 4 следует, что оптимальное значение момента равно 0,1.Таким образом оптимальными параметрами обучения для данной сети являются:· Скорость обучения - 0,7· Момент - 0,12.3 Блок-схема алгоритма обученияБлок-схема алгоритма обучения с обратным распространением ошибки[6]:3 Анализ качества обученияДля проверки способностей к обобщению на вход сети подаются зашумленные последовательности входных сигналов. Процент зашумления показывает, какое количество битов входного вектора было инвертировано по отношению к размерности входного вектора.Исходные и выходные файлы для анализа качества обучения [6,7]:Листы Шум 7, Шум 13 и Шум 20 в файле cifri.xls для 7%,13% и 20% соответственно.В силу большой размерности таблиц, содержащих входные и выходные вектора, данные файлы прилагаются к пояснительной записке в электронном виде.При зашумлении до 13% сеть хорошо решает предложенную задачу. При вводе сигналов с уровнем шума 20% обученная сеть выдает неверные значения на 40% экзаменационных наборах (т.е. сеть не может отдать предпочтение одной из нескольких цифр).Например, при подаче зашумленного вектора, соответствующего цифре 8, выход сети, соответствующий 8 равен 0,61, выход 1 - 0,73.При подаче цифры 3 соответствующий выход равен 0,34, выход 8 - 0,51.Понизить ошибку можно увеличив размерность сетки, которой разбиваются цифры, например 16х16, тогда размерность входного вектора 256.Кроме того можно понизить среднюю ошибку при обучении сети.Но, несмотря на все выше сказанное, можно сказать, что сеть хорошо обучилась и обладает хорошими способностями к обобщению.4. Тестовый примерДля тестирования сети используем экзаменационные данные из файла "test.xls" с уровнем шума 7 %.Результаты отражены в файле "test.out", который прилагается к пояснительной записке в электронном виде.Из анализа содержимого файла можно сделать вывод, что обученная сеть справляется с поставленной задачей и обладает хорошей способностью к обобщению.5. ВыводыВ данной курсовой работе был решен частный случай задачи классификации цифр арабского алфавита на основе нейронных сетей. Задача была решена только для цифр, написанных шрифтом Arial, 10 размера.Для решения задачи на других данных (других алфавитов, шрифтов, размеров шрифтов) потребуется ввести некоторые изменения:* Увеличить количество записей в файле обучения;* Увеличить количество ячеек, на которые разбивается символ (обычно применяется растр размером 16х16 пикселей);* Уменьшить среднюю ошибку при обучении нейронной сети;* Для применения данной схемы к другим размерам букв нужно нормализовать поступающие на вход сети символы к единому размеру, например 16х16.Список использованных источников1. Стандарт предприятия СТП 1-У-НГТУ-982. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия - Телеком, 2001. - 382 с.:ил.3. Уоссермен Ф. Нейрокомпьютерная техника - М.: Мир 19924. Электронный учебник по NeuroShell 25. Терехов В.А. Управление на основе нейронных сетей. - М.: Высшая школа,2002. - 153 с.: ил.1. Каллан Р. Основные концепции нейронных сетей2. Ресурсы сети Интернет(http://alife.narod.ru/)