Минимизация функций от нескольких переменных с помощью метода Ньютона

Метод Ньютона для минимизации функций нескольких переменных относится вметодам безусловной оптимизации второго порядка. Несмотря на то, что большинство прикладных задач содержат ограничения, изучение методов безусловной оптимизации также очень важно.
Методы безусловной оптимизации включают в себя три категории:
1. Методы прямого поиска – к ним относятся метод покоординатного спуска, методы Хука-Дживса, Розенброка, Нелдера-Мида, метод сопряженных направлений и методы случайного поиска;
2. Градиентные методы - наискорейший спуск и метод Флетчера-Ривса;
3. Методы второго порядка – к ним относятся методы Ньютона, Дэвидона-Флетчера-Пауэлла(DFP), а также другие методы, называемые квазиньютоновскими, или градиентными с большим шагом.
Методы второго порядкав процессе поиска используют больше информации о целевой функции, чем методы прямого поиска и являются более эффективными.
Метод Ньютона впервые был описан Исааком Ньютоном в рукописи «Об анализе уравнениями бесконечных рядов» (лат. «Deanalysiperaequationesnumeroterminoruminfinitas»), адресованной в 1669 году Исааку Барроу, впоследствии он упоминался и в работах «Метод флюксий и бесконечные ряды» (лат. «Demetodisfluxionumetserieruminfinitarum») или «Аналитическая геометрия» (лат. «Geometriaanalytica») в собраниях трудов Ньютона, которая была написана в 1671 году. В своих работах Ньютон оперирует такими понятиями, как разложение функции в ряд, бесконечно малые и флюксии (производные в нынешнем понимании). Однако описание метода существенно отличалось от его нынешнего изложения: Ньютон применял свой метод исключительно к полиномам. Он вычислял не последовательные приближения, а последовательность полиномов и в результате получал приближённые решения.

В результате проделанной работы можно сделать следующие выводы:
1. Более или менее сложные задачи отыскания экстремума при наличии огра¬ничений требуют специальных подходов, методов.
2. Многие алго¬ритмы решения задач с ограничениями включают ми-ними¬зацию без ограничений как некоторый этап.
3. Различные методы спуска отличаются друг от друга способами выбора направления спуска и длины шага вдоль этого направления.
4. Среди всех наиболее употребительных методов методы второго порядка требуют для получения результата с заданной точностью наименьшего числа шагов (итераций).
5. Нет пока такой теории, которая учла бы любые особенности функ-ций, описывающих постановку задачи. Следует отдавать предпочтение таким методам, которыми проще управлять в процессе решения задачи.
Реальные прикладные задачи оптимизации очень сложны. Современные методы оптимизации далеко не всегда справляются с решением реальных задач без помощи человека.
Исследования по данной теме можно продолжить, если рассмотреть другие методы оптимизации первого и второго порядка.