Авторские статьи по системному анализу

Системный анализ

«Научный метод и ошибки»

А. И. Серебряный

Журнал «Природа», N3, 1997

Большинство людей убеждено в существовании «научного метода». В то же время многие считают, что «научный метод» — это миф. Одна из причин такого мнения — понимание метода как совокупности правил, которые гарантированно, или без ошибок, должны давать результаты. Но метод, вообще говоря, — это только метод попыток или проб, или «проб и ошибок».

Требование безошибочности часто заменяется требованием, чтобы ошибок было мало или чтобы вероятность ошибки была мала.

Научный метод — это метод, с помощью которого человек может открывать закономерности в данных фактах или формулировать гипотезы, или предлагать теории. Для краткости мы вместо того, чтобы говорить: «Человек, пользуясь данным методом, сделал ошибку», — будем употреблять выражение: «Метод сделал ошибку» и т.п.

Эта статья — возражение тем авторам, которые утверждают, подобно В.А. Фоку, что научного метода не существует, на том основании, что не может быть метода, который позволил бы выдвигать гипотезы без ошибок или с небольшим их числом. Я попытаюсь показать, что, вопреки распространенному мнению этих авторов, метод может ошибаться в 99% случаев и, несмотря на это, быть разумным. Это означает, что по крайней мере одно из возражений против существования научного метода теряет силу.

Несколько слов о словах

Понятия «метод», «гипотеза», «вероятность ошибки» имеют много смыслов. В каком смысле мы их здесь употребляем? Под методом будем понимать точный метод. Таким образом, метод интегрирования по частям, аналитическое продолжение, метод восстановления многочленов по значениям в нескольких точках — это методы, а метод мозгового штурма — не метод. Потребуем от научного метода, чтобы он был универсален в том смысле, чтобы он мог открывать любые закономерности в любых фактах. Для этого нам нужен универсальный язык, в котором выразимы любые закономерности. Высказывалось много возражений против существования универсального метода. В другом месте я попытался показать, что многие возражения основаны на требованиях к методу, от которых можно отказаться.

Возможно разное понимание того, что значит «метод выдал гипотезу Г». Одно из возможных пониманий: «Метод выдал утверждение: «Г истинно». Другие понимания выдаваемого утверждения: «Г — разумная гипотеза» или «Г — естественная гипотеза». Но разумность, или естественность, гипотезы — очень неопределенные понятия.

Возможны некоторые уточнения такого понимания:

  1. Г — гипотеза, которую интересно попытаться проверить; мы, как было сказано выше, занимаемся методами, открывающими закономерности; такие методы поэтому естественно называть методами открытия; можно сказать, что они выдают гипотезы (о закономерности), которые интересно попытаться проверить;
  2. Г — проверенная, или подтвержденная гипотеза;
  3. Г — принятая научным сообществом гипотеза;
  4. Г — принятая обществом гипотеза.

Из-за смешения разных пониманий происходят недоразумения. Например, довольно часто высказывается замечание, что ученый не живет в башне из слоновой кости и надо учитывать влияние общества на выбор теории. Это верно для принятия гипотезы обществом. Но мы занимаемся методами открытия, а не подтверждения или принятия. Иосиф Бродский как-то заметил: «Поэту нужно только одно от общества — его язык». Так и у нас: все влияние общества суммируется в универсальном языке, который мы выберем.

К недоразумениям приводит и двусмысленность понятия «вероятность». Существуют два подхода к понятию вероятности — «логический» и «частотный».

При определении метода иногда вводится вполне разумное требование подтверждения, цель которого — сделать «вероятность ошибки» не очень большой. Но эту вероятность нельзя измерить на практике — она находится внутри математики. Это — «логическая» вероятность. В статье же идет речь о вероятности ошибки при открытии законов природы. Это — вероятность, как она понимается при «частотном» подходе. Нетрудно дать метод, открывающий закономерности вида f(x,y) = ax+by+c по значениям в нескольких точках. Невероятно, чтобы много случайно выбранных в пространстве точек легло на плоскость, поэтому мы можем сделать вывод: вероятность ошибки мала. Но какое отношение эта вероятность имеет к вероятности того, что в реальном мире мы «искривленное» примем за «плоское» («земля плоская», «пространство евклидово»)?

Предварительно задачу нахождения точного научного метода можно поставить следующим образом: у нас есть идеи о том, что такое разумная гипотеза, и у нас есть идеи об универсальном языке, на котором можно выразить всю математику и, следовательно, основные законы физики (в качестве универсального языка наиболее часто рассматривается теория множеств). Определить научный метод — это соединить эти идеи в одной теории (недедуктивной логике). Постановка задачи, конечно, неоригинальна. С тех пор, как появился первый вариант универсального языка (теория типов Рассела — Уайтхеда), идея о том, что хорошо бы это сделать, многим приходила в голову. То, что это до сих пор не сделано, говорит о том, что в предыдущих попытках что-то было неладно. Из-за недостатка места мы не будем сейчас обсуждать, в чем тут дело, и пытаться убедить читателя, что научный метод существует, а отошлем к некоторым работам, где рассматриваются эти вопросы. Идеальный метод можно рассматривать: а) как закон мышления; б) как закон природы или в) как некоторую (неколичественную) теорию вероятностей.

Считаем ли мы биологию наукой?

Иногда делается такое возражение против того, чтобы точный метод рассматривать как модель «неформального научного метода»: использование только точных методов означает, что мы считаем науками только точные науки (такие, как физика), а другие науки, скажем, биологию, науками не считаем. Это просто недоразумение.

Очевидно, теория вероятностей не объявляет, что нематематические науки — не науки. То же самое можно сказать про недедуктивную логику. Недоразумение это вызвано тем, что математика и науки, где используется математика, играют огромную роль в теории идеального метода. Главный источник примеров гипотез — гипотезы, которые делаются в математике. Математика дает естествоиспытателю те понятия, в которых он формулирует законы природы (например, она дала эллипсы Кеплеру). Эйнштейн писал, что творческая роль принадлежит именно математике. Поэтому важнейшей задачей, которую должен решать идеальный метод, является задача построения математики. Изучение физики также очень важно. Без учета тех гносеологических уроков, которые дали теория относительности и квантовая механика, нельзя понять, что такое теория. Но если мы ограничимся при попытках понять, что такое теория, только физикой, то мы сильно рискуем составить себе слишком узкое представление о теории, возможно, приводящее к тому, что мы даже о новых физических теориях будем говорить: «Это не физика!»

В универсальном языке, который нужен в недедуктивной логике, должны быть формализованы такие понятия, как «обобщение», «аналогия», «естественная классификация», «естественная экстраполяция» и т.п. Вероятно, одно из самых важных понятий в биологии — «органическое целое», в психологии — «гештальт». Очевидно, что эти понятия — той же природы, что и естественная экстраполяция, — органическое целое можно восстановить (экстраполировать) по его части. В обычной математике пример органического целого — аналитическая функция.

Без понимания того, что такое гипотеза, нельзя строить ни модели обучения распознаванию зрительных образов, ни модели распознавания зрительных образов, ни модели обучения языку, ни модели понимания языка и т.п. Классификации нужны во всех науках. Таким образом, недедуктивная логика должна быть широко применима вне физики и математики, и некоторые модели без недедуктивной логики просто не могут быть построены.

Должен ли метод полностью заменить талант, интуицию и т.п.? Требование гарантированности результата означает, что метод должен быть алгоритмом, который полностью заменяет талант. «Метод уравнивает способности» (Ф. Бэкон). Так же понимали метод Декарт и Лейбниц. С этим связана и идея «авторитарности» метода: если мы нашли «единственно правильный научный метод», то все обязаны его применять, все будут получать этим методом одну и ту же теорию, а если кто-то выдал не ту гипотезу, которую выдал метод, то эта гипотеза ошибочна и т.д. Но об идеальном методе ничего подобного сказать нельзя. Во-первых, метод — не алгоритм (например, метод интегрирования по частям не детерминирован). Во-вторых, идеальный метод не является полной моделью «неформального научного метода».

Многие философы считали, что не существует правил открытия. Мы считаем, что правила открытия существуют и идеальный метод описывает все, что можно сделать с помощью правил. Но при открытии не все делается по правилам — тогда говорят об интуиции, озарении, таланте и т.п. Поэтому метод не уравнивает способности. То, что делается неформально, иногда может быть очень легко сделано — тогда можно сказать, что метод уравнивает способности, но даже в таких случаях открытие не вполне формально — метод формален, но его применение, как и применение любой математической теории, неформально. Например, при применении школьной алгебры перевод задачи, заданной на естественном языке, на язык алгебры (составление уравнений) неформален, хотя часто и легок.

Поэтому идеальный метод не является полной теорией того, как делаются открытия. Но у нас нет никакой теории. Нам нужна не исчерпывающая теория, а хоть какая-то теория.

Человек, отказывающийся в каких-то случаях от использования метода, может быть прав. Решение уравнения, определяющего гипотезу, может быть настолько сложно, что для нахождения гипотезы проще «все время об этом размышлять», как это делал Ньютон и другие физики, чем использовать «единственно правильный научный метод». Нельзя исключить того, что с помощью интуиции можно выдвинуть гипотезу, а с помощью метода — нельзя. Возможно, что человек предложит одну гипотезу, а метод — другую. A priori нельзя сказать, какую из них следует предпочесть. Если теория получена не с помощью идеального метода, это вовсе не значит, что теория ненаучна.

Универсальный метод не может делать ошибок?

В 1959 г. в разговоре с одним известным математиком я сказал, что пытаюсь в общем виде определить метод, с помощью которого можно было бы по фактам выдвигать разумные гипотезы, например по нескольким начальным символам бесконечной последовательности из 0 и 1 предсказывать следующий знак. И услышал следующий ответ: «Такой метод невозможен. Какой бы знак вы ни предсказали, я поставлю «nicht», и вы ошибетесь».

Доказательство показалось мне очень странным. Оно доказывало только то, что метод будет иногда делать ошибки. Но ведь я сказал, что речь идет о методе, выдвигающем гипотезы. Гипотеза, по определению, — это предложение, которое может оказаться ошибочным. Поэтому метод, по определению, может делать ошибки. Почему мой собеседник не видит столь очевидных вещей?

Тогда я столкнулся с этим доказательством в первый раз. Лет через пять услышал то же возражение от другого математика. Я слышал его потом и от других.

Даже неуниверсальный метод может делать ошибки

Доказательство это кажется странным также и потому, что оно «доказывает» не только невозможность общего определения разумной гипотезы или универсального метода, но и невозможность определения разумной гипотезы для узких классов гипотез, там, где нетрудно дать такое определение. Можно предложить следующий метод восстановления многочленов y=P(x) по значениям в точках x=1, 2,..., k+1.

Многочлен должен удовлетворять требованиям: 1) соответствие фактам: он должен принимать данные значения в этих точках; 2) простота: он должен быть наименьшей степени; 3) подтверждение: он должен быть степени, меньшей k. Через (k+1) точку всегда можно провести многочлен не более, чем k-й степени. Если многочлен получился k-й степени, нет никаких оснований предполагать, что в значениях P(x) есть какая-то закономерность, и мы объявляем, что «факты случайны» и отказываемся выдвигать какую-нибудь гипотезу. Если же степень многочлена меньше k, то мы выдаем его в качестве гипотезы. Чтобы этот метод правильно угадал многочлен n-й степени, необходимо по крайней мере n+2 точки. Например, если 20 точек (x,y) легло на прямую (график некоторого многочлена первой степени), то мы выдаем гипотезу, что получен многочлен первой степени (линейная функция), а если нас просят объяснить, почему мы сделали эту гипотезу, отвечаем: невероятно, чтобы это произошло случайно.

Метод этот «обычно» позволяет строить разумные гипотезы. Доказать мы этого не можем, но знаем это без всякого доказательства. Исключения, когда с помощью метода получаем не ту гипотезу, которую сделал бы разумный человек, — это многочлены, вроде степеней x, обладающие особыми свойствами, делающими их «более простыми», чем «обычные». Если человек знает, что при x=2 значение многочлена равно 32, то он может высказать гипотезу, что это x5. То есть человек открывает многочлен пятой степени по одной точке, а методу нужно по крайней мере 7. Можно предположить, что разумный метод должен открывать любой многочлен. Очевидно, описанный метод удовлетворяет этому условию в том смысле, что восстанавливает любой многочлен по достаточно большому числу точек, хотя иногда делает ошибки.

Так вот, упомянутое доказательство без всяких изменений можно повторить и в этом случае. Из него следует, что даже метод восстановления многочленов (только что описанный) невозможен.

Почему так много людей считает убедительным это доказательство?

Потому что они сознательно или бессознательно считают справедливым следующее равенство: разумная гипотеза = истинная гипотеза. Метод должен гарантировать успех — получение истинной гипотезы. Авторы многих работ по теории научного метода на этом основании утверждали, что никакого метода открытия нет и быть не может.

П.Мидоуэр (P.Medawar) рассуждает так: «Профессия ученых решать проблемы; поэтому те, кто заявляет, что они верят в метод, но не могут решить данную задачу, или не знают правильного метода, или просто чересчур глупы, чтобы применять его».

К.Поппер обстоятельно доказывал, что метод, выдающий истинные гипотезы, невозможен и что законы физики — это гипотезы, которые могут оказаться ошибочными. Он считал это оригинальным взглядом на научный метод. Этот взгляд Поппер называл «фаллибилизмом». То, что Поппер счел нужным доказывать упомянутое утверждение, означает, что был широко распространен взгляд, согласно которому можно найти «индуктивный» метод, делающий истинные гипотезы.

Откуда взялся такой взгляд?

В течение многих веков такие предложения математики, как теорема Пифагора, считались абсолютно достоверными вечными истинами. Через какое-то время после появления «экспериментального, или научного, метода» некоторые законы природы также стали представляться незыблемыми вечными истинами. «Когда-то научные законы считались вполне обоснованными и непререкаемыми».

Но если существуют законы природы, являющиеся вечными истинами, то естественно попытаться найти метод, открывающий эти вечные истины. Сторонники мнения, что такой метод существует, получили название «индуктивистов».

Имре Лакатос: »Когда индуктивист принимает некоторое научное суждение, он принимает его как достоверно истинное». В настоящее время, по-видимому, все согласны, что законы природы — это гипотезы. Но убеждение, что разумная гипотеза — это истинная гипотеза, у многих осталось.

Очевидно, что гарантировать истинность гипотезы мы не можем. Истинность — это соответствие всем фактам, а нам дана только часть. Проверить истинность на неизвестных фактах мы не можем никак. Поэтому метод, выдающий истинные гипотезы, разумеется, невозможен. Что делать, если мы не хотим отказываться от попыток определить метод? Многие согласились с тем, что метод может делать ошибки, но при этом требуют, чтобы метод был «близок к безошибочному».

Лакатос: »Неоиндуктивизм» требует достижения лишь высоковероятных сообщений». При так называемом «обучении распознаванию образов» на ЭВМ проверяют правильность распознавания некоторых примеров и по проценту правильных узнаваний судят о работе программы. Если программа делает много ошибок, она считается плохой. Типичной тут является задача медицинской диагностики. Здесь требование малого числа ошибок вполне разумно. В других классах задач разумно даже требование полного отсутствия ошибок. Но нельзя распространять подобные требования на любые классы задач. Самые интересные задачи, которые решает научный метод, — это задачи открытия важных законов природы, а именно в этом классе требование малого числа ошибок неразумно.

Универсальный метод должен решать «любые» задачи. Но в классе всех задач процент ошибок невозможно подсчитать, так как невозможно найти представительную выборку из такого класса.

Математики часто экстраполируют функции от натурального аргумента на все действительные числа. Вопрос об ошибках не имеет смысла, так как никто не ответит на вопрос об «истинном» значении функции при каком-то нецелом значении аргумента.

Мы знаем, что аналитическая экстраполяция разумна, хотя «факты», нужные для нее, не могут появиться в эксперименте и проверить правильность экстраполяции мы не можем.

Вернемся к методу восстановления многочленов. Мы не писали никакой программы, не пытались найти приложения этого метода и поэтому ничего не знаем о том, часто он будет ошибаться или редко. Тем не менее мы знаем, что он разумен. Это показывает, что судить о разумности метода мы можем, ничего не зная о числе ошибок при его применении.

Разумный метод часто приводит к ошибкам

Если интуиция противится тому, чтобы называть разумными методы, которые иногда делают ошибки, то тем более она противится тому, чтобы называть разумными такие методы, которые почти все время ошибаются. «Кому нужен метод, который ошибается в 99% случаев?» — слышу я возражение.

Но рассмотрим «неформальный научный метод». Он работает так. Чтобы делать открытия, большое число людей много лет учится в университетах. Затем они занимаются научной работой, цель которой — открытия. Если оценить вероятность успеха «неформального научного метода» как процент ученых, сделавших крупные открытия, то хорошо, если мы получим 1%. Остальные 99% — плата за этот 1% («ошибки»). Занятие настоящей наукой, попытка решить действительно интересную задачу — всегда риск. Вероятность неудачи очень велика. «В ходе научного исследования, — говорил Эйнштейн, — шанс достигнуть чего-то по-настоящему ценного слишком мал даже для очень одаренного человека».

В литературе «о том, как делаются открытия», отмечалось, что выдвигалось огромное число гипотез, оказавшихся неудачными (что вовсе не доказывает их неразумность), но они просто забываются и не описываются в истории науки.

М.А.Марков: «За последние десятилетия все чаще и чаще встречается своеобразное чисто математическое творчество в физике. Физик-теоретик часто, исходя из каких-то более или менее убедительных соображений, «предлагает» свои уравнения для описания целой совокупности физических явлений. Часто эти предложения не выдерживают серьезных испытаний экспериментом <<...>> Проводник по «храму науки будущего» не назовет авторов их, они погибли для потомства вместе с крушением идей и надежд, породивших эти работы. Если иметь в виду легион этих неизвестных имен, то редкие удачи перестанут быть удивительными».

То, что опровержение теории — не доказательство ее неразумности, неинтересности или бесполезности, подчеркивал К.Поппер: «Вполне можно сказать, что если теория опровергается после шести месяцев своего существования, а не после шести лет или шести столетий, то это обусловлено лишь исторической случайностью. Опровержения часто рассматривались как неудача ученого или по крайней мере созданной им теории. Следует подчеркнуть, что это индуктивистское заблуждение. <<...>> Даже если новая теория нашла раннюю смерть <<...>>, она не должна быть забыта».

П.Л.Капица: «Отношение числа научных изысканий, давших решение поставленной задачи, к числу всех попыток, включая сделанные зря, и может рассматриваться как коэффициент эффективности научного изыскания. <<...>> при решении трудных больших проблем этот коэффициент будет неизбежно всегда мал».

В случае «неформального научного метода», несмотря на огромное число ошибок и неудач, большинство людей не спросит: «А кому это нужно?» Одно великое открытие производит настолько сильное впечатление, что о неудачах никто не вспоминает.

Многие, отмечая, что не существует метода, гарантирующего малую вероятность ошибки, считали это равносильным отсутствию какого-либо метода. Соглашаясь с тем, что метода, дающего малую вероятность ошибки, не существует, не обязательно соглашаться с тем, что это означает отсутствие какого бы то ни было метода.

Если мы хотим точно определить научный метод, то должны отказаться от требования малой вероятности ошибки (тем более, что непонятно, как оценить эту вероятность). Лучше иметь метод, хотя бы иногда выдающий верные гипотезы, чем не иметь никакого.