Статистическая обработка данных

Статистические расчёты в Excel. Уточнён ряд критериев.
Автор
Сообщение
retros
#25335 2018-01-23 21:29 GMT

Лабораторные работы и исследования по статистической обработке данных . Лабораторные выполняются в MS Excel и снабжены примерами. Это позволяет при пошаговом выполнении усваивать основные понятия и алгоритмы, избавляясь от рутинных расчётов. При этом создаются пересчитываемые электронные таблицы, которые можно использовать для автоматической обработки данных.

В исследовательских работах существенно уточнены некоторые статистические критерии.

Может быть полезно студентам, преподавателям, исследователям, практическим работникам, применяющим статистическую обработку данных.

marsdmitri
#25616 2018-03-03 22:46 GMT

Вы даете ссылки на литературу, автор которой не совсем порядочный

Предварительное заключение по делу Лемешко Б.Ю.,
обвиняемого в совершении деяний, несовместимых со статусом
научного работника и преподавателя

http://forum.orlovs.pp.ru/viewtopic.php?f=1&t=426&sid=177a840512f2fe94ab7abd91e0e135fb
Хорошо известно, что в литературе, связанной со статистическими методами, имеется большое число ошибок. Это относится и к «грифованным» учебникам по «Общей теории статистики», и к ГОСТам по статистическим методам управления качеством. См., например:
Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. – Журнал «Заводская лаборатория».1985. Т.51. No.1. С.60-62;
Орлов А.И. Сертификация и статистические методы (обобщающая статья). – Журнал «Заводская лаборатория». 1997. Т.63. No.3. С. 55-62.

Данный документ посвящен делу Лемешко Б.Ю..благодаря именно моей поддержке статьи Лемешко Б.Ю. неоднократно публиковались в журнале «Заводская лаборатория». Ошибки в этих статьях нанесли ущерб репутации журнала. Поэтому мне как одному из руководителей журнала (члену редколлегии) следует самокритично проанализировать ситуацию и принять необходимые меры для исправления положения. С этой целью составлено настоящее «предварительное заключение». Оно состоит из трех частей. В части 1 описано развитие ситуации. Часть 2 содержит теоретический анализ типовых ошибок при вхождении в научную область «Прикладная статистика». В часть 3 включены пять рецензий на последние две статьи Лемешко Б.Ю., представленные в журнал «Заводская лаборатория».

1. Развитие ситуации

Низкая квалификация Лемешко Б.Ю. мне давно и хорошо известно. Надо объяснить, почему я так долго его поддерживал. И защиту диссертации, и публикации в «Заводской лаборатории».
Его сочинения появились в большом количестве в 90-е, когда наука стремительно разваливалась. В журнале постоянно шла речь о нехватке статей. И я сильно обрадовался, что появился новый активный автор. Тем более, что он действовал в духе моих работ по применению статистического моделирования для изучения свойств статистик. См., например:
Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез. — Журнал «Заводская лаборатория». 1986. Т.52. No.12. С.55-57.
Однако в отличие от меня Лемешко Б.Ю. поставил дело на промышленную основу — сделал программный продукт, который позволял изучать одну задачу за другой путем стандартного статистического моделирования.
Результаты моделирования мы печатали. Статьи шли через меня как члена редколлегии. Должен с сожалением признать, что при этом я закрывал глаза на вопиющее невежество Лемешко Б.Ю. в прикладной статистике.
Например, хорошо известна ошибка при применении критериев типа Колмогорова, когда при проверке принадлежности функции распределения выборки параметрическому семейству применяют те же критические значения, что и при проверке совпадения функции распределения выборки с заданной:
Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. – Журнал «Заводская лаборатория».1985. Т.51. No.1. С.60-62.
Никак не удавалось вдолбить нерадивому Лемешко Б.Ю. суть ошибки, заставить его исправить эту ошибку в своих писаниях. Пришлось пойти на беспрецедентный шаг: вместе с очередной статьей Лемешко Б.Ю. напечатать статью
Орлов А.И. О критериях согласия с параметрическим семейством. – Журнал «Заводская лаборатория». 1997. Т.63. No.5. С. 49-50,
в которой ошибка в очередной раз разъяснялась. И в тексте от редакции пояснить — мы печатаем статью Лемешко Б.Ю., в которой есть принципиальная ошибка, и эта ошибка разбирается рядом.
Только после этого публичного сечения Лемешко Б.Ю. перестал настаивать на указанной ошибке.
Это вселило надежду на то, что Лемешко Б.Ю. может развиваться, повышать свой научный уровень, и со временем из него выработается полезный научный деятель. Увы, надежды не оправдались.
Поток статей не иссякал, в каждой имелись многочисленные «ляпы», Лемешко Б.Ю. яростно отстаивал свои ошибки, и поэтому исправить их все не удавалось, несмотря на огромное время, потраченное на рецензии.
И закономерный финал — на ошибки в статье о критериях хи-квадрат обратил внимание один из профессионалов, проф. В.Г. Воинов:
Воинов В. Г. Об оптимальных свойствах критерия Рао — Робсон – Никулина. — Журнал «Заводская лаборатория». 2006. Т.72. N 3. С.65-70.
Мне стыдно, что сам я эти ошибки просмотрел, поскольку боролся с другими — лежащими на поверхности — ошибками Лемешко Б.Ю. и не заглянул глубже. В результате в нашем журнале появилась статья Б.Ю. Лемешко с ошибками, что нанесло ущерб репутации журнала.
За прошедшие годы Лемешко Б.Ю., опираясь, в частности, на поддержку ведущего центрального журнала «Заводская лаборатория», пролез в доктора наук, профессора, деканы, обнаглел и поверил в то. что он действительно что-то представляет в научном мире. Об этом свидетельствует его возмутительные реплики на форуме http://forum.orlovs.pp.ru/viewtopic.php?t=97 сайта «Высокие статистические технологии». Никакого раскаяния!
Мораль этой истории для меня проста: невежд поддерживать нельзя.
Вряд ли Лемешко Б.Ю. снова посмеет появиться в нашем журнале. Очередной позор нам не нужен.
Но интересно, каков он как декан. Было бы лучше, чтобы он покинул этот пост, или нет? Знакомых с ситуацией просим высказаться.
* * *
Интересно подискутировать на тему об отношении к шарлатану (в терминах части 2 настоящего заключения) Лемешко Б.Ю.
Только что обсудили отрицательную сторону его деятельности — проталкивание ошибочных результатов, снижение научного уровня в популяции публикаций по прикладной статистике, причем это касается всего клана сотрудников и учеников. Шарлатан порождает новых шарлатанов. Например, в 2004 г. защищалась кандидатская диссертация Помадина С.С., выполненная под руководством Лемешко Б.Л. Я написал Лемешко Б.Ю.: «По моему мнению, диссертация не соответствует требованиям», в серии писем подробно обосновав свое мнение. Лемешко Б.Ю. проигнорировал критику. К сожалению, я проявил беспринципность, ограничившись перепиской с научным руководителем и не сообщив свое мнение диссертационному совету и ВАК. Пожалел молодого человека – он же не виноват, что у него такой неквалифицированный научный руководитель.
Однако в деятельности Лемешко Б.Ю. есть и положительная сторона. Растет популяция публикаций по прикладной статистике (хотя и содержащих ошибки), в результате обыватели узнают о существовании этой науки. Сотрудники и ученики занимаются квазинаучной деятельностью, а не биржевыми спекуляциями.
Что перевешивает?
В условиях роста советской науки в 60-70-е годы ответ был ясен — шарлатанов надо гнать из науки и преподавания.
А сейчас?
Что лучше — пустота или шарлатаны?
Я все же думаю, что пустота лучше.
Если бы Лемешко Б.Ю. с подельниками был сразу дан достойный отлуп в «Заводской лаборатории», то журнал бы только выиграл. По крайней мере, сроки публикации статей сократились бы.
* * *
Теперь, знаю глубину невежества и аморальности Лемешко Б.Ю., я думаю — почему же я его поддерживал? вот психологический ответ.
В 70-е и 80-е я выполнил несколько работ, в которых автивно использовалось статистическое моделирование (метод Монте-Карло):
Карякин Р.Н., Орлов А.И., Адамов С.Ю. Вероятностная теория высших гармоник помех, создаваемых электровозами. – В сб.: Прикладной многомерный статистический анализ. Ученые записки по статистике, т.33. — М.: Наука, 1978. С.376-380;
Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез. — Журнал «Заводская лаборатория». 1986. Т.52. No.12. С.55-57;
Орлов А.И., Камень Я.Э., Камень Ю.Э., Фомин В.Н. Сравнение критериев однородности двух выборок методом статистических испытаний. — В сб.: Тезисы докладов III Всесоюзной школы-семинара «Программно-алгоритмическое обеспечение прикладного многомерного статистического анализа». — М.: ЦЭМИ АН СССР, 1987. С. 200-201.

Были еще диссертация моей аспирантки Г.В. Рыдановой и дискуссия по датчикам случайных чисел, в том числе публикации:
Орлов А.И. Комментарий II к статье В.Г. Алексеева «Об одном методе проверки датчика псевдослучайных чисел». – Журнал «Заводская лаборатория». 1990. Т.56. No.3. С.86-87;
Орлов А.И. Комментарий к статье С.М.Ермакова «О датчиках случайных чисел». – Журнал «Заводская лаборатория». 1993. Т.59. No.7. С.51-51.

Для выполнения работ по применению метода Монте-Карло необходимы программные системы, которые делали и эксплуатировали мои соавторы.
Но в 90-е под рукой не было нужной программной системы.
А тут — Лемешко Б.Ю. с той программной базой, которая нужна для работ такого типа. Видимо, я обрадовался возможности поддержать направление отечественных исследований по прикладной статистике, связанное с методом Монте-Карло.
И стал поддерживать Лемешко Б.Ю., стараясь путем подробных рецензий поднять его научный уровень и довести статьи до возможности публикации.


отредактировал(а) marsdmitri: 2018-03-06 23:20 GMT
retros
#25978 2018-06-21 11:57 GMT

marsdmitri, Вы пишете, что я ссылаюсь на не совсем порядочного автора, и затем цитируете суждения А.И.Орлова о работах Лемешко. Действительно, на своём сайте я ссылаюсь на работы Лемешко. Но: суждения А.И.Орлова о работах Лемешко высказаны на сайте Орлова. Естественно, там он может высказывать то, что ему угодно. И высказывает — в хамском тоне («Дело Лемешко», «лемешкиада» и т.д.). Наверно, в работах Лемешко есть ошибки, но в целом это не умаляет их значения. Да и немногочисленные упоминания Орлова об ошибках Лемешко относятся к давно минувшим временам. Например, точность методов легко рассчитывается и приводится в работах того же Лемешко со товарищи.

А вот хамить нехорошо. Видимо А.И Орлов полагает себя гением, знающим истину в последней инстанции. Но его суждения, к примеру, о крайней неустойчивости статистических критериев, высказанные, например, в книге «Эконометрика», представляются мне неубедительными.  Посмотрите также https://dxdy.ru/post711181.html.  

В общем кто не совсем порядочный автор, ещё вопрос.