ady_1981

highload++ 2009

sys01@yandex.ru — Mon, 12 Oct 2009 17:32:29 GMT

Участвую в highload++--2009 http://highload.ru/papers2009/ :)

С чем себя и поздравляю.

Утром казалось, что 6000 за двухдневную конференцию - это таки дорого.
Вечером, после первого дня, уже думал, что инвестиция в 6000 руб. в такой феномен как конференция highload++ - это уж не так и дорого (если они, это 6000, есть) :).

ЗЫ: Изменения в тексте applied :).

Вдруг. Математическая статистика и физика

sys01@yandex.ru — Mon, 12 Oct 2009 15:58:12 GMT

Математическая статистика как наука очень похожа на физику, но разумеется, каждая наука имеет свои существенные особенности:

*) И в математической статистике и в физике вначале имеются экспериментальные данные, на основании которых выдвигаются некоторые гипотезы, и затем стоится некоторая модель. Причем, и статистике и в физике - все модели "плохие": в физике остаются только лучшие модели, для которых нет статистически значимых измерений, на данный момент, которые бы противоречили модели. В статистике любая модель может иметь лишь конечное число степеней свободы, в то время как считается, что все реальные макро-системы имеют бесконечное количество степеней свободы.
*) И в матстатистике и в физике ставится задача поиска оптимальных оценок. В обоих науках, как правило, ставится задача найти и оценить параметры системы и затем предсказывать поведение системы. Правда, в физике "предсказывание поведения" можно понимать буквально, в то время как в матстатистике это понимается в асимпотическом вероятностном пределе.
*) В фундамантальной физике считается, что все модели универсальные и применимы в любом общем случае. В матстатистике любая не простая матмодель, как правило, строится для данного конкретного случая. Только используя особенности данной конкретной задачи, можно принципиально улучшить качество оценок.

Диссер - это хорошо

sys01@yandex.ru — Mon, 05 Oct 2009 09:48:57 GMT

Наконец то есть время заниматься диссером. Ёу...

Есть так же время и желание заниматься развитием проекта по распространению информации об применении методов матстатистике в реальной жизни: http://community.livejournal.com/stat_analysis

Хочу это же сообщество использовать для распространения информации о своих услугах и общения с потенциальными заказчиками.

Начал распродавать имущество...

sys01@yandex.ru — Mon, 05 Oct 2009 08:29:12 GMT

Решил продать память:

*) Для ноутбука: http://komok.com/topic.cgi?id=3:121223
*) Для системного блока: http://komok.com/topic.cgi?id=3:121224

Кто есть кто и зачем

sys01@yandex.ru — Thu, 20 Aug 2009 13:18:21 GMT

Сегодня вдруг подумал, что настоящий москвич - это тот, кто потеряв работу не начинает судорожно искать новую (как же ж как же ж, такие деньги теряются, ай ай ай...) :).
Слава буддийскому богу за то, что тот дал мне жену, которая спокойно терпит мои заморочки :).

Цели на будущее после отпуска

sys01@yandex.ru — Mon, 13 Jul 2009 09:09:28 GMT

Как ни странно, после отпуска они оказались такими как и до отпуска :) :

1) Развитие букмекерско-трейдинговой компании.

Щас это выходит на первый план, ибо работа математиком в Марафоне щас висит топориком над потолком :).

По самым скромным подсчетам, на полгода денег точно должно хватить, даже если все эти полгода дохода не будет. Пока, правда, ~~(уже два года)~~ все идет к тому, что (1) он будет и (2) того же порядка, что и за работу математиком :).

Если бы не нынешнее грядущее увольнение в Марафоне... то его нужно было бы все равно "придумать"... :)

2) Защита дисера в области матстатистики и теории машинного обучения.
3) Разработка платформы для статистических вычислений на базе Mathematica.

Купил десяток воистину умных книг. Если то, что там написано популярно изложить, то уже будет дисер.
Смогу ли добавить то, чего там нет? Скорей всего да, вопрос на самом деле другой: насколько общей будет задача, которую я решу. Будет видно.

Сейчас есть еще не до конца оцененная область - использование символьных вычислений для стат. вычислений. Народ еще не понимает, что в символьном виде можно строить законченные утверждения, преобразовывая которые можно получать заведомо корректные выводы. Но для этого нужно, правда, пересмотреть путь проведения вычислений.
Есть ли новизна в таком подходе, кроме проведения новых вычислений, которые нельзя было провести раньше из-за громоздкости? Трудно сказать. Очевидно только, что есть неизведанные область: сокращение числа вычислений с очень большого до просто большого. Плюс проверка неких утверждений на большом числе случаев. Плюс кардинальное повышение производительсти труда.
Вроде как широкая область получается, даже может быть шире, чем решение задачи для рассматриваемых случаев.
Кроме того, есть надежда, что вся структура задач матстатистики уляжется в структруры Mathematica и баз данных. А это, как говорится, фишка.

4) Использование современных IT-технологий на платформе java.

Да, программирование должно упрощаться и дешеветь со временем, а не наоборот.
Интересуют по-прежнему: java+ORM, NetBeans, ZK+Groovy, Grails+Groovy, MySQL+ORM+Groovy. Думаю о нужности javaEE и Spring (понятно, что что-то из этого нужно для фоновых задач, для очередей, для межпроцессовых взаимодействий и культурного управления транзакциями), и JPA или Hibernate для разработки DAO классов.

У меня появился новый LiveJournal Messenger

sys01@yandex.ru — Sun, 12 Jul 2009 06:49:04 GMT

Мессенджер прямо внутри ЖЖ. Вот мой Windows Live ID: ady_1981@livejournal.com. Подключайтесь тоже и давайте общаться.

Из он-лайн переписки...

sys01@yandex.ru — Fri, 19 Jun 2009 12:03:41 GMT

"На одной из недавних международных конференций мне понравились рассуждения давнего моего знакомого голландца о форме нынешней рецессии. Сейчас спорят, что это будет в графике: V или U или L? Он предположил график I... "

ADY (15:55:07 19/06/2009)
ага - "Й" лучше

ADY (15:56:39 19/06/2009)
или "Y" - одни вверх, а другие топориком вниз

ADY (15:59:31 19/06/2009)
на самом деле, я думаю, что график всегда - "Q" - когда те, кто "шел по хвостику" отмирают

ADY (16:01:12 19/06/2009)
ну или наше "Ё" - это когда произошло распределение между классами, и дальше все пошло без изменений. Ну и Путин с Медведем над всем этим наблюдают :) :) :)

Буднечно предпразднечное

sys01@yandex.ru — Thu, 11 Jun 2009 10:26:42 GMT

Жара сегодня иногда пахнет Кореей... :)

Из жизненного...

..к своему удивлению, открыл для себя мульт "Симпсоны". Раньше не воспринимал его вообще, вплоть до нервного подергивания, когда случайно на него натыкался по ТВ.
Похоже, чтобы мне его воспринимать, нужно смотреть его с позиции Симпсона старшего :) :) :).

Из рабочего...

.. не люблю пользоваться банальной эрудицией. Наверное, потому что она у меня слабо развита. Я теории вообще-то люблю...
А щас требуется получить результат именно с ее помощью...
Если отсутствует банальная эрудиция - приходится пользоваться универсальным методом в программировании: намоделируй все, что можно, и сделать из этого вывод, который только можно сделать.

Кольца в Mathematica?...

sys01@yandex.ru — Wed, 03 Jun 2009 11:30:54 GMT

Похоже в Mathematica не хватает структур типа кольца...
Списки - это хорошо. Но с кольцами некоторые вещи удобно было бы делать...

Фильм "танцующая в темноте"

sys01@yandex.ru — Tue, 26 May 2009 07:51:43 GMT

Посмотрел его.

Еще одна социальная страшилка. Обычная для российского кино и не обычная для американского.
Морали от туда не вынес. И кошечек жалко и собачек жалко, и тех, кто слепнет жалко и тем кому не повезло. Всех жалко.
Но не более того.
Хладнокровный я становлюсь какой-то, со временем. Не знаю почему...

Куда катятся американо-европейцы...

sys01@yandex.ru — Wed, 20 May 2009 12:19:46 GMT

Хотел на амазон.ком найти ботанистические книги по фразе: `degree of freedom in statistics'.
Получил на первом месте: "Lesbians in Academia: Degrees of Freedom (by Beth Mintz, Paperback - Aug 15, 1997)"...

Туда им всем и дорога... :)

Какой мобильник купить, вот в чем вопрос...

sys01@yandex.ru — Thu, 30 Apr 2009 07:28:49 GMT

А кто посоветует хороший (по критерию цена/качества) мобильник для целей:

1) Позвонить, смс-нуть.
2) Легкий браузинг в www-интернете.
3) Посмотреть pdf-файлы.
4) Java (люблю java).
5) mp3-плеер
и следовательно: 6) Память > 512 Мб.
7) Относительно большой экран (не меньше, чем у мотороллы L3).

Знак вопросительный. :)

Sun Tech Days 2009

sys01@yandex.ru — Tue, 14 Apr 2009 09:48:36 GMT

Что-то как-то щас времени не хватает ни на что.
Но надо, хотя бы в торопях, написать, что "там был Андрей" http://developers.sun.ru/techdays2009/ :)

Интересная конфа, только вот народу было, по ощущениям, в два раза больше, а "кислороду" осталось столько же :(.
Программирование на java платформе упрощается и это радует...

Ни с кем общаться в этот раз не стал. Что думаю толку общаться, если нет конкретных целей.
Есть актуальные проблемы: как сделать то или это в ZK-фрейворке, как по нормальному управлять исходниками большого java-проекта в NetBeans (компилировать туда, куда хочется или собрать там, где хочется, чтобы гарантировано собралось и запустилось), когда рефакторинг исходников перестанет тормозить, где разрабатывать архитектуру базы (если не в ErWin), как по нормальному обрабатывать текст в NetBeans (поиск и замена по шаблону/регулярному выражению), нужно ли использовать Spring и если да, то зачем использовать Java EE.

Так что в прошлый раз понравилось больше.

Mathematica

sys01@yandex.ru — Mon, 30 Mar 2009 12:54:18 GMT

Люблю Mathematica.
Единственный минус реализации алгоритмов в Mathematica - при большом наборе входных данных очень сложно найти ошибку. А значит всю схему/идею/концепцию алгоритма нужно держать в голове, что - сложно... :(
Выход: нужно искать "индикаторы", которые позволяют локализовать ошибку. И вставлять Print[индикатор]. А дальше, если звезды сойдутся, то и ошибки найдутся :).

sys01@yandex.ru — Fri, 20 Mar 2009 12:58:51 GMT

Да, похоже ничего нового кроме принципа дифферецируемости Декарта и (с натяжкой) Лейбница (плюс всеобъемлющий принцип линейности, плюс обратный принцип - интегрирование) ничего нового не придумаешь...

А вот забывать об этих принципах ученым вредно. Ибо, все равно, время тратится, а в итоге - все равно - приходишь к тому, что задачу нужно разделить на маленькие части, для которых известны надежные законы, затем попользоваться всюду где можно линейностью и съинтегрировать все в итоге.
Причем линейность и дифференцируемость разумеется идут вместе: всегда дифференцируем (делим на более мелкие части) до тех пор, пока нельзя пользоваться линейностью.

Хотя вот попахивает в статистике и маш.обучении всюду чем-то нелинейным...

Великий пост

sys01@yandex.ru — Mon, 02 Mar 2009 14:50:19 GMT

С этого дня сидим с женой на Великом посту :).

Перебор. Сложные стат. модели

sys01@yandex.ru — Sat, 28 Feb 2009 14:25:31 GMT

1) Полный перебор можно ускорить только если есть какая-то новая информация.

2) Сложные стат. модели можно использовать лишь тогда, когда в задаче есть особенности и принимается что, эти особенности соответствуют предположениям этих сложных моделей.

Итоги => проекты

sys01@yandex.ru — Tue, 17 Feb 2009 11:08:44 GMT

Подвел итоги своей научной жизни, рабочей жизни и жизни, проведенной в размышлениях о возможных бизнесах...

Все итоги привели к проекту разработки конструктора моделей...

Разработка началась, да...

Стремно, но началась...

Сгенерировались даже вопросы к семинару о задачах и конструкторе:

1) Схема выставления коэффициентов и приема ставок. Связь между вероятностями, коэффициентами и прибыльностью.
2) Структура множеств исходов для спортивного события.
3) Структура стат. данных для спортивного события.
4) Гипотеза о зависимости полного распределения от базовых вероятностей.
5) Использование ограничений.
6) Текущая постановка задачи в общем и частном варианте.
7) Возможные примеры из темы Constrained Statistical Inference.
8) Описание текущего варианта модели: использование стат. данных, сглаживание, параметры (параметры структуры модели, параметры для ограничения стат. параметров, параметры для сходимости, веса). Подходы к удовлетворению связей и неравенств.
9) Функционал качества.
10) Построение гауссовых оценок на функционал качества. Ускорение тестирования за счет генерации "достаточных" наборов данных для тестирования.
11) Альтернативные и конкурирующие модели. Невозможность выбора модели без тестирования на множестве данных.
12) Конструктор моделей: автоматизация тестирования, автоматизация генерации новых моделей, построение непротиворечивых схем тестирования, автоматическое тестирование конкурирующих моделей (подбор параметров), ранжирование моделей, интеграция с системой использования моделей, табулирование выходных данных моделей.
13) Архитектура конструктора.

Переодическая переполяризация мозга

sys01@yandex.ru — Mon, 12 Jan 2009 14:24:56 GMT

Последняя переполяризация мозга (читай "пере-понимание"):

1) Модели ничто, данные всё. Все стат. задачи нужно рассматривать в рамках гипотезы: все предположения верны. Модели можно отранжировать (при этой гипотезе) только на множестве данных.

2) Полезна гипотеза: вот эта величина теперь гауссова. Не знаю еще зачем...

3) Не важно как назвать машинное обучение. Можно его даже назвать "машинное обучение" :).
Важно только то, о чем речь. А речь о том, что мы соглашаемся с тем, что мы не знаем какие модели хороши, а какие плохи. И даже не знаем на каком достаточном объеме данных они такие, как мы о них думаем :). Мы начинаем смотреть на все модели через две вещи: 1) скока параметров, 2) какие выходы у модели. Теперь можно предлагать любую модель, так запараметризованную. Какую выбрать? Любую, с отобранными стат. характериками, оцененными по выходам. Надоест перебирать бесконечность моделей? Не страшно, можно комп поднапрячь :)))...

4) Бесконечность моделей нужно "лечить" статистической эквивалентностью моделей. Таким образом, управляя уровнями значимости можно оставлять только конечное число групп статистических моделей.

5) Любые параметры можно вводить, если это улучшает свойства выходов на растущей выборке. В том числе можно вводить и веса. В том числе и запараметризованные веса через ядро. Надо верить, что работает. Плюс в том, что выборка всегда большая.

6) Статистика уходит на второй план, на первый план выходит перебор: перебираем много моделей и сравниваем их через простые стат. функции (статистики).

7) В контексте 3) становится полезным рассматривать не только функции (в том числе функции усреднения) в общем виде, но и объекты усреднения. Ибо, если пофиг на структуру модели, то и пофиг на то, как образуются выходы. Дык пусть они тогда образуются из сложных объектов, а не только из чисел. Где она, полезная алгебра, и насколько все можно довести абстрактно еще не понял.

Наследование в java

sys01@yandex.ru — Thu, 11 Dec 2008 09:30:08 GMT

С удивлением сегодня осознал, что наследование в java есть по смыслу только наследование логики и никак не данных.
Посему нельзя делать расширяющий сast (приведение типа): то есть, нельзя перенести в данные объекта данные его предка так:

ExtendsMyObject e = new ExtendsMyObject ();
MyObject a = new MyObject();
...
e = (ExtendsMyObject)a;

Что грустно, потому как получается что нужно создавать дополнительный расширяющий тип...

С другой стороны, второе решение правильное еще потому, что тогда в этот агрегированный класс можно ввести другие объекты/данные. Грусть пропала :).

sys01@yandex.ru — Mon, 08 Dec 2008 14:36:47 GMT

К сожалению, так получается, что не получается быть только пользователем Open Source технологиями. Если пользуешься (в production режиме) какой-то технологией, нужно быть готовым к тому, что придется прикладывать те или иные усилия для ее доработки...

Таким образом, мое желание побыстренькому сделать простенький интерфейсик (это быстренькое уже растянулось > год) кофликтует с желанием сделать дисер. Что из них победит, сразу так уже не скажешь...

Эх, ох уж эти вебные java-технологии...

sys01@yandex.ru — Mon, 08 Dec 2008 14:15:23 GMT

Да, к своей невкусной горячи, прихожу к пониманию того, что java веб-технологии еще далеки от идеала... В смысле скорости и удобства разработки.

Несмотря на обилие бесплатных средств разработки...

Ибо программировать на java даже относительно простой веб-интерфейс долго, сложно, а значит - противно...

Текущие выбранные технологии: NetBeans, TomCat, Oracle, Hibernate JPA, ZK.
+Spring, +GenericDAO(JPA) и +Groovy/Grails - на очереди.

Похоже нужно подписываться на рассылки и конференции разработчиков каждой технологии и требовать от их :), чтобы улучшали жизнь простых смертных разработчиков и тех, кому от веб-интерфейса нужно не так уж и много...

Ладно. Возможно не все уж так и плохо. В принципе, Groovy/Grails(Spring) + ZK дают почти что надо. Осталось понять, как сделать того, чего не описано в руководстве... Например, как отобразить таблицу (с CRUD возможностями), если таблица имеет (~~сурогатный~~) сложный ключ, состоящий из нескольких полей.

А сегодня, к своему удивлению, еще узнал, что NetBeans "умеет" отлаживать HQL скрипты... Возможно, это аргумент к тому, чтобы перейти с JPA на чистый Hibernate... Но, с другой стороны, всобачивать cкпипты в java строки - это не наш метод... Java учит использовать только java стредства и это, вероятно, и есть правильно (вывод: юзать JPAGenericDAO)...

Стат. выводы и оптимизация перебора всех возможных оценок..

sys01@yandex.ru — Thu, 09 Oct 2008 12:20:41 GMT

Хотелось бы найти книги о том, как строить "надежные" оценки для выборки любого объема.

Можно было бы строить последовательность выводов для выборок с объемами n, n/2, n/4,... и делать выводы. Причем, выводы с выборкой объема n явно должны иметь какое соотношение с выводами по усредненной модели для *всех* независимых (в каком то смысле) разбиений всей выборки на выборки объема n/2 и аналогично для выборки любого меньшего размера.

Явно не хватает какого-то дискретного аналога дифференцируемости, чтобы на основе конечных вариаций f(n+A) можно было делать хоть какие-нибудь объективные выводы.

Есть еще вопрос, как комбинировать оценки? Действительно ли комбинировать можно только нормальные оценки?...

Но главное - как выбирать оптимальную оценку из всего множества допустимых значений оценок в том же классе точности. Интересно, что здесь проблема выбора оценки будет упираться в сложную вычислительную проблему - построение всех возможных оценок. И для решения уже этой проблемы явно потребуется оптимизация. И вторая проблема - какие вычисления и переборы проводить в первую очередь, чтобы как можно быстрее получить более надежные оценки.

Интересно рассмотрение усредненных объектов: объектов с усредненными характеристиками и сравнения текущего объекта с усредненным.

И где нормальная себе теория некоммутативной алгебры суммы заданного числа бинарных переменных и построение аппроксимаций к эмпирической плотности?

The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century (Paperback)

sys01@yandex.ru — Tue, 30 Sep 2008 09:03:00 GMT

Нада думать - забавная книжка:
http://www.amazon.com/Lady-Tasting-Tea-Statistics-Revolutionized/dp/0805071342/ref=sr_1_20?ie=UTF8&s=books&qid=1222764715&sr=1-20
Только слишком философская, а значит покупать ее в ближайшее время не очень охота :).