urn:lj:livejournal.com:atom1:ady_1981 ady_1981 sys01@yandex.ru ady_1981 2009-10-19T21:49:56Z urn:lj:livejournal.com:atom1:ady_1981:25808 2009-10-12T17:32:29Z 2009-10-13T15:44:36Z Участвую в highload++--2009 <a href="http://highload.ru/papers2009/">http://highload.ru/papers2009/</a> :)<br /><a name="cutid1"></a><br />С чем себя и поздравляю.<br /><br />Утром казалось, что 6000 за двухдневную конференцию - это таки дорого. <br />Вечером, после первого дня, уже думал, что инвестиция в 6000 руб. в такой феномен как конференция highload++ - это уж не так и дорого (если они, это 6000, есть) :).<br /><br /><br />ЗЫ: Изменения в тексте applied :). urn:lj:livejournal.com:atom1:ady_1981:25411 2009-10-12T15:58:12Z 2009-10-19T21:49:56Z Математическая статистика как наука очень похожа на физику, но разумеется, каждая наука имеет свои существенные особенности:<br /><a name="cutid1"></a><br /> *) И в математической статистике и в физике вначале имеются экспериментальные данные, на основании которых выдвигаются некоторые гипотезы, и затем стоится некоторая модель. Причем, и статистике и в физике - все модели "плохие": в физике остаются только лучшие модели, для которых нет статистически значимых измерений, на данный момент, которые бы противоречили модели. В статистике любая модель может иметь лишь конечное число степеней свободы, в то время как считается, что все реальные макро-системы имеют бесконечное количество степеней свободы.<br /> *) И в матстатистике и в физике ставится задача поиска оптимальных оценок. В обоих науках, как правило, ставится задача найти и оценить параметры системы и затем предсказывать поведение системы. Правда, в физике "предсказывание поведения" можно понимать буквально, в то время как в матстатистике это понимается в асимпотическом вероятностном пределе.<br /> *) В фундамантальной физике считается, что все модели универсальные и применимы в любом общем случае. В матстатистике любая не простая матмодель, как правило, строится для данного конкретного случая. Только используя особенности данной конкретной задачи, можно принципиально улучшить качество оценок.<br /> urn:lj:livejournal.com:atom1:ady_1981:25217 2009-10-05T09:48:57Z 2009-10-05T09:48:57Z Наконец то есть время заниматься диссером. Ёу...<br /><br />Есть так же время и желание заниматься развитием проекта по распространению информации об применении методов матстатистике в реальной жизни: <a href="http://community.livejournal.com/stat_analysis">http://community.livejournal.com/stat_analysis</a><br /><br />Хочу это же сообщество использовать для распространения информации о своих услугах и общения с потенциальными заказчиками. urn:lj:livejournal.com:atom1:ady_1981:24991 2009-10-05T08:29:12Z 2009-10-17T09:46:50Z Решил продать память:<br /><br />*) Для ноутбука: <a href="http://komok.com/topic.cgi?id=3:121223">http://komok.com/topic.cgi?id=3:121223</a><br />*) Для системного блока: <a href="http://komok.com/topic.cgi?id=3:121224">http://komok.com/topic.cgi?id=3:121224</a> urn:lj:livejournal.com:atom1:ady_1981:24706 2009-08-20T13:18:21Z 2009-08-20T13:18:21Z Сегодня вдруг подумал, что настоящий москвич - это тот, кто потеряв работу не начинает судорожно искать новую (как же ж как же ж, такие деньги теряются, ай ай ай...) :).<br />Слава буддийскому богу за то, что тот дал мне жену, которая спокойно терпит мои заморочки :). urn:lj:livejournal.com:atom1:ady_1981:24356 2009-07-13T09:09:28Z 2009-07-13T09:27:25Z Как ни странно, после отпуска они оказались такими как и до отпуска :) :<br /><a name="cutid1"></a><br />1) Развитие букмекерско-трейдинговой компании.<br /><br />Щас это выходит на первый план, ибо работа математиком в Марафоне щас висит топориком над потолком :).<br /><br />По самым скромным подсчетам, на полгода денег точно должно хватить, даже если все эти полгода дохода не будет. Пока, правда, <s>(уже два года)</s> все идет к тому, что (1) он будет и (2) того же порядка, что и за работу математиком :).<br /><br />Если бы не нынешнее грядущее увольнение в Марафоне... то его нужно было бы все равно "придумать"... :)<br /><br />2) Защита дисера в области матстатистики и теории машинного обучения. <br />3) Разработка платформы для статистических вычислений на базе Mathematica.<br /><br />Купил десяток воистину умных книг. Если то, что там написано популярно изложить, то уже будет дисер.<br />Смогу ли добавить то, чего там нет? Скорей всего да, вопрос на самом деле другой: насколько общей будет задача, которую я решу. Будет видно.<br /><br />Сейчас есть еще не до конца оцененная область - использование символьных вычислений для стат. вычислений. Народ еще не понимает, что в символьном виде можно строить законченные утверждения, преобразовывая которые можно получать заведомо корректные выводы. Но для этого нужно, правда, пересмотреть путь проведения вычислений. <br />Есть ли новизна в таком подходе, кроме проведения новых вычислений, которые нельзя было провести раньше из-за громоздкости? Трудно сказать. Очевидно только, что есть неизведанные область: сокращение числа вычислений с очень большого до просто большого. Плюс проверка неких утверждений на большом числе случаев. Плюс кардинальное повышение производительсти труда.<br />Вроде как широкая область получается, даже может быть шире, чем решение задачи для рассматриваемых случаев.<br />Кроме того, есть надежда, что вся структура задач матстатистики уляжется в структруры Mathematica и баз данных. А это, как говорится, фишка.<br /><br />4) Использование современных IT-технологий на платформе java.<br /><br />Да, программирование должно упрощаться и дешеветь со временем, а не наоборот. <br />Интересуют по-прежнему: java+ORM, NetBeans, ZK+Groovy, Grails+Groovy, MySQL+ORM+Groovy. Думаю о нужности javaEE и Spring (понятно, что что-то из этого нужно для фоновых задач, для очередей, для межпроцессовых взаимодействий и культурного управления транзакциями), и JPA или Hibernate для разработки DAO классов.<br /><br /> urn:lj:livejournal.com:atom1:ady_1981:24285 2009-07-12T06:49:04Z 2009-07-12T06:49:04Z Мессенджер прямо внутри ЖЖ. Вот мой Windows Live ID: ady_1981@livejournal.com. <a href="http://www.livejournal.com/manage/settings/?cat=extensions">Подключайтесь</a> тоже и давайте общаться. urn:lj:livejournal.com:atom1:ady_1981:23848 2009-06-19T12:03:41Z 2009-06-19T12:03:41Z <a name="cutid1"></a><br />"На одной из недавних международных конференций мне понравились рассуждения давнего моего знакомого голландца о форме нынешней рецессии. Сейчас спорят, что это будет в графике: V или U или L? Он предположил график I... "<br /><br /> ADY (15:55:07 19/06/2009)<br />ага - "Й" лучше<br /><br /> ADY (15:56:39 19/06/2009)<br />или "Y" - одни вверх, а другие топориком вниз <br /><br /> ADY (15:59:31 19/06/2009)<br />на самом деле, я думаю, что график всегда - "Q" - когда те, кто "шел по хвостику" отмирают <br /><br /> ADY (16:01:12 19/06/2009)<br />ну или наше "Ё" - это когда произошло распределение между классами, и дальше все пошло без изменений. Ну и Путин с Медведем над всем этим наблюдают :) :) :)<br /> urn:lj:livejournal.com:atom1:ady_1981:23578 2009-06-11T10:26:42Z 2009-06-11T10:26:42Z Жара сегодня иногда пахнет Кореей... :)<br /><br />Из жизненного...<br /><a name="cutid1"></a><br />..к своему удивлению, открыл для себя мульт "Симпсоны". Раньше не воспринимал его вообще, вплоть до нервного подергивания, когда случайно на него натыкался по ТВ.<br />Похоже, чтобы мне его воспринимать, нужно смотреть его с позиции Симпсона старшего :) :) :).<br /><br /><br />Из рабочего...<br /><a name="cutid2"></a><br />.. не люблю пользоваться банальной эрудицией. Наверное, потому что она у меня слабо развита. Я теории вообще-то люблю...<br />А щас требуется получить результат именно с ее помощью...<br />Если отсутствует банальная эрудиция - приходится пользоваться универсальным методом в программировании: намоделируй все, что можно, и сделать из этого вывод, который только можно сделать.<br /> urn:lj:livejournal.com:atom1:ady_1981:23506 2009-06-03T11:30:54Z 2009-06-03T11:37:45Z Похоже в Mathematica не хватает структур типа кольца...<br />Списки - это хорошо. Но с кольцами некоторые вещи удобно было бы делать... urn:lj:livejournal.com:atom1:ady_1981:23041 2009-05-26T07:51:43Z 2009-05-26T07:51:43Z Посмотрел его.<br /><a name="cutid1"></a><br />Еще одна социальная страшилка. Обычная для российского кино и не обычная для американского.<br />Морали от туда не вынес. И кошечек жалко и собачек жалко, и тех, кто слепнет жалко и тем кому не повезло. Всех жалко.<br />Но не более того.<br />Хладнокровный я становлюсь какой-то, со временем. Не знаю почему...<br /> urn:lj:livejournal.com:atom1:ady_1981:22792 2009-05-20T12:19:46Z 2009-05-20T12:20:29Z Хотел на амазон.ком найти ботанистические книги по фразе: `degree of freedom in statistics'.<br />Получил на первом месте: "Lesbians in Academia: Degrees of Freedom (by Beth Mintz, Paperback - Aug 15, 1997)"...<br /><br />Туда им всем и дорога... :) urn:lj:livejournal.com:atom1:ady_1981:22576 2009-04-30T07:28:49Z 2009-04-30T10:06:20Z А кто посоветует хороший (по критерию цена/качества) мобильник для целей:<br /><br />1) Позвонить, смс-нуть.<br />2) Легкий браузинг в www-интернете.<br />3) Посмотреть pdf-файлы.<br />4) Java (люблю java).<br />5) mp3-плеер<br />и следовательно: 6) Память &gt; 512 Мб.<br />7) Относительно большой экран (не меньше, чем у мотороллы L3).<br /><br />Знак вопросительный. :) urn:lj:livejournal.com:atom1:ady_1981:22362 2009-04-14T09:48:36Z 2009-04-14T09:53:46Z Что-то как-то щас времени не хватает ни на что. <br />Но надо, хотя бы в торопях, написать, что "там был Андрей" <a href="http://developers.sun.ru/techdays2009/">http://developers.sun.ru/techdays2009/</a> :) <br /><a name="cutid1"></a><br />Интересная конфа, только вот народу было, по ощущениям, в два раза больше, а "кислороду" осталось столько же :(.<br />Программирование на java платформе упрощается и это радует...<br /><br />Ни с кем общаться в этот раз не стал. Что думаю толку общаться, если нет конкретных целей. <br />Есть актуальные проблемы: как сделать то или это в ZK-фрейворке, как по нормальному управлять исходниками большого java-проекта в NetBeans (компилировать туда, куда хочется или собрать там, где хочется, чтобы гарантировано собралось и запустилось), когда рефакторинг исходников перестанет тормозить, где разрабатывать архитектуру базы (если не в ErWin), как по нормальному обрабатывать текст в NetBeans (поиск и замена по шаблону/регулярному выражению), нужно ли использовать Spring и если да, то зачем использовать Java EE. <br /><br />Так что в прошлый раз понравилось больше.<br /> urn:lj:livejournal.com:atom1:ady_1981:22173 2009-03-30T12:54:18Z 2009-03-30T12:54:18Z Люблю Mathematica.<br /><a name="cutid1"></a>Единственный минус реализации алгоритмов в Mathematica - при большом наборе входных данных очень сложно найти ошибку. А значит всю схему/идею/концепцию алгоритма нужно держать в голове, что - сложно... :(<br />Выход: нужно искать "индикаторы", которые позволяют локализовать ошибку. И вставлять Print[индикатор]. А дальше, если звезды сойдутся, то и ошибки найдутся :).<br /> urn:lj:livejournal.com:atom1:ady_1981:21806 2009-03-20T12:58:51Z 2009-03-20T13:04:47Z Да, похоже ничего нового кроме принципа дифферецируемости Декарта и (с натяжкой) Лейбница (плюс всеобъемлющий принцип линейности, плюс обратный принцип - интегрирование) ничего нового не придумаешь...<br /><a name="cutid1"></a><br />А вот забывать об этих принципах ученым вредно. Ибо, все равно, время тратится, а в итоге - все равно - приходишь к тому, что задачу нужно разделить на маленькие части, для которых известны надежные законы, затем попользоваться всюду где можно линейностью и съинтегрировать все в итоге.<br />Причем линейность и дифференцируемость разумеется идут вместе: всегда дифференцируем (делим на более мелкие части) до тех пор, пока нельзя пользоваться линейностью.<br /><br />Хотя вот попахивает в статистике и маш.обучении всюду чем-то нелинейным...<br /> urn:lj:livejournal.com:atom1:ady_1981:21516 2009-03-02T14:50:19Z 2009-03-02T17:54:49Z С этого дня сидим с женой на Великом посту :). urn:lj:livejournal.com:atom1:ady_1981:21151 2009-02-28T14:25:31Z 2009-02-28T14:26:31Z 1) Полный перебор можно ускорить только если есть какая-то новая информация.<br /><br />2) Сложные стат. модели можно использовать лишь тогда, когда в задаче есть особенности и принимается что, эти особенности соответствуют предположениям этих сложных моделей. urn:lj:livejournal.com:atom1:ady_1981:20968 2009-02-17T11:08:44Z 2009-02-17T11:08:44Z Подвел итоги своей научной жизни, рабочей жизни и жизни, проведенной в размышлениях о возможных бизнесах...<br /><br />Все итоги привели к проекту разработки конструктора моделей...<br /><br /><a name="cutid1"></a><br /><br />Разработка началась, да...<br /><br />Стремно, но началась...<br /><br />Сгенерировались даже вопросы к семинару о задачах и конструкторе:<br /><br />1) Схема выставления коэффициентов и приема ставок. Связь между вероятностями, коэффициентами и прибыльностью.<br />2) Структура множеств исходов для спортивного события.<br />3) Структура стат. данных для спортивного события.<br />4) Гипотеза о зависимости полного распределения от базовых вероятностей.<br />5) Использование ограничений.<br />6) Текущая постановка задачи в общем и частном варианте.<br />7) Возможные примеры из темы Constrained Statistical Inference.<br />8) Описание текущего варианта модели: использование стат. данных, сглаживание, параметры (параметры структуры модели, параметры для ограничения стат. параметров, параметры для сходимости, веса). Подходы к удовлетворению связей и неравенств.<br />9) Функционал качества.<br />10) Построение гауссовых оценок на функционал качества. Ускорение тестирования за счет генерации "достаточных" наборов данных для тестирования.<br />11) Альтернативные и конкурирующие модели. Невозможность выбора модели без тестирования на множестве данных.<br />12) Конструктор моделей: автоматизация тестирования, автоматизация генерации новых моделей, построение непротиворечивых схем тестирования, автоматическое тестирование конкурирующих моделей (подбор параметров), ранжирование моделей, интеграция с системой использования моделей, табулирование выходных данных моделей.<br />13) Архитектура конструктора. <br /> urn:lj:livejournal.com:atom1:ady_1981:20491 2009-01-12T14:24:56Z 2009-01-13T07:50:47Z Последняя переполяризация мозга (читай "пере-понимание"):<br /><br />1) Модели ничто, данные всё. Все стат. задачи нужно рассматривать в рамках гипотезы: все предположения верны. Модели можно отранжировать (при этой гипотезе) только на множестве данных.<br /><br /><a name="cutid1"></a><br />2) Полезна гипотеза: вот эта величина теперь гауссова. Не знаю еще зачем...<br /><br />3) Не важно как назвать машинное обучение. Можно его даже назвать "машинное обучение" :). <br />Важно только то, о чем речь. А речь о том, что мы соглашаемся с тем, что мы не знаем какие модели хороши, а какие плохи. И даже не знаем на каком достаточном объеме данных они такие, как мы о них думаем :). Мы начинаем смотреть на все модели через две вещи: 1) скока параметров, 2) какие выходы у модели. Теперь можно предлагать любую модель, так запараметризованную. Какую выбрать? Любую, с отобранными стат. характериками, оцененными по выходам. Надоест перебирать бесконечность моделей? Не страшно, можно комп поднапрячь :)))...<br /><br />4) Бесконечность моделей нужно "лечить" статистической эквивалентностью моделей. Таким образом, управляя уровнями значимости можно оставлять только конечное число групп статистических моделей.<br /><br />5) Любые параметры можно вводить, если это улучшает свойства выходов на растущей выборке. В том числе можно вводить и веса. В том числе и запараметризованные веса через ядро. Надо верить, что работает. Плюс в том, что выборка всегда большая.<br /><br />6) Статистика уходит на второй план, на первый план выходит перебор: перебираем много моделей и сравниваем их через простые стат. функции (статистики).<br /><br />7) В контексте 3) становится полезным рассматривать не только функции (в том числе функции усреднения) в общем виде, но и объекты усреднения. Ибо, если пофиг на структуру модели, то и пофиг на то, как образуются выходы. Дык пусть они тогда образуются из сложных объектов, а не только из чисел. Где она, полезная алгебра, и насколько все можно довести абстрактно еще не понял.<br /> urn:lj:livejournal.com:atom1:ady_1981:20231 2008-12-11T09:30:08Z 2008-12-11T09:39:43Z С удивлением сегодня осознал, что наследование в java есть по смыслу только наследование логики и никак не данных. <br />Посему нельзя делать расширяющий сast (приведение типа): то есть, нельзя перенести в данные объекта данные его предка так:<br /><br />ExtendsMyObject e = new ExtendsMyObject ();<br />MyObject a = new MyObject();<br />...<br />e = (ExtendsMyObject)a;<br /><br />Что грустно, потому как получается что нужно создавать дополнительный расширяющий тип...<br /><br />С другой стороны, второе решение правильное еще потому, что тогда в этот агрегированный класс можно ввести другие объекты/данные. Грусть пропала :). urn:lj:livejournal.com:atom1:ady_1981:20171 2008-12-08T14:36:47Z 2008-12-08T14:37:11Z К сожалению, так получается, что не получается быть только пользователем Open Source технологиями. Если пользуешься (в production режиме) какой-то технологией, нужно быть готовым к тому, что придется прикладывать те или иные усилия для ее доработки...<br /><br />Таким образом, мое желание побыстренькому сделать простенький интерфейсик (это быстренькое уже растянулось &gt; год) кофликтует с желанием сделать дисер. Что из них победит, сразу так уже не скажешь... urn:lj:livejournal.com:atom1:ady_1981:19851 2008-12-08T14:15:23Z 2008-12-09T07:39:13Z Да, к своей невкусной горячи, прихожу к пониманию того, что java веб-технологии еще далеки от идеала... В смысле скорости и удобства разработки. <br /><a name="cutid1"></a><br />Несмотря на обилие бесплатных средств разработки...<br /><br />Ибо программировать на java даже относительно простой веб-интерфейс долго, сложно, а значит - противно...<br /><br />Текущие выбранные технологии: NetBeans, TomCat, Oracle, Hibernate JPA, ZK. <br />+Spring, +GenericDAO(JPA) и +Groovy/Grails - на очереди.<br /><br />Похоже нужно подписываться на рассылки и конференции разработчиков каждой технологии и требовать от их :), чтобы улучшали жизнь простых смертных разработчиков и тех, кому от веб-интерфейса нужно не так уж и много...<br /><br />Ладно. Возможно не все уж так и плохо. В принципе, Groovy/Grails(Spring) + ZK дают почти что надо. Осталось понять, как сделать того, чего не описано в руководстве... Например, как отобразить таблицу (с CRUD возможностями), если таблица имеет (<s>сурогатный</s>) сложный ключ, состоящий из нескольких полей. <br /><br />А сегодня, к своему удивлению, еще узнал, что NetBeans "умеет" отлаживать HQL скрипты... Возможно, это аргумент к тому, чтобы перейти с JPA на чистый Hibernate... Но, с другой стороны, всобачивать cкпипты в java строки - это не наш метод... Java учит использовать только java стредства и это, вероятно, и есть правильно (вывод: юзать JPAGenericDAO)...<br /><br /> urn:lj:livejournal.com:atom1:ady_1981:19517 2008-10-09T12:20:41Z 2008-10-09T13:12:02Z Хотелось бы найти книги о том, как строить "надежные" оценки для выборки любого объема.<br /><a name="cutid1"></a><br /><br />Можно было бы строить последовательность выводов для выборок с объемами n, n/2, n/4,... и делать выводы. Причем, выводы с выборкой объема n явно должны иметь какое соотношение с выводами по усредненной модели для *всех* независимых (в каком то смысле) разбиений всей выборки на выборки объема n/2 и аналогично для выборки любого меньшего размера.<br /><br />Явно не хватает какого-то дискретного аналога дифференцируемости, чтобы на основе конечных вариаций f(n+A) можно было делать хоть какие-нибудь объективные выводы.<br /><br />Есть еще вопрос, как комбинировать оценки? Действительно ли комбинировать можно только нормальные оценки?...<br /><br />Но главное - как выбирать оптимальную оценку из всего множества допустимых значений оценок в том же классе точности. Интересно, что здесь проблема выбора оценки будет упираться в сложную вычислительную проблему - построение всех возможных оценок. И для решения уже этой проблемы явно потребуется оптимизация. И вторая проблема - какие вычисления и переборы проводить в первую очередь, чтобы как можно быстрее получить более надежные оценки.<br /><br />Интересно рассмотрение усредненных объектов: объектов с усредненными характеристиками и сравнения текущего объекта с усредненным. <br /><br />И где нормальная себе теория некоммутативной алгебры суммы заданного числа бинарных переменных и построение аппроксимаций к эмпирической плотности?<br /> urn:lj:livejournal.com:atom1:ady_1981:19275 2008-09-30T09:03:00Z 2008-09-30T09:03:00Z Нада думать - забавная книжка:<br /><a href="http://www.amazon.com/Lady-Tasting-Tea-Statistics-Revolutionized/dp/0805071342/ref=sr_1_20?ie=UTF8&s=books&qid=1222764715&sr=1-20">http://www.amazon.com/Lady-Tasting-Tea-Statistics-Revolutionized/dp/0805071342/ref=sr_1_20?ie=UTF8&s=books&qid=1222764715&sr=1-20</a><br />Только слишком философская, а значит покупать ее в ближайшее время не очень охота :).