IT-шные мелочи

И побеждает... git

2011-07-25T13:22:00.002+03:00

Что в общем закономерно и справедливо.

При рассмотрении популярности систем управления исходными текстами, разработчики, вне зависимости от типа используемой операционной системы, поставили на первое место Git (30.7% Windows, 65.4% Linux и 78.3% Mac OS X). При этом популярность Git за год заметно выросла. После Git работающие в Windows разработчики выбирают Subversion (23.9%), Mercurial (20.7%) и TFS (Microsoft Team Foundation Server, 20.6%). Работающие в Linux, кроме Git, активно используют Mercurial (15.4%) и Subversion (12.3%). При этом популярность Mercurial со временем падает (с 25% до 20.7%), а Subversion растет (рост с 8.8% до 12.3%). Доля пользователей Bazaar (3.7%) и TFS (0.6%) среди опрошенных незначительная.

http://www.opennet.ru/opennews/art.shtml?num=31215

Список ключевых слов Firebird 2.5

2011-05-20T08:30:00.004+03:00

Понадобился на днях, найти готового не смог. Вытащил из исходников - keywords.cpp

UPD:
Оно же, только официально - http://www.firebirdsql.org/refdocs/langrefupd25-reskeywords-full.html

NOT_LSS

NEQ

NOT_GTR

LPAREN

RPAREN

COMMA

LSS

LEQ

NEQ

EQL

GTR

GEQ

BIND_PARAM

ABS

ACCENT

ACOS

ACTION

ACTIVE

ADD

ADMIN

AFTER

ALL

ALTER

ALWAYS

AND

ANY

AS

ASC

ASC

ASCII_CHAR

ASCII_VAL

ASIN

AT

ATAN

ATAN2

AUTO

AUTONOMOUS

AVG

BACKUP

BEFORE

BEGIN

BETWEEN

BIGINT

BIN_AND

BIN_NOT

BIN_OR

BIN_SHL

BIN_SHR

BIN_XOR

BIT_LENGTH

BLOB

BLOCK

BOTH

KW_BREAK

BY

CALLER

CASCADE

CASE

CAST

CEIL

CEIL

KW_CHAR

CHAR_LENGTH

CHAR_TO_UUID

CHARACTER

CHARACTER_LENGTH

CHECK

CLOSE

COALESCE

COLLATE

COLLATION

COLUMN

COMMENT

COMMIT

COMMITTED

COMMON

COMPUTED

CONDITIONAL

CONNECT

CONSTRAINT

CONTAINING

COS

COSH

COT

COUNT

CREATE

CROSS

CSTRING

CURRENT

CURRENT_CONNECTION

CURRENT_DATE

CURRENT_ROLE

CURRENT_TIME

CURRENT_TIMESTAMP

CURRENT_TRANSACTION

CURRENT_USER

CURSOR

DATABASE

DATA

DATE

DATEADD

DATEDIFF

DAY

KW_DEC

DECIMAL

DECLARE

DECODE

DEFAULT

KW_DELETE

DELETING

DESC

DESC

KW_DESCRIPTOR

KW_DIFFERENCE

DISCONNECT

DISTINCT

DO

DOMAIN

KW_DOUBLE

DROP

ELSE

END

ENTRY_POINT

ESCAPE

EXCEPTION

EXECUTE

EXISTS

EXIT

EXP

EXTERNAL

EXTRACT

FETCH

KW_FILE

FILTER

FIRST

FIRSTNAME

KW_FLOAT

FLOOR

FOR

FOREIGN

FREE_IT

FROM

FULL

FUNCTION

GDSCODE

GENERATED

GENERATOR

GEN_ID

GEN_UUID

GLOBAL

GRANT

GRANTED

GROUP

HASH

HAVING

HOUR

IF

KW_IGNORE

IIF

KW_IN

INACTIVE

INDEX

INNER

INPUT_TYPE

INSENSITIVE

INSERT

INSERTING

KW_INT

INTEGER

INTO

IS

ISOLATION

JOIN

KEY

LAST

LASTNAME

LEADING

LEAVE

LEFT

LENGTH

LEVEL

LIKE

LIMBO

LIST

LN

LOCK

LOG

LOG10

KW_LONG

KW_LOWER

LPAD

MANUAL

MAPPING

MATCHED

MATCHING

MAXIMUM

MAXVALUE

MAX_SEGMENT

MERGE

MILLISECOND

MIDDLENAME

MINIMUM

MINUTE

MINVALUE

MOD

MODULE_NAME

MONTH

NAMES

NATIONAL

NATURAL

NCHAR

NEXT

NO

NOT

NULLIF

KW_NULL

NULLS

KW_NUMERIC

OCTET_LENGTH

OF

ON

ONLY

OPEN

OPTION

OR

ORDER

OS_NAME

OUTER

OUTPUT_TYPE

OVERFLOW

OVERLAY

PAD

PAGE

PAGES

KW_PAGE_SIZE

PARAMETER

PASSWORD

PI

PLACING

PLAN

POSITION

POST_EVENT

POWER

PRECISION

PRESERVE

PRIMARY

PRIVILEGES

PROCEDURE

PROTECTED

RAND

DB_KEY

READ

REAL

VERSION

RECREATE

RECURSIVE

REFERENCES

RELEASE

REPLACE

REQUESTS

RESERVING

RESERVING

RESTART

RESTRICT

RETAIN

RETURNING

RETURNING_VALUES

RETURNS

REVERSE

REVOKE

RIGHT

ROLE

ROLLBACK

ROUND

ROW_COUNT

ROWS

RPAD

SAVEPOINT

SCALAR_ARRAY

DATABASE

SECOND

SEGMENT

SELECT

SENSITIVE

SEQUENCE

SET

SHADOW

KW_SHARED

SIGN

SIMILAR

SIN

SINGULAR

SINH

KW_SIZE

SKIP

SMALLINT

SNAPSHOT

SOME

SORT

SOURCE

SPACE

SQLCODE

SQRT

STABILITY

START

STARTING

STARTING

STATEMENT

STATISTICS

SUBSTRING

SUB_TYPE

SUM

SUSPEND

TABLE

TAN

TANH

TEMPORARY

THEN

TIME

TIMESTAMP

TIMEOUT

TO

TRAILING

TRANSACTION

TRIGGER

TRIM

TRUNC

TWO_PHASE

KW_TYPE

UNCOMMITTED

UNDO

UNION

UNIQUE

UPDATE

UPDATING

KW_UPPER

USER

USING

UUID_TO_CHAR

KW_VALUE

VALUES

VARCHAR

VARIABLE

VARYING

VIEW

WAIT

WEEK

WEEKDAY

WHEN

WHERE

WHILE

WITH

WORK

WRITE

YEAR

YEARDAY

NOT_LSS

NEQ

NOT_GTR

CONCATENATE

NOT_LSS

NEQ

NOT_GTR

Практическое применение SSD

2011-05-19T08:30:00.002+03:00

Все больше и больше хороших отзывов об их производительности, так и хочется вынести базы на такие винты. Но вот встретился отзыв о практическом опыте работы на SSD - http://www.codinghorror.com/blog/2011/05/the-hot-crazy-solid-state-drive-scale.html

Если кратко -

Super Talent 32 GB SSD, failed after 137 days
OCZ Vertex 1 250 GB SSD, failed after 512 days
G.Skill 64 GB SSD, failed after 251 days
G.Skill 64 GB SSD, failed after 276 days
Crucial 64 GB SSD, failed after 350 days
OCZ Agility 60 GB SSD, failed after 72 days
Intel X25-M 80 GB SSD, failed after 15 days
Intel X25-M 80 GB SSD, failed after 206 days

Т.е. в среднем живет винт около 12 месяцев. Билдовый и тестовы сервак на таком поднять самое то (шутка ли - 500Мб/с), а вот базу уже как-то жалко :)

Хотя автор статьи и говорит, что даже при такой статистике от ssd не откажется - слишком уж комфортной становится работа.

Когда начинать кодировать?

2011-05-18T10:16:00.000+03:00

Уже как-то писал, что ТЗ дает возможность дешево "проиграть" проект - без реализации.
Встретилось еще одно подтверждение мысли:

Статистика говорит о том, что более 50% дефектов вносится в программу до кодирования.
Статистика говорит о том, что кодирование, как правило, является самым дорогим участком.

Побывал на AgileBaseCamp

2011-04-18T16:50:00.000+03:00

Или я потоки себе неудачно подобрал, или знать стал больше, но в этом году основной смысл мероприятия, для меня, оказался в общении.Ну и еще в 50% скидке на AgileEE, полученной в лотерее анкет :-D

Очень приятно было видеть людей, с которыми знаком только по подобным мероприятиям :)

Презентации со всех потоков:
http://www.slideshare.net/event/agile-base-camp-kiev/slideshows

Предварительные данные по Firebird 3

2011-03-16T12:07:00.002+02:00

Основные цели
- честная поддержка многопоточной мультипроцессорности с разделяемым кешем
- рефакторинг архитектуры для последующих версий

Гарантированно будет масштабируемый кеш страниц с межпоточными и межпроцессными блокировками

Поддержка разных версий ODS - в плагинах. А процесс лиснера уже будет подгружать нужную для базы реализацию движка.

Изменения в одс - флаг наличия мусора на странице, что ускорит его сборку.

Более подробный формат вывода плана выполнения запроса.
Стоимостной оптимизатор - гистограмма распределения данных, возможность автоматического сбора статистики, подробная информация по таблицам и индексам (кол-во записей страниц и т.п.)

SQL

Внешние процедуры функции и триггеры
PSQL функции
Пакеты аля Оракл
DDL триггеры
Оконные(аналитические) функции
Двунаправленные курсоры в PSQL
Парметризированные исключения

Безопасность

Аутентификация во внешних плагинах
Шифрование траффика
Юзеры в базе
Шифрование на уровне страниц
Группы пользователей
Права на DDL

Публичная альфа FB3 - в третьем квартале 2011 года

Initial review of Firebird 3

View more presentations from Mind TheFirebird.

Ограничение на количество генераторов в Firebird

2011-02-24T12:29:00.001+02:00

24.02.2011 12:30, Vadim Mescheryakov пишет:

> Все работает норм. Конечно новые генераторы не создаются с той же частотой

> что и документы вводятся,

> Но по каждому виду дока, по каждому субъекту хозяйствования, раз в месяц

> создаются (нумерация в пределах месяца).

> Работает.

После создания 32К генераторов система может встать, там внутренний ID -

SMALLINT. И бекап-рестор не поможет, IIRC.

Дмитрий Еманов

Файловый кеш Win64 и Firebird

2011-02-18T10:03:00.000+02:00

На одном из наших серверов, после перехода на Win 2008 R2 64, стала забиваться память, на 100%, файловым кешем. Молча и стремительно. Топик обсуждения нашей ситуации.

Решилась проблема помещением в автозапуск арийской утилитки
http://www.uwe-sieber.de/ntcacheset_e.html, которая просто дергает системную фукнцию, которая задает граничный размер кеша.

Но проблема это была не только наша, проскочило вот вчера в новостях (Firebird slow? Well, maybe it is Windows fault.) решение от самой MS http://support.microsoft.com/kb/976618/en-us

Понять логику того, почему это ограничение не устанавливается самой OS, пока не получилось.

От чего зависит скорость сетевой карты?

2011-02-14T19:44:00.000+02:00

Выходит что чаще всего - от драйверов. И ведь можно на голову стать, пытаясь выяснять в чем проблема, при настройке системы...

http://blog.not-a-kernel-guy.com/2011/02/13/990

...
Пропускная способность выросла до 17 MByte/sec при полной загрузке процессора.
...
Приходящие пакеты отдавались NDIS-у не в том порядке, в каком они были приняты. С точки зрения TCP/IP это выглядело как потери пакетов. Драйвер протокола постоянно запрашивал повторную передачу «потерянных» пакетов, генерируя больший, чем нужно, траффик и сужая ширину TCP окна до минимума. Стоило поменять порядок пакетов в списке (три строчки в коде), скорость одного соединения выросла свыше 30 MByte/sec.

У Delphi будет новый VCL?

2011-02-13T11:27:00.000+02:00

Встретилась в блоге Ника Ходжеса интересная новость - разработчик http://www.ksdev.com/ вместе со своими наработками (VGScene, DXScene, or ImageFX) переходит в Embarcadero.

Похоже, после стольких лет, у Delphi наконец появится какой-то вариант векторного UI фреймворка.

Как правильно заблокировать окно от перерисовки

2011-01-21T16:39:00.003+02:00

Иногда это может понадобиться, если что-то активно добавляется, открывается и т.п.
Типичный способ, рекомендуемый первым, это вызов LockWindowUpdate. Что есть в корне неверно - в Майкрософт не очень удобно выбрали название функции.
http://www.transl-gunsmoker.ru/2010/12/lockwindowupdate_29.html
http://msdn.microsoft.com/en-us/library/dd145034%28v=vs.85%29.aspx

Правильный пример:

procedure SetWindowLock(AHandle: THandle);
begin
  SendMessage(AHandle, WM_SETREDRAW, 0, 0);
end;

procedure EndWindowLock(AHandle: THandle);
begin
  SendMessage(AHandle, WM_SETREDRAW, 1, 0);
  RedrawWindow(AHandle, nil, 0, RDW_ERASE or RDW_FRAME or
    RDW_INVALIDATE or RDW_ALLCHILDREN);
end;

Хитрость в том, что работает только RedrawWindow, а Invalidate нет.

UPD
На практике оказало не все так весело - окно просто прячется, а не перестает отрисовываться. У нас решилось точечным применением, только к изменяемым элементам - панелям, таб сетам и т.п.

Шифрация базы в Firebird и конкурентах

2011-01-19T18:36:00.000+02:00

Вопросы о возможности каким-то образом защитить базу, когда ценность представляют данные в ней, звучат в конференциях Firebird достаточно часто.

И обычно ответы сделаны как под копирку - что мол 100%, надежного способа это обеспечить, если база доступна физически нет. Но вот что встретилось в firebird-architect:

Alex Peshkoff, Nov 10, 2010:

I've already mentioned - we have plans to implement line encryption in FB3.0 and may be page level encryption too. We have already decided that we provide interface for users' plugins to perform actual crypt operations.

Как я упоминал ранее в планах есть реализация линейного(?) шифрования в 3.0. Вероятно также шифрование на уровне страниц. Было решено, что реализовано это будет посредством плагинов с возможностью их самостоятельной реализации.

И краткий обзор, что есть у конкурентов:

MySQL

нет шифрования файла
есть защищенное соединение

http://dev.mysql.com/doc/refman/5.0/en/secure-connections.html

PostgreSQL

нет шифрования файла
есть защищенное соединение

http://www.postgresql.org/docs/8.1/static/ssl-tcp.html
http://www.postgresql.org/docs/9.0/static/pgcrypto.html

MSSQL

есть шифрование файла
есть защищенное соединение

http://msdn.microsoft.com/en-us/library/bb934049%28v=SQL.100%29.aspx
http://msdn.microsoft.com/en-us/library/ms189067%28v=SQL.90%29.aspx

DB2

есть шифрование файла
есть защищенное соединение

http://publib.boulder.ibm.com/infocenter/db2luw/v9r7/index.jsp?topic=/com.ibm.db2.luw.admin.sec.doc/doc/c0005815.html

Oracle

есть шифрование файла
есть шифрование полей
есть защищенное соединение

http://www.oracle.com/technetwork/database/options/advanced-security/index.html

Влияет ли отпускная политика на качество разработки ПО?

2011-01-17T08:30:00.002+02:00

Влияет ли отпускная политика на качество разработки ПО?

DDL триггеры будут в FB3

2011-01-04T10:50:00.003+02:00

По сути теперь можно вешать события и всяческие проверки(в том числе и стиля!) на изменение метаданных.

create trigger trig_ddl_sp before create procedure
as
begin
    if (rdb$get_context('DDL_TRIGGER', 'OBJECT_NAME') not starting 'SP_') then
        exception e_invalid_sp_name;
end

Подробнее:
http://firebird.svn.sourceforge.net/viewvc/firebird/firebird/trunk/doc/sql.extensions/README.ddl_triggers.txt?revision=51203

Памятка по вопросам на собеседование

2011-01-04T08:22:00.001+02:00

Когда-то делал нечто похожее, тем более под каждое собеседование свой набор вопросов. Но в общем случае может пригодится.
http://nmihouse.com/?p=31

Процесс найма

Этапы найма сотрудника на работу: количество собеседований, их последовательность и т.д.

Проект

Описание проекта в деталях
Структура команды на проекте (роли и обязанности).
Взаимодействие команды на проекте (схема взаимодействия, средства взаимодействия)
Возраст/опыт людей в команде
Моя роль и обязанности
Стиль написания проекта: 1) дольше, но как надо или 2) быстро, но как попало.
Длительность проекта (уже прошло с начала проекта, планируемая дата окончания)
Используемые методологии разработки
Какие типы тестирования применяются на проекте – unittesting, ручное, др.?
Средства разработки
Система контроля версий
Система контроля требований
Система трекинга багов
Система трекинга заданий
Используются ли анализаторы и метрики кода?
Какое количество времени будет выделено на «прокачку знаний до необходимого уровня»?
Распределение видов деятельности по времени в процентном соотношении на данной позиции:
- написание требований
- ревью требований
- написание тестов
- ручное тестирование
- дизайн / архитектура
- написание документов
- багфиксинг
- имплементация нового кода
- R&D
- поддержка инструментов и сред разработки
- внедрение новых инструментов

Рабочее время

Опишите типичный рабочий день сотрудника на данной вакансии.
Со скольки до скольки?
Сколько рабочих дней в неделю?
Есть ли возможность работать по гибкому графику (раньше приходить и раньше уходить и наоборот)?
Бывают ли случаи работы в выходные и сверхурочно? Как часто?
Оплачивается ли сверхурочная работа и как?
Могу ли я отказаться от работы сверхурочно?
Есть ли выходные в официальные государственные праздники? Список государственных праздников?
Есть ли выходные в какие-то специальные дни, назначенные компанией? Список таких выходных?
Применяются ли системы трэкинга рабочего времени сотрудников (читай – элементы надзора)?

Зарплата

Структрура зарплаты (налог + netto + %банку + какой курс обмена)
Зарплата(netto) до испытательного срока
Зарплата(netto) после испытательного срока
Дата выдачи зарплаты.
Через сколько времени повышается зарплата и на сколько?
Есть ли бонусы и от чего зависит их получение?
Выплачивается ли вовремя зарплата или бывают задержки?

Условия работы

Тип помещения
Количество пространства на человека
Оборудование.
Есть ли столовая (внутри компании) или приходится ходить есть куда-то?

Командировки

Есть ли командировки?
Как часто? Сколько дней в месяц/в год?
Оплата командировочных?
Работают ли люди, находящиеся в командировках, в выходные дни? Если да, то оплачиваются ли они?

Больничные и медстраховка

Больничные – оплачиваются или нет?
Сколько дней оплачиваемых больничных в году?
Есть ли мед.страховки?
На какую сумму медстраховки и что в них входит?
Медстраховки предоставляются только для сотрудника или для его семьи тоже?
Cтраховка жизни.

Испытательный срок

Длительность испытательного срока
Условия успешного прохождения испытательного срока

Структура компании и карьерный рост

Опишите структуру компании : офисы, подразделения, струкрура внутри данного подразделения, etc.
Какие возможные пути карьерного роста с данной позиции ?

Разное

Оплата компанией аренды жилья (срок, место)
Релокейшн – оплачивается ли компанией переезд? Для всей семьи?
Виза – какая виза для кандидата, для членов семьи? Оплачивается ли получение виз компанией?
Как разруливается следующая ситуация – изначально я еду на работу как в командировку, компания пытается оформить мне визу, но визу в итоге не дают по каким-либо причинам?
Бывают ли корпоративные вечеринки?
Какие отношения в коллективе?
Оплачиваются ли обеды и если да, то на какую сумму?
Бесплатные напитки/еда в офисе
Оплачивается ли проезд?
Оплачивается ли перелет домой и обратно во время отпуска? Сколько раз в году? Только мне или всем членам семьи?
Предоставляется ли компанией в пользование автомобиль?
Предоставляет ли компания льготные кредиты? Через какой промежуток времени? На какие суммы?
Оплачивает ли компания занятия спортом, если да – какие виды спорта и на какие суммы?
Есть ли спортзал в офисе?
Есть ли комната с какими-либо играми ? (Playstation/Бильярд/Теннис/etc.)

Повышение эффективности сотрудников

Насколько компания заинтересована в повышении эффективности работника?
Проводятся ли семинары, конференции?
Направляет ли компания сотрудников на какие-либо курсы?
Преобретаются ли книги по запросам сотрудников?
Преобретается ли дополнительное ПО по запросам сотрудников?
Внедряются ли новые инструменты/технологии по запросам сотрудников? Как это происходит?
Дополнительные мотиваторы?

Смена проекта внутри компании

Как часто человека перебрасывают с одного проекта на другой?
Что происходит с людьми по окончанию проекта?
Если на других проектах нет открытых позиций?
Возможна ли смена проекта до его окончания?
Возможна ли смена проекта с реллокейшном в другой офис/страну?

Отпуск

Продолжительность в год? Календарных или рабочих дней?
Оплачиваемый, неоплачиваемый?
Через какой промежуток времени его можно взять?
Можно ли взять его сразу или только по частям?
Если не берёшь отпуск, то он прогорает? Можно ли взять деньгами и не ходить в него?
Могу ли я взять отпуск за свой счет? Какое максимальное количество дней в году?
Зависит ли размер отпуска от стажа?

Увольнение

В случае увольнения по инициативе компании до окончания испытательного срока выплачивается ли выходное пособие? Какое? За какой период времени компания предупреждает об этом?
В случае увольнения по инициативе компании после окончания испытательного срока выплачивается ли выходное пособие? Какое? За какой период времени компания предупреждает об этом?
В случае увольнения по инициативе сотрудника до окончания испытательного срока выплачивается ли выходное пособие или вычитается какая-то сумма? Какая? За какой период времени сотрудник обязан предупредить об этом?
В случае увольнения по инициативе сотрудника после окончания испытательного срока выплачивается ли выходное пособие или вычитается какая-то сумма? Какая? За какой период времени сотрудник обязан предупредить об этом?

Контракт

Что из вышеперечисленного будет прописано в контракте?
На какой период подписывается контракт?
Когда я смогу увидеть полный текст контракта?

На что тратится наше время :)

2011-01-03T09:00:00.002+02:00

Интересное IT-мероприятие от Виктории Придатко

2010-12-20T15:47:00.001+02:00

http://hr-maverick.blogspot.com/2010/12/15-it.html

В очень простом и демократичном формате, вечерком, в офисе Циклума рассказали о своей практике два человека.

Один из докладов - о том, как работают с распределенной командой:

Четкий, фулл-тайм график, синхронизированный со всеми. С 11 до 20.
Обязательные совещания КАЖДЫЙ _вечер_. [пока еще не встретилось описание успешной ораспределенной команды без них].
Не нанимают людей с детьми - считают что с работой это не совместимо
Отдают предпочтение работавшим в оперсорсе, и табу на работу с фрилансерами. Пытаются работать только с лучшими.
Слабые девелоперы тянут производительность _всей команды_ вниз (?)
Исповедуют "меритократию" - на тех. уровне должна быть иерархия авторитетов, демократия не работает. Кто-то должен иметь возможность принять окончательное решение.
Активно используют механизм burn-down диаграмм. Горизонт планирования до месяца, обычно меньше. Попробовали на три - фейл.

В общем для собравшихся это был довольно нестандартный подход(эдакие Джоэлевкие мотивы прослеживаются), в свете засилья киевских аутсорсеров(это стартап, получивший финансирование и уже вышедший на окупаемость).

Второй доклад более прагматичный и механический, про Зарплаты в ИТ, но через призму аутсорса:

По статистике при переходе подъем ЗП обычно 25%
У человека прыгающего по компаниям зп растет быстрее, чем у эволюционно растущего на одном месте
Если использовать бонусы, то не менее половины зп, иначе они не работаю/мотивируют (?)
Составляющие пересмотра зп:
- инфляционная (для $ сейчас 5%)
- рыночная
Частота перемотра до мидла - раз в 2-6 месяцев, для мидлов-синьоров - раз в год
Один из способов обсуждения повышения - спросить у человека как он видит составляющие своей зп, и за что он хочет повышения в данном случае.
"шантаж уходом" - работает один раз, потом нужно увольнять(если конечно предыдущие пункты исполняются) (хотя на это звучали возражения)
Безпроцентный кредит - эффективный механизм мотивации. После его выплаты у сотрудника создается иллюзия повышения зп.

UPD
Вот еще одна подборочка - http://sergtk-it.blogspot.com/2010/12/it.html
Интересно, но многие вещи мы восприняли совершенно по разному :-/

UPD2
Презентации http://hr-maverick.blogspot.com/2010/12/15.html

"...и ждем, что они друг с другом договорятся. Они не договорятся."

2010-11-18T14:55:00.000+02:00

Интересное интервью и цитата из него:

http://experience.openquality.ru/elena-sagalaeva-interview/

Елена, сможете ли вы рассказать о наиболее значимой ошибке, которую вам доводилось видеть в проектах?
Самые суровые проблемы возникают из-за неверно принятых решений, не из-за того, что программист где-то плюс с минусом перепутал. И из-за попыток решить технические проблемы политическими методами. Или вот, например, ставим работать программистов, которые друг друга не знают. Не назначаем среди них главного и ждем, что они друг с другом договорятся. Они не договорятся. Это классическая запланированная катастрофа, я несколько раз такое наблюдала.

Высоконагруженные системы

2010-11-01T10:08:00.001+02:00

Встретилась хорошая подборка статей про высоконагруженные системы - http://www.insight-it.ru/highload/. Конечно очень обзорно, но есть очень интересные моменты. Рекомендую.

PS
Интересно, а что можно считать критерием сложности проекта? Ведь высокая нагрузка - это только одна сторона медали.

Про git на "Инструменты Agile"

2010-06-18T13:04:00.000+03:00

Небольшая подборка выступлений по практическому использованию инструментов разработки в agile-командах (Yandex, Softline...) http://lib.custis.ru/Agile-tools-2010

И собственно цитата всего поста:

«GIT - инструмент для богов». «…После того, как мы убедились, что не все люди боги…»

Тонкости внедрения

2010-05-05T11:55:00.000+03:00

Интересная статья и замечательнейшая цитата из нее:

Я потратил на этот проект почти год своей жизни. Это много. И обидно.
А тем, кто планирует участвовать в подобных проектах, хочу сказать — ребята, в таких крупных компаниях гораздо важнее не суть дела, а правильная политика и учет клановых сил. Главное знать, кто тут на кого имеет какое влияние и с кем и в какой последовательности надо все согласовывать. А насколько хорошо то, что именно вы предлагаете, значение имеет не очень большое.

Не ново, но так за живое задевает...

Сложности общения

2010-04-28T17:39:00.002+03:00

Встретился хороший пост про некоторые аспекты общения. С которыми не раз сам такливался на практике. Цитаты из статьи Владимира Германа “Личная неприязнь”.

Личная неприязнь - механизм психики. Действие ее коварно и не сразу распознаваемо сознанием. Человек практически не способен мыслить объективно, находясь под действием личной неприязни. Основное вредоносное ее свойство заключается в следующем. Личная неприязнь делает так, что любые высказывания, суждения или поступки оппонента трактуются нашим сознанием как враждебные или с подвохом - действует крайнее недоверие. Даже улыбка человека, у которого просто хорошее настроение, может быть истрактована как враждебная ухмылка или насмешка. В результате, личная неприязнь сама себя вскармливает. В современных коллективах это свойство личной неприязни подкрепляется еще и склонностью оппонентов общаться по электронной почте или ICQ - средства не передают эмоции.

Например, если один из оппонентов поставил в приветствии восклицательный знак, подразумевая восторженное приветствие адресата, то адресат, испытывающий личную неприязнь, прочитает восклицательный знак как наезд. Необходимо знать это и рекомендовать избегать общения по email и ICQ в случае возникновения напряженности между людьми.

Если люди хотят избавиться от личной неприязни, то самое главное - кому-то сделать первый шаг на встречу другому и поговорить откровенно о своих чувствах и том вреде и дискомфорте, который они испытывают. Прямой разговор является основным средством устранения личной неприязни.

Иногда достаточно пары искренних комплиментов или подчеркнутой поддержки мнения “оппонента” на одном из совещаний. Ведь личная неприязнь включается у людей от личных претензий, когда человек видит, что его атакуют как личность. Если дать другому человеку понять, что вы его цените как личность и разногласия у вас только по рабочим вопросам, то личная неприязнь может испариться без следа и даже перерасти в дружбу.

Конечно, есть вероятность, что при сильной степени неприятия, ваш оппонент будет искать в вашем шаге навстречу подвох. Но если вы будете откровенны, то этого не произойдет.

PS потому в распределенном проекте общаться только письмами - наихудшее преступление, как бы они там не структурировали мысли и идеи :)

Вывод лога DUnit в файл

2010-03-29T12:18:00.000+03:00

Иногда нет возможности запускать тесты из консольного приложения, что делает невозможным логгирование вывода стандартными средствами. Что бы, к примеру, запущенная после коммита процедура сборки/тестирования, в случае ошибки, бросила в почту разработчикам лог с непрошедшими тестами.

Для решения на скорую руку был набросан простенький класс (чуть более чем полностью слизанный с TextTestRunner), позволяющий логгировать все в файл - FileTestRunner

Проверен на D2009.

Упрощение CheckException в DUnit с помощью анонимных функций

2010-03-24T11:54:00.000+02:00

К сожалению, для проверки функции на возврат исключения возможен только для процедуры типа:

TTestMethod = procedure of object;
procedure CheckException(AMethod: TTestMethod; AExceptionClass: TClass; msg :string = '');

Легким движением руки(наследником или правкой оригинального класса) для свежих версий Delphi упрощаем написание таких тестов:

TTestProc2 = reference to procedure;

TTestCase2 = class(TTestCase)
public
procedure CheckException2(AMethod: TTestProc2; AExceptionClass: TClass; msg :string = '');
end;

Пример использования:
...
CheckException2(procedure begin DirDelete(TestDir); end, EInOutError);

Разработка - это борьба с антивирусами

2010-03-08T10:31:00.000+02:00

На днях, Касперский начал ругаться на один из пакетов нашей системы обновлений. В пакете (7z архив), от 11 сентября 2009 года лежал инсталятор сделанный InnosSetup, внутри которого и лежал якобы зараженный файл.

Беглый анализ этого яйца КБ на VirusTotal показал, что ругается только Касперский, на какой-то никому известный троян, что явно указывало на ложное срабатывание. Проблемы была отложена на неделю, в надежде что рассосется :)

Но практика показала, что даже ложные сигнатуры, как те вирусы, расползаются по мелким антивирусным компаниям безо всяких проверок. Через 2 недели уже 10-ток антивирусов определяли файл как зараженный! Но при этом среди них не было ни одной крупной компании.

Приятно был поражен, что после отправки комплейна в лабораторию Касперского, ложное срабатывание было подтверждено в течение часа (и это 8-го марта!).

97 заметок архитекторам и разработчикам

2010-03-02T11:27:00.000+02:00

Уж не знаю, откуда возник такой формат, но есть две замечательные серии статей, по 97 штук, с краткими заметками в области разработки и проектирования ПО. В оригинале они на английском, но есть частичный перевод от avl:

97 Things Every Programmer Should Know

оригинал - http://programmer.97things.oreilly.com/wiki/index.php/Edited_Contributions
перевод - http://avl.livejournal.com/tag/97_things_programmer_should_know

97 Things Every Software Architect Should Know

оригинал(уже недоступен) - http://97-things.near-time.net/wiki/97-things-every-software-architect-should-know-the-book
перевод - http://avl.livejournal.com/tag/97_things_architect_should_know
для печати - http://docs.google.com/View?id=ddcq7655_199dq3bwfv4

MindTheBird! - УпомяниПроПтица!

2010-03-01T23:18:00.001+02:00

Как многие помнят, я, в силу исторических причин, большой любитель, и более того фанат, такого замечательного продукта, как СУБД Firebird.

В скором времени, выходит его новая версия 2.5, в которой разработчики в очередной раз радуют нас множеством вкусностей:

новая промежуточная архитектура SuperClassic
управление пользователями из SQL
долгожданный многими ALTER VIEW
автономные транзакции
гетерогенные запросы к внешним базам FB через EXECUTE STATEMENT
роль RDB$ADMIN
трассировка работы

В поддержку сего события, запущен проект MindTheBird! - нацеленный на как можно более широкое освещение релиза и всего проекта в целом. Соответственно пассивным вкладом нас, разработчиков использующих эту СУБД может (а лучше должно быть) размещение баннера на сайте/блоге.

А желающие принять более активное участи, могут заработать 500$ за работу с логотипом ФБ, или получить лицензию FastReport за привлечение новых участником.

Подробнее про изменения в архитектуре 2.5, от Дмитрия Еманова:

Firebird 2.5 Architecture, by Dmitry Yemanov (in English)

View more presentations from Nataly Polyanskaya.

Miranda + Skype

2010-02-18T10:05:00.001+02:00

Будучи заядлым любителем такаого истинно правильного IM клиента как miranda, я ощущал жуткий дискомфорт, из-за того, что с некоторыми людьми приходилось общаться через родной клиент от Skype.

Последний я здорово уважаю за звук и конференции, и с удовольствием звоню через него, но IM в нем...

Да много удобнее иметь на флешке шифрованную базу Миранды с логами общения за последние 5 лет, чем по меньшей мере 3 разрозненные инсталяции Скайпа.

Но вот недавно, обновляя Миранду, в списке наиболее популярных заметил плагин-обертку, который позволяет дергать существующую инсталяцию скайпа через Миранду - рекомендую.

Desktop-интерфес на html?

2010-02-13T13:02:00.001+02:00

На днях, долго выбираемй мной домашний антивирус avast!, заполучил довольно симпатичный новый внешний вид(откровенно говоря старый был жутковат). Проходясь по UI в поисках возможности временного отключения резидентной защиты(кстати эта возможность появилась - правда не так удобно как в Касперском) я набрел на форму "О программе", где вычитал, что построен новый интерфейс с использованием библиотеки HTMLayout.

Вспоминая мучения во время разработки пользовательского интерфейса на Delphi - интересная это в общем штука, позволяет привнести в мир desktop разработки все прелести html/css:

HTMLayout – это, грубо говоря, веб-браузер, который Windows-программист может встроить в свою программу и, таким образом, построить интерфейс программы на базе DHTML

Использует ее уже достаточно много крупных компаний, так что для приложений, требующих развитого UI, можно пробовать. Пока хорошей/популярной обертки для Delphi нет, но начало уже положено.

Подробнее, в интервью с разработчиком, можно почитать здесь

Firebird. Как определить что конект через embedded server?

2010-02-12T15:07:00.001+02:00

> Как определить что конект через embedded server?

Если FB 2.1 и выше:


SELECT 
  CASE 
    WHEN MON$REMOTE_PROTOCOL IS NULL THEN 1 ELSE 0 
  END
FROM 
  MON$ATTACHMENTS
WHERE 
  MON$ATTACHMENT_ID = CURRENT_CONNECTION

--
Дмитрий Еманов

Упрощенный обмен метками в git

2010-02-09T12:34:00.004+02:00

Есть в git не очень, по меньшей мере пока, понятный и логичный момент - при пуше, созданные и измененные метки не отправляются на сервер. Из за чего, обмен изменениями с коллегами приходится проводить в 2 этапа:
сначала делать git push, а потом еще и git push --tags. И аналогично для pull/fetch

Но сие поведение можно задать в файле настроек, для каждого репозитария

Или выполнить для репозитория команды:

git config --add remote.origin.push +refs/tags/*:refs/tags/*
git config --add remote.origin.push +refs/heads/*
git config --add remote.origin.fetch +refs/tags/*:refs/tags/*

Ant, MSBuild и расширения

2010-02-04T16:23:00.001+02:00

Проглядывал на днях презентацию одного доклада, про сборщик из мира java - Ant.

В общем все стандартно, после знакомства с msbuild, кроме одной фишки, которая жутко понравилась - возможность прямо в скрипте подключить расширение написанное на Java.

Для Delphi и msbuild приходится извращаться, компилить промежуточные exe-шники, писать утилитки и т.п.

Хотя наверное можно попробовать набросать какую-то мелочь на .Net - там тоже можно динамически подключить таск.

...после некоторых копаний...

Сделать можно, и довольно таки просто, см. пример ниже. По сути - мы на лету, внутри самого проекта, компилим расширение msbuild написанное на c#, подключаем его в этот же проект и в нем же используем. Благо оказалось что с .Net SDK идет компилятор С#.

Все полностью

 <Project DefaultTargets = "MyTarget"  
   xmlns="http://schemas.microsoft.com/developer/msbuild/2003" >  
  <UsingTask TaskName="SimpleTask.HelloTask" AssemblyFile="C:\iqs.tools\tests\msbuild_test\HelloTask.dll"/>   
   <ItemGroup>  
     <CSFile Include = "HelloTask.cs"/>  
   </ItemGroup>  
   <Target Name = "Compile">  
     <CSC   
      Sources = "@(CSFile)"  
      References = "Microsoft.Build.Framework.dll; Microsoft.Build.Tasks.dll; Microsoft.Build.Utilities.dll"  
      TargetType = "library"/>  
   </Target>  
   <Target Name="MyTarget">  
    <CallTarget Targets="Compile" />  
    <HelloTask MyProperty="Hello!"/>  
   </Target>  
 </Project>

Http sniffer/debugger

2010-02-03T14:16:00.001+02:00

Для поглядеть http траффик, что зачастую нужно для отладки, к примеру, web-сервисов, встретилась фришная утилита:

Fiddler - http://www.fiddler2.com/fiddler2/

Все что встречалось раньше - платное было.

Командный файл в экзешник

2010-02-02T17:00:00.001+02:00

Иногда возникает необходимость сделать простенький экзешник, без особых усилий.

К примеру - файл-алиас для авторана на компакт диске. Просто батник, с показом консоли и проблемой иконки не очень изящен, писать что-то отдельно - из пушки по воробьям.

Удобная штука оказалась Bat To Exe Converter, прямо в онлайн можно из батника сгенерить экзешник.

Ошибки и правила оценки программных проектов

2009-11-24T22:03:00.005+02:00

Давно хотел поделиться отзывом о замечательной книге С. Макконнелла "Сколько стоит программный проект". В общем может показаться несколько занудной, но с кучей практических советов и рекомендация по оценке, с примерами типовых проблем и ошибок, с которыми мы с вами сталкиваемся каждый день.

На мой взгляд обязательная к прочтений для разработчиков, начинающих руководителей программных проектов.

http://www.ozon.ru/context/detail/id/3115179/

Но кому лень искать, покупать или читать - на Хабре встретился кратенький пост, с пересказом - http://habrahabr.ru/blogs/pm/75903/

UPD
Встретилось еще близкое к теме - “Статистические ошибки планирования”. Очень интересное выступление, с примерами, "на пальцах".

Как нужно делать выступления

2009-11-18T22:27:00.006+02:00

Хочу порекомендовать один из лучших примеров выступлений/презентаций, какие я когда-либо видел. Без относительно того, что в самом выступлении куча интересных вещей.

Стянуто у http://soldatenko.livejournal.com/74040.html
Перевод (удобно открыть в отдельном окне и туда подглядывать) - http://www.subguru.ru/2008/01/blog-post_01.html

Кусочки:

Не бойся поляризовать людей (polarize people). Классные продукты поляризуют людей. Если вы попытаетесь создать продукт, который понравится всем группам клиентов – от 18 до 25, от 25 до 35, от 35 до 50, от 50 до 75, от 75 до смерти – если вы попытаетесь создать такой продукт, получится посредственность.

Большинство предпринимателей верит в то, что им в первую очередь нужно работать на уровне топ-менеджмента. «Мне нужно говорить с исполнительными директорами, директорами по развитию, президентами и председателями компаний (CIO, CTO, CMO или CEO)». За время своей карьеры я понял, что чем выше ты поднимаешься в большой организации, тем разреженнее воздух. А чем разреженнее воздух, тем меньше он дает возможности для поддержания разумной жизни.

Третий важный момент - найти соратников. Концепцию «предпринимателя-одиночки» сильно переоценивают, она неверна. У Стива Джобса был Стив Возняк. У Билла Гейтса – Стив Балмер. Вам нужны соратники – люди, которые будут вас дополнять. Если ты великий инженер, тебе потребуется великий специалист по маркетингу. Если ты совмещаешь в себе то и другое, тебе нужен будет операционный менеджер. Если ты гениальный провидец – тебе понадобится присмотр кого-нибудь взрослого.

...правило 10/20/30. В вашей презентации должно быть 10 слайдов.... И эти десять слайдов вы должны представить за 20 минут. ... И самый маленький размер шрифта, который вы можете использовать в презентации – 30.

Риски использования распределенных систем управления версиями

2009-10-15T10:00:00.002+03:00

Недавно, на одном вебинаре, столкнулся с тем, что люди даже не слышали, о git. Для меня это показалось зело странным и в обсуждении я очень рьяно стал рассказывать о преимуществах последнего, чем вызвал закономерный вопрос - а в чем недостатки?

Из недостатков, видевшихся мне перед нашим переходом на него основным была возможность организованного хаоса, когда все начнут пользоваться распределенностью и лезть другу другу в репозитарии. На практике все оказалось гораздо приятнее и безопаснее - работаем как и раньше, с центральным репозитарием, но "ветвимся" малой кровью и имеем всю историю локально, намного меньше завися от внешнего центрального репозитария, в периоды отсутствия связи.

Встретилось вот еще пара интересных статей на эту тему:

Риски распределенного контроля версий
Контроль версий и «правило 80 процентов»

Вкратце: с централизованной системой, людей принуждают взаимодействовать и просматривать работу друг друга; с децентрализованной системой, поведение по умолчанию состоит в скрытом ветвлении проекта каждым разработчиком.
Необходимо будет прилагать специальные усилия для обмена кода и самоорганизации в некоторую командную структуру.
Да, я знаю, что DVCS может имитировать работу централизованной системы; но поведение по-умолчанию имеет значение.
А поведение по-умолчанию — «ветвить», а не сотрудничать!
Это поощряет людей забираться в пещеры и кодить там объемные доработки, а затем «сбрасывать» эти «кодовые бомбы» на своих товарищей, причем до момента «сброса» код не может быть кем-либо проверен.
Да, правильные практики возможны с DVCS, но они не поощряются, что заставляет меня беспокоиться о будущем разработки с открытым исходным кодом...

Про новую архитектуру Firebird - SuperClassic

2009-10-05T10:59:00.004+03:00

Несколько раз с коллегами начинали разговоры о ней, и каждый раз удивлялись зачем она нужна. В качестве памятки кусочек обсуждения в fb-devel:

SuperServer:

один процесс ОС на все соединения/базы
общий кеш страниц для всех баз
централизованный(central) менеджер блокировок
блокировки работают на базы, а не соединения - т.е. все операции с базой выстраиваются в одну очередь.
для версии <>
не поддерживает многопроцессорность, т.к. ОС не может распаралелить один процесс по нескольким процессорам

Classic:

отдельный процесс на каждое соединение с БД
отдельный кеш страниц на каждое соединение
внешний менеджер блокировок(в 2.5. он уже внутренний)
хорошая поддержка многопроцессорности
накладывает некоторые ограничения в следствие ресурсоемкости процессов, в сравнении с потоками

SuperClassic:

один процесс на все соединения (в перспективе - отдельный процесс на каждую базу)
используется пул потоков ОС для обработки запросов от соединений - т.о. каждое соединение работает в отдельном потоке управляемом ОС, а неактивные соединения не отъедают ресурсы потоков
централизованный менеджер блокировок, который может обрабатывать как внутренние, так и внешние обращения(одна и таже база может быть доступна как посредством СУБД из процесса А, так и через FB Embeded из процессов B, C и т.д.)
теоретически этот менеджер блокировок позволяет организовывать кластеризацию используя готовые распределенные движки блокировок
кеш страниц на соединение
хорошая поддержка многпроцессорности, т.к. потоки ОС легко распараллеливаются

В v3.0 планируются такие доработки:

общий кеш страниц на уровне базы
кеш подготовленных запросов
общий кеш метаданных

Как итог - SuperClassic это промежуточный шаг(насколько я понял изначально родившийся в RedSoft) к следующей основной архитектуре FB, появившийся в следствии крупного рефакторинга внутренностей движка.

Пока для пользователей практический выигрыш лишь в экономии на процессах и, как следствие, чуть более быстрой синхронизации. Хотя если верить документации, то совокупный выигрыш - до 15-20% на TPC-С тестах в сравнении с классиком.

Подробнее можно посмотреть в Firebird 2.5 Release Notes

UPD: Презентация от Дмитрия Еманова - Firebird 2.5 Architecture

Динамически загружаемые bpl , их выгрузка и интерфейсы

2009-09-25T16:29:00.005+03:00

Очевидная, но съевшая кучу времени ошибка.

Если в проекте используются динамически загружаемые/выгружаемые bpl, следует помнить, что при выгрузке информации о классах, реализованных в этих bpl в памяти не остается.

Предположим есть некий список, в котором регистрируются _интерфейсы_, имплиментирующие классы которых реализованы в динамически загружаемых bpl(к примеру в плагинах). Сам список живет в базовом приложении, которое и загружает эти пакеты.

Если оставить разрушение этих объектов на совести основного кода, что при использовании интерфейсов довольно очевидно, но делать это _после_ выгрузки bpl с кодом класса реализующего интерфейс, например в секции finalization, - будем получать маловразумительные AV.

Интерфейсы должны быть интерфейсами!

2009-09-25T13:18:00.002+03:00

Встретился интересный баг связанные с тем, что смешивается интерфейс и обычный объект. Вернее интерфейс кастрируется до некого альтернативного указателя на экземпляр объекта, без использования замечательного механизма подсчета ссылок.

Есть объект, унаследованный от TComponent и поддерживающий какой-то интерфейс. Временем жизни этого объекта управляет некая фабрика, честно убивающая его при закрытии приложения вручную, как обычный объект - т.е. посредством вызова Free.

А в совершенно другой части приложения есть ссылка на этот объект, но в виде глобальной переменной модуля. Некрасиво, но пока приложение живет проблем нет.

А при завершении работы - фабрика все честно чистит и умирает сама, выполняется весь пользовательский код. И начинают финализироваться модули, обнуляя интерфейсы и соотв. дергая TComponent._Release у давно умершего объекта...

Обнаружить сию неприятность удалось только благодаря FastMM, который заполняет память под разрушенными объектами по специфическому шаблону:

Q: My program used to work fine, but if I enable "FullDebugMode" and run it I get an access violation at address $8080xxxx. Why?
A: You are attempting to access properties of a freed object. When you free a block in "FullDebugMode", FastMM fills the freed memory area with a pattern of $80 bytes. If there were any pointers, long strings or object references inside the freed object they will now point to $80808080 which is in a reserved address space.

Все плохое в FB от Windows :)

2009-09-15T22:22:00.003+03:00

Проглядывая презентацию Алексея Пешкова о прошлом, настоящем и будущем безопасности в Firebird наткнулся на интересную информацию:

Тот громкий "зашитый" пароль politically/correct был введен для коннекта сервером к своей базе паролей, которая в свою очередь была введена для порта сервера на .... Win3.X в 92-93г., у которой в то время не было свой подсистемы пользователей.

Как любит говорить один мой друг, коммерческий дух win-платформы пересилил здравый смысл :)

Firebird и база на SSD диске

2009-09-14T15:24:00.002+03:00

Встретилось в fb-devel интересное сообщение, о переходе на SSD диск. Если кратко - то значительно увеличилась производительность при большой загрузке дисковой подсистемы, когда основное время тратится на позиционирование головок диска при большом потоке конкурентных обращений.

"Если на обычном 5-то рейде в таких ситуация(более 1000 коннектов) ответ ждали до минуты, то в ssd это время оставалось константным, порядка 4сек."

Естественно не для всяких систем это будет верно, но все же...


Hi Pays,

I can't give you exact figures, but we switched

from
HP 585 4 processor AMD Opteron 850/16GB with raid5 HP SCSI Ultra320 15krpm 8
disk array for the DB

to
HP 385 2 x quad core AMD Opteron 2384 and an FusionIO IODrive, an 80GB SSD
formatted as 40GB so it can continously prepare the remaining 40GB for write
operations which gives it a performance advantage.

The performance gain was noticable. We are btw running FB2.1 classic, AMD 2
x quad core/20GB ram. A "big" query taking around 8 seconds on the SCSI took
only 4 seconds on the FusionIO. Thus the pure performance gain was just
around 2 times faster. It was a query primarily putting load on the disks,
not the CPU, so I guess the new and better server hardware didn't influence
the result too much.

But the really interesting part comes under higher load! As there is no
latency in positioning the heads on a SSD, it really doesn't seem to care
about number of connections (at least not in our case). So where the SCSI
raid dramatically dropped performance and went to around one minute for the
above query during heavy load (>1000 connections), the SSD still answered in
4 seconds. That makes all the difference to us - and not least our users :)

I hope you can use the above informations in your research. Only
disadvantage for the IODrive, at least for now, is that it isn't mounted
until the server loads the drivers for it. So you can't really boot from it.

Kind regards

Poul Dige
Tabulex

Vista и перенаправление(виртуализация) файловой системы

2009-09-08T11:53:00.004+03:00

Когда-то, читая замечательный блог Not a kernel guy, встретил у него описание, как 64-х битные версии новых Windows умеют перенаправлять обращения к реестру и файловой системе.

Почитал, удивился и забыл - в тех системах, которые приходилось писать самому или делалось все так, как хочет Майкрософт(пишем только в профиль пользователя), или намеренно указывалась необходимость иметь права на запись в каталог инсталяции для упрощения системы обновлений.

Но впоследнем проекте получилось сполна опробовать красоту решения от MS - пока у пользователя включен UAC, все обращения на запись в ProgramFiles перенаправляются в профиль пользователя(в нашем случае копировалась 400Мб база, лежащая "под" приложением). Казалось бы, сами себе злобные буратины, что не выполняем рекомендации MS. Но раз уж не выполняем, то МС само заботится о нас и на первый взгляд все ок.

До тех пор, пока пользователь, как это принято, не отключает этот UAC к чертовой матери, и оказывается перед девственно чистой БД :)

Одним из способов решения - создание манифеста, в котором указать необходимый приложению объем прав. Хотя и там, с кешированием этих манифестов и прав весело - единожды запустив приложение информация о необходимых ему правах где-то сохраняется, и как ее сбросить я пока не нашел.

Про UAC - http://msdn.microsoft.com/en-us/library/bb756960.aspx
Про манифест - http://msdn.microsoft.com/en-us/library/bb756929.aspx

Эмуляция сети с высокой латентностью

2009-07-14T17:11:00.002+03:00

Когда-то нужно было для тестов:

It simulate network latency in Linux using Netem. With the tc utility, we can add a delay for outbound traffic. Since I did it for lo interface, it happens that it works for in/out traffic. I set delay to 100ms (that is more or less a value I found doing it in the internet with my horrible Telefonica ~~speed~~y connection), using this command:
$ sudo tc qdisc add dev lo root handle 1:0 netem delay 100ms

To later remove the delay, the command is:
$ sudo tc qdisc del dev lo root

Источник

Мысли о роли ТЗ в программном проекте

2009-05-19T17:45:00.004+03:00

Так, когда-то написал, отходя от проекта, в котором вовлеченности непосредственного заказчика по сути не было

Основная задача ТЗ в программном проекте - не фиксация объема работ, не защита от переработки, не инструмент "заморозки" требований. Нет, это просто возможность заказчику(пусть зачастую и при помощи разработчиков) подумать над тем, что он вообще хочет.

Можно конечно сделать проект "самостоятельно" и сдавать его итеративно, но, как показывает практика, в этом случае думать над ним заказчик начнет как раз в момент сдачи. И запросто окажется, что "когда я говорил мне нужен дом - я имел ввиду вышку аэропорта".

Другими словами ТЗ - это "рыба" проекта, которую можно делать сразу, просто и очень дешево менять. А письменный он должен быть потому, что иначе мозг может и не включиться. П%;:ть, как грится, не мешки ворочать.

PS термин "техническое задание" спорный, но выбран как самый простой, для обобщения

PPS да, agile конечно штука, но не каждый заказчик готов по нему работать

UPD: мысль оказалась далеко не новой - Джоэль о том же пишет.

Указатель на метод интерфейса

2009-03-19T21:43:00.002+02:00

Понадобилось на днях коллегам передать в качестве callback-функции метод объекта, доступ к которому есть только через интерфейс. Показалось, что проблемы особой нет - интерфейс "знает" о своем объекте, осталось вычислить адрес объекта да самого метода.

Но реальность оказалась не столь оптимистичной - на текущий момент Delphi такого функционала не поддерживает:

http://groups.google.com.ua/group/borland.public.delphi.objectpascal/browse_thread/thread/4c5dcb094b82522f?pli=1
http://qc.embarcadero.com/wc/qcmain.aspx?d=941 (а судя по датам и не будет поддерживать)

Самому раньше в таком функционале необходимости не было - проще передавать весь интерфейс, но если необходимо взаимодействие с чужим кодом, где могут требовать именно указатель на функцию, то прийдется изобретать не очень стройные решения:

метод в интерфейсе напрямую возвращающий адрес метода объекта

IAnIntf = interface
function GetPointerToProc: TAnObjectProc:
end

объект-обертку над интерфейсом

TWrapObj = class
private
AnIntf: ITheIntf;
protected
procedure AnProc(const Value: string);
end;

procedure TWrapObj.AnProc(const Value: string);
begin
AnIntf.AnProc(Value);
end;

~~возможно как-то можно будет выкрутиться через анонимные функции?~~ нельзя, ибо

TAnProc = procedure (S: string) of object;
TAnProc2 = reference to procedure (S: string);
это разные типы

Хотя и в реализации проблем более чем - вычислять статический адрес, на этапе компиляции, для такого указателя не получится, т.к. один и тот же интерфейс может реализовываться разными объектами.

> Still I think making (procedure of object) and (procedure of Interface) equivalent
> typeswould be the better solution.

Like I said, the semantics for the compiler would be quite different, so
it would make sense to make them different types (even if both
represented internally by a TMethod). Actually, if the interface
instance variable is nil, it is impossible to get the method address.
This is not a problem for objects, since there the static address is
taken.

Создание индексов "на ходу" в Firebird

2009-02-06T12:23:00.002+02:00

>> А вот с индексами как? Как насчет CREATE INDEX "на ходу"? Да еще и на
>> таблицу, с которой постоянная работа на UPDATE идет?
>
> Если 2.0 и старее, то получишь рассинхронизированный с таблицей индекс.
> Если 2.1 и новее, то все апдейты будут курить, пока индекс не будет создан.

- DDL тр-ция должна быть wait. Иначе - создание индекса обломится с большой вероятностью.
- Отпрепарированные запросы не увидят новый индекс. Это и процедур, и триггеров касается.

> и создание индексов, и ALITER INDEX INACTIVE делал на ходу...
> и что требуется теперь сделать, что бы за БД не переживать?

gfix -v -f

(с) Dmitry Yemanov, Хорсун Влад

Borland, умолчания и поддержка старого

2009-01-09T21:20:00.002+02:00

Компания меняет не только названия, но и простым разработчикам не дает скучать.
Вводная - при неизменных внешних условиях перестала выполняться сборка релиза из командной строки при переходе с 2007 на 2009 - упорно попадал туда код дебага. В то время как из среды - все ок.

Проведенное в два этапа(первый был еще на 2007 и текущей проблемы не касался см.) расследование показало, что:

- в импортируемом проектами файле CodeGear.Delphi.Targets дефолтный таргет изменен с Build на Make. А последний при смене конфигурации Debug|Release не пересобирает dcu

- группы проектов, в отличии от проектов, не обновляются до соотв. версии и импортируют $(MSBuildBinPath)\Borland.Group.Targets, который существует только при инсталяции 2007(или когда там msbuild прикрутили?)

- таргет Build для группы проектов не задает таргет для конечных проектов(т.е. используется умолчательный, который теперь Make, да)

Выходом может быть использование таргета BuildAll для группы проектов.

Delphi 2009 и приведение к PAnsiString

2009-01-09T13:45:00.005+02:00

Часть winapi функций требуют передачи себе в кач-ве параметров структур с PAnsiChar строками (например mapi). В предыдущих версиях приведение строк посредством PChar(SomeString) работало, используя область памяти выделенную под SomeString, а в 2009 результат PAnsiString(AnsiString(SomeString)), уже как вычисление обычной строки из юникодной, размещается в локальной области памяти, что чревато тем, что старый код может перестать работать на, казалось бы, ровном месте (хотя конечно прямое приведение к pchar тоже имеет кучу особенностей).

Например код приведенный ниже возвращает разные результаты на 2007 и 2009 Делфи

program array_error_test;

{$APPTYPE CONSOLE}

uses
 SysUtils,
 StrUtils,
 Classes;

procedure DoMain;
const
 Count = 5;

type
 RecType = record
   AnString: PAnsiChar;
 end;
var
 RecArr: array of RecType;
 I: Integer;
 SomeStrings: TStringList;
begin

 SetLength(RecArr, Count);

 SomeStrings := TStringList.Create;
 try
   for I := 0 to Length(RecArr) - 1 do
   begin
     SomeStrings.Add(DupeString(IntToStr(I), 10));
     RecArr[I].AnString := PAnsiChar(AnsiString(SomeStrings[I]));
   end;

   for I := 0 to Length(RecArr) - 1 do
     WriteLn(RecArr[I].AnString);
 finally
   SomeStrings.Free;
 end;
end;

begin
 DoMain;
 ReadLn;
end.

Delphi 2009 и InternetQueryOption

2009-01-08T16:01:00.005+02:00

Переносится в одном из проектов код на 2009 Делфи и соотвественно кушаются все прелести первопроходчества.

Для получения адреса прокси сервера пользовалась функция InternetQueryOption. После сборки в 2009 стала она возвращать мусор. Ничего криминального замечено не было, замена на InternetQueryOptionW не помогала.

Решение нашлось в
http://akirabbq.spaces.live.com/blog/cns!CEB8A04DC43BCEE9!264.entry
кто виноват не совсем понятно, но неприятно :(

По сути - в структуре INTERNET_PROXY_INFO lpszProxy должно быть не LPCTSTR(которое в 2009 уже PWideChar), а просто LPCSTR, хотя в исходных сишных заголовках она объявлена как LPCTSTR.

Решить проблему можно создав необходимую структуру у себя.

Оптимизатор в Firebird 2.1

2008-09-12T09:53:00.002+03:00

Прошло одно изменение без особого внимания, но оно может очень влиять на производительность при переходе со старых версий. В композитных индексах теперь считается селективность для каждого сегмента отдельно, что по логике правильнее, но в редких случая может менять порядок таблиц в соединении кардинально:

Selectivity Maintenance per Segment
D. Yemanov, A. Brinkman
Index selectivities are now stored on a per-segment basis. This means that, for a compound index on columns
(A, B, C), three selectivity values will be calculated, reflecting a full index match as well as all partial matches.
That is to say, the selectivity of the multi-segment index involves those of segment A alone (as it would be if it
were a single-segment index), segments A and B combined (as it would be if it were a double-segment index)
and the full three-segment match (A, B, C), i.e., all the ways a compound index can be used.
This opens more opportunities to the optimizer for clever access path decisions in cases involving partial index
matches.
The per-segment selectivity values are stored in the column RDB$STATISTICS of table RDB
$INDEX_SEGMENTS. The column of the same name in RDB$INDICES is kept for compatibility and still
represents the total index selectivity, that is used for a full index match.

и если была таблица documents(...doc_state int, doc_date ... ) c индексом по (doc_state, doc_date), то теперь, при условиях по doc_state, будет браться селективность не всего композита(а она могла из-за даты быть достаточно неплохой), а только поля doc_state.

Microsoft runtime и Firebird Embeded 2.1.1

2008-09-04T10:18:00.009+03:00

Для возможности x64 билдов разработчики Firebird перешли на vc8, что потянуло за собой, в принципе уже привычную, проблему распространения vc runtime.

Но учитывая теперешний зоопарк ОС, технологий совместимости 32/64, попыток решения dll хелл, и вообще постижения Дао от МС, деплоймент этого runtime становится очень непростым.

Он, рантайм 8-ой версии, не идет, пока, в поставки никакх ОС - и Висте его тоже нет(по меньшей мере до SP).

Первое - для правильной установки, как это рекомендует МС, нужны права Администратора. А для установки на win2k до SP1 - обновление инсталятора МС до 3.1

Для интеграции этого redist себе в инсталятор - нужно делать msi инсталяторы, создание которых в корректном виде не самое простое занятие, для котрого хороших
свободных инструментов вроде как и нет, и опять таки необходимы права администратора.

В принципе на первый вгляд проблем быть не должно - что стоит поставить этот рантайм,
когда разворачивается сервер СУБД. Но тем, кто пытается распространять shareware системы, особенно с FB embeded, приходится хуже - необходимо тянуть этот рантайм со своим приложением.

Есть три пути его поставки:

Официальный.
Устанавливаем инсталятором от MS и все работает. Не подходит, если нет гарантии наличия админских прав у пользователей, наличия Windows Installer 3.0 or later, portable решения.
Экстенсивный.
Поставляем со своим приложением просто необходимые бинарники рантайма. Так делает, впрочем, большинство софта - стоит только поискать msvcr80.dll по жесткому диску :)). Но, поставлять нужно ТРИ копии рантайма, одну для работы самого fbembed, вторую в каталоге intl для fbintl и третью в для подключаемых функций в каталоге udf.
Хитро-экстенсивный.
Пользуясь текстовой природой манифестов, в каталогах intl и udf оставить только манифест, с измененными путями к файлам вида:

<file name="..\msvcr80.dll">
<file name="..\msvcp80.dll">

ВАЖНО, в таком случае указать в манифесте своего приложения зависимость от Microsoft.VC80.CRT.

такой манифест представляет собой текстовый файл <FullAppName>.manifest с содержимым:
<assembly xmlns="urn:schemas-microsoft-com:asm.v1" manifestVersion="1.0">
<dependency>
<dependentAssembly>
<assemblyIdentity type="win32" name="Microsoft.VC80.CRT" version="8.0.50608.0" processorArchitecture="x86" publicKeyToken="1fc8b3b9a1e18e3b"></assemblyIdentity>
</dependentAssembly>
</dependency>
</assembly>

Этот манифест можно включить в ресурсы самого приложения, см. например

Ссылки:

Microsoft Visual C++ 2005 Redistributable Package (x86)
http://www.microsoft.com/downloads/details.aspx?familyid=32BC1BEE-A3F9-4C13-9C99-220B62A191EE&displaylang=en
http://www.ibase.ru/fb21instfaq.htm
http://delphi.about.com/library/bluc/text/uc111601a.htm

Не используйте сlass helper's?

2008-09-02T11:05:00.003+03:00

Не сказать, что я их когда-то использовал, но вот встретился материал:

http://www.deltics.co.nz/blog/?p=282

Суть в том, что если в проекте объявлено два хелпера к одному классу, то использоваться будет ТОЛЬКО один, но какой именно - не известно(зависит от порядка юнитов и т.п.).

Так что можно поиметь плавающих ошибок на ровном месте...

Случайная запись с учетом "веса"

2008-08-13T11:54:00.001+03:00

Встретилось вот в конференции:

WildSery wrote:
> вот одно элементарное решение.
> заводим таблицу WEIGHT(weight int) и заполняем её числами от 1 до <максимальный вес>
> затем нужное нам "случайное с учётом веса" получаем как
>
> select first 1 t.id
> from table1 t
> join weight w on t.weight >= w.weight
> order by rand()

Ну типа идея такова - для таблицы TABLE1, откуда нужно получить случайный ID, размножаем строки согласно "веса".
Если "вес" равен 1 - будет 1 строка, если "вес" 10 - будет 10 строк, соответственно, вероятность, что попадётся именно этот ID, в 10 раз выше, чем для "веса" 1.

--
Сергей Смирнов.

Установка activerecord-firebird-adapter через gem

2008-03-19T21:11:00.003+02:00

Так, для общего развития решил поглядеть на RoR. И на первом же повороте споткнулся - упорно не ставился адаптер для Firebird, который в один прекрасный момент был исключен из базовой поставки :-/

Часто встречающиеся рекомендации установить его успеха не принесли:

C:\servers\rail\rails_apps\norg>gem install activerecord-firebird-adapter
ERROR: could not find activerecord-firebird-adapter locally or in a repository

Заработало только с каким-то хитрым ключом -s, хотя по блогам все хором утверждают что это лишнее:

C:\servers\rail\rails_apps\norg>gem install activerecord-firebird-adapter -s http://gems.rubyonrails.org

Обход права на имя для служебных произведений

2008-03-18T10:53:00.004+02:00

Нашел ответ на вопрос как обходится право автора на указание имени - мы ведь редко когда видим, кто разработчик проприетарного софта, верно? (хотя статья неплохая, и там еще полезное есть)

"Особенности найма сотрудников, создающих объекты интеллектуальной собственности"
http://www.osp.ru/cio/2008/01/4744776/prinver.htm

Право на имя
Существует важный вопрос, касающийся одного из неимущественных авторских прав на служебные произведения, — права на имя. С правом на имя связана ситуация, когда компания-работодатель не желает указывать имен авторов продукта (компьютерной программы, дизайна, аналитического обзора и т.п.). В этом случае в договоре принято писать, что сотрудник отказывается от своего права на имя. Но такая запись является юридически ничтожной, так как находится в явном противоречии с текущим законодательством. Дело в том, что неимущественные авторские права неотторжимы, и от них, вообще говоря, невозможно отказаться. Соответственно, описанный подход не позволяет решить проблему обязательного указывания имен авторов продукта. Тем не менее, задача вполне разрешима — требуется лишь указать в договоре, что сотрудник пользуется своим правом на анонимность, просит не указывать его имени и передает компании-работодателю полномочия по защите остальных его неимущественных прав.

Firefox, орфография и погибающая ё

2008-02-09T17:01:00.000+02:00

Свежепоставленный лис все слова, в которых вместо законной, но редкоиспользуемой ё используется е помечал как ошибочные, требуя канонического написания. Сколько-то это терпелось, но когда пришлось активно работать с Доксами гугловскими терпению пришел конец. Решение нашлось в виде альтернативного словаря.
http://forum.mozilla-russia.org/viewtopic.php?id=15316

Cannot attach to services manager при ресторе через IBExpert

2008-01-17T15:48:00.000+02:00

В то же время как бекап проходит нормально.
FB 2.0 SS

Скорее всего, что путь к БД указывается локальный, без имени сервера, а в таком виде(тобишь по локальному протоколу), сервисы в 2.0 почему-то не работают.

Кодировка подключения и DDL в FB 2.1

2007-12-07T16:19:00.000+02:00

> Кстати ты в курсе что в последних файрах если ты подключился в
> NONE то DDL операторы выполнять противопоказано? По крайней мере некоторые

Почему:
выполняем в NONE:

create procedure AAA
as
begin
-- тут был вася
end

В каком чарсете запишется вася в RDB$PROCEDURE_SOURCE? Правильно, в
WIN1251. А должен быть в юникоде. И если теперь подключиться в cp1251,
то получишь ошибку транслитерации.

--
Дмитрий Еманов

Проблема кодировок в post-commit svn

2007-11-26T09:19:00.000+02:00

Возникла в нашей команде задача оповещения о чужих коммитах. Для командного общения активно используем гугловскую группу, поэтому идущий в поставке svn механизм рассылки пост-коммитов подходил на 100%.

Но сходу механизм не заработал - письма, при запуске скрипта самим svn не приходили, а при отладочных запусках из консоли - приходили, но со слетевшей, в utf, кодировкой(svnlook выдавал русские комvентарии в консоль юникодом).

Вторая проблема решилась небольшим переписыванием скрипта commit-email.pl:
установкой нужной локали
$ENV{'LC_ALL'} = 'russian';
и заданием нужной кодировки в хидерах писем(было UTF-8)
push(@head, "Content-Type: text/plain; charset=koi8-r\n");

Первая - добавил в post-commit скрипт переход в каталог, в котором он сам и расположен

REPOS="$1"
REV="$2"
cd /home/.../hooks/
/home/.../hooks/commit-email.pl "$REPOS" "$REV" "plaincad-dev@googlegroups.com" --diff n >1 2>2

Рестор БД под 2.1 с гранатами для non-ascii пользователей

2007-11-10T20:44:00.000+02:00

Натолкнулся на неприятную особенность - из-за некорретной работы с unicode версий ФБ менее 2.1, при ресторе БД, в которой даны какие-то права пользователям, имя которого содержит, к примеру, русские символы, рестор останавливается:

gbak: restoring privilege for user ДЕНИС
gbak: ERROR:arithmetic exception, numeric overflow, or string truncation
gbak: ERROR: Cannot transliterate character between character sets
gbak: ERROR: At trigger 'RDB$TRIGGER_9'
gbak:Exiting before completion due to errors

Ситуация конечно редкая, для заведения таких прав до версии 2.1 нужна недюжинная фантазия.

Если такой грант давать в 2.1 - то все работает штатно.

Неоднозначность в запросах с сортировкой и distinct

2007-09-29T09:23:00.000+03:00

Такой вот запрос, в FB2 отрабатывает, но данные возвращает в случайном порядке.

select distinct(t.f1) from table1 t order by t.id

Как подсказал Дима Кузьменко:

сначала идет distinct, потом order.
то есть. набор выливается в sort, удаляются повторы.
Затем набор сортируется по атрибуту order.
как оно этот атрибут возьмет - зависит от того, как на диске
или в индексе легло.
план в 2.0 - PLAN SORT (SORT ((table1 NATURAL)))

А вот Oracle(как выяснилось и PostgreSQL) с такими запросами посылает(после чего и поднялся вопрос).
http://ora-01791.ora-code.com/
ORA-01791: not a SELECTed expression
Cause:
There is an incorrect ORDER BY item. The query is a SELECT DISTINCT query with an ORDER BY clause. In this context, all ORDER BY items must be constants, SELECT list expressions, or expressions whose operands are constants or SELECT list expressions.
Action:
Remove the inappropriate ORDER BY item from the SELECT list and retry the statement.

Для экспериментов:

CREATE TABLE TABLE1 (
ID INTEGER NOT NULL,
F1 VARCHAR(10)
);

INSERT INTO TABLE1 (ID, F1) VALUES (1, 'q');
INSERT INTO TABLE1 (ID, F1) VALUES (2, 'w');
INSERT INTO TABLE1 (ID, F1) VALUES (3, 'e');
INSERT INTO TABLE1 (ID, F1) VALUES (4, 'r');
INSERT INTO TABLE1 (ID, F1) VALUES (5, 't');
INSERT INTO TABLE1 (ID, F1) VALUES (6, 'q');
INSERT INTO TABLE1 (ID, F1) VALUES (7, 'w');
COMMIT WORK;

Блокировка файла базы при XNET подключении с использованием событий

2007-09-29T08:59:00.000+03:00

>> 2) Сервер после отключения ничего не держит.
> Неправдачка ваша.
> При XNET подключении с использованием событий именно держит.

События - ключевой момент. Там поток их доставки ждёт 5 сек
до полного отруба.

--
Хорсун Влад

Хитрый способ починки БД с помощью nbackup

2007-09-09T10:31:00.000+03:00

>04.09.2007 12:17:06 INFO: Analyzing database low-level structures...
> 04.09.2007 12:17:06 INFO: Process database file #1 of 1 files.
> 04.09.2007 12:20:01 INFO: Actual PageCount: 238816 found in database
> 04.09.2007 12:20:01 ERROR: Found 6168 undefined pages.
>
> Насколько это страшно ?

VK>> Если это ОДС 11.1 и все 6168 undefined pages в конце БД, то это
VK>> совершенно не страшно.
VK>> Сделай бекап 0-го уровня nbackup'ом, пофикси его им же для
VK>> превращения в БД, и сравни с р-ром оригинала. Потом прогони
VK>> FirstAID на полученной копии
>
> Влад, а можешь пару слов про низкий уровень процесса?
> Nbackup их восстановит правильно или отбросит?

FB 2.1, работая с родным форматом ОДС 11.1, по-умолчанию расширяет файл БД
относительно большими кусками, а не по-странично как раньше. Соответственно в
конце файла, как правило, есть страницы, которые никогда не были использованы.
В PIP есть отметка о том, сколько страниц было реально использовано. nbackup
читает эти отметки и не включает в бекап эти страницы.

--
Хорсун Влад

Различия в работе с savepoint в Firebird и Interbase

2007-09-09T10:26:00.000+03:00

Kovalenko Dmitry wrote:
>
> Родился вопрос. А в стандарте SQL (99) вроде как прописано понятие
> точек сохранения (SAVEPOINT).

Так точно.

> А прописано ли в нем что делать с точкой B в таком случае?
>
> 1. savepoint A;
> 2. savepoint B;
> 3. savepoint A;
> 4. в этой точке у нас savepoint B (по-стандарту) существует или нет?

Стандарт лишь говорит, что должен удалиться старый сейвпойнт А и
создаться новый с тем же именем.

> в IB savepoint "B" будет изничтожен

Судя по всему, IB неявно выполняет RELEASE SAVEPOINT A (который по
стандарту уничтожает все сейвпойнты от А до настоящего времени), в то
время как FB выполняет наше расширение: RELEASE SAVEPOINT A ONLY,
которое удаляет только данный сейвпойнт. Отсюда и разница.

Я считаю наше поведение правильным.

--
Дмитрий Еманов

Мега связка Perl+Oracle

2007-09-02T18:31:00.000+03:00

DBD-Oracle-1.19\README.win32.txt
1)...
8) Enough Downloading and installing go have a coffee.

А перед этим мы скачали все что только можно от МС(Microsoft Visual Studio 2005,Windows SDK, Microsoft .Net framework 1.1) - опенсорс, мля.

PS не нужно воспринимать сей пост серьезно
PSS хотя...

Странности перла

2007-07-16T18:23:00.000+03:00

Что вы подумаете должен вернуть ниже приведенный код?

bbb?
неа
b0b

Спасибо другу-перловику - он удержал мой мозг на месте:

There is a single iterator for each hash, shared by all each(), keys(), and values() function calls in the program; it can be reset by reading all the elements from the hash, or by evaluating keys HASH or values HASH

Интересно, чего стоит этот пустой keys(%$f___ed_hash);


my $f___ed_hash = {
  1=>'a',
  2=>'b',
  3=>'c'
};

sub eb___ya_sub {
  keys(%$f___ed_hash);
  while (my ($n,$w)=each(%$f___ed_hash)){
    if($n==2) {
      return $w;
    }  
  }
}

print &eb___ya_sub;
print &eb___ya_sub;
print &eb___ya_sub;

Долговременная очередь в таблице Oracle

2007-06-26T16:16:00.000+03:00

Возникла задача организации долговременной очереди, используемой несколькими параллельными конкурирующими обработчиками, которые, в общем случае, могут находиться на разных машинах.
Доп требование к очереди - ее архивное хранение и ограничение по используемой СУБД - Oracle.

Путей решения виделось несколько:
1. Использование готового решения от Оракл - AQ
2. Создание сервера приложений - эдакого контроллера очереди, посредством которого доступ к данным будет сериализован
3. Использование механизма конкурентного доступа и блокировок самой СУБД.

По ряду обстоятельств(технические сложности работы а AQ и полнейшее с ним незнакомство, трудоемкость создания доп слоя...) был выбран третий путь(учитывая FB-шное прошлое он показался более близким, чтоль:)

Суть метода в том, что обработчик помечает пакет записей заблокированными на обработку - в это время никто не должен иметь к ним доступа, а после обработки блокировка снимается и сообщения помечается обработанным.

В FB такое можно сделать посредством подобной селективной процедуры, привычно ставя блокировку холостым апдейтом.


CREATE PROCEDURE QUERY_SEL(row_count integer) RETURNS (ID_row INTEGER)
AS
begin
  for select first(:row_count) sq.id_row,
      from query sq
      where sq.id_send_state=1
      into :id_row  do
  begin
    update sgt_query sq set sq.id_mess_state=2 
    where sq.id_row=:id_row;
    suspend;
    when any do
    begin
      row_count = row_count +1;
    end
   end
end

Оракл оказался богаче - недокументированный for update skip locked; подходил идеально(похоже это и есть механизм реализации AQ), но слушая Кайта с негодованием отметаем подобный "ugly hack" и пытаемся сделать это вручную, посредством pipeline функции.

Столкнувшись с невозможностью запуска апдейтов внутри селекта, познакомился с автономными транзакциями.
Выделив апдейт(блокировку) в отдельную процедуру задача в общих чертах решилась.


create or replace procedure sgt_queue_lock(
   row_count in integer default 10,
  locker_id_ in integer ) 
as
  lockedCount integer := 0;
  ERROR_LOCK EXCEPTION;
  PRAGMA EXCEPTION_INIT(ERROR_LOCK, -54);
  PRAGMA AUTONOMOUS_TRANSACTION;
begin
  -- receive all unlocked and unsended messages and lock them 
  -- from competitive lockers
  for r1 in (select id_mess from SGT_QUEUE t where t.ID_mess_STATE=1 
             for update nowait) 
  loop
    begin
      -- long time lock for processing time
      update SGT_QUEUE t set t.ID_mess_STATE=2,t.LOCKER_ID=locker_id_ 
        where t.ID_mess=r1.id_mess;
      lockedCount := lockedCount+1;

      if(row_count=lockedCount) then
        exit;
      end if;  

      -- if row is locked - skip it 
      exception when  error_lock then
        null;
    end;
  end loop;
  commit;
end sgt_queue_lock;

Конечно оборачивание всего в функцию необязательно, но чем меньше вариантов использования для прикладников - тем лучше, не так ли?


create or replace function queue_get
(row_count integer, locker_id integer) 
return queue_table_type PIPELINED
as
  suspendedCount integer := 0;
  out_rec queue_type := queue_type(null,null,null,null);
begin
  -- долговременно и монопольно блокируем пакет записей для 
  -- обработки определенным процессом
  BEGIN
    -- проверяем, есть ли еще необработанные/не отосланные сообщения в очереди
    -- если есть - то новых блокировать не будем
    -- из-за отсутсвия exists проверям наличие записей очень извратно
    select 0 into suspendedCount from SGT_QUEUE t 
        where t.LOCKER_ID=locker_id and 
              t.ID_MESS_STATE=2 and rownum=1;
    EXCEPTION  WHEN NO_DATA_FOUND THEN
    begin
      SGT_QUEUE_LOCK(row_count,locker_id);
    end;  
  END;  
  
  -- выше использовали как временную заглушку
  suspendedCount := 0;
  -- выбираем записи помеченные на обработку для этого процесса
  -- (не провайдера, а именно процесса)
  for r1 in (select id_MESS, MESS_DATA from SGT_QUEUE t 
             where t.LOCKER_ID=locker_id  and t.ID_MESS_STATE=2 
             order by t.MESS_PRIORITY DESC,t.RECEIVE_TIME ASC) 
  loop
    out_rec.id_mess          := r1.id_mess; 
    out_rec.mess_data        := r1.mess_data; 
    
    PIPE ROW(out_rec);
    
    suspendedCount := suspendedCount+1;
    if(row_count=suspendedCount) then
      exit;
    end if;  
    
  end loop;
  return;
end queue_get;

Из недостатков видится не максимальная скорость работы, но учитывая то, что записи на обработку будут забираться пакетно - особой проблемы это не составит.
Может кто еще какие сложности/ошбики видит?

Да, как оказалось, подобные вопросы встречаются регулярно :)

Выбрать первую незаблокированную запись из таблицы, как?
http://www.sql.ru/forum/actualthread.aspx?tid=389300&hl=aq

Таблица oracle как очередь
http://www.sql.ru/forum/actualthread.aspx?tid=309047&hl=aq

Параллельная работа с записями.
http://www.sql.ru/forum/actualthread.aspx?tid=307911&pg=-1&hl=aq

Select for update - как получить незаблокированные данные
http://www.sql.ru/forum/actualthread.aspx?tid=264566&pg=-1&hl=aq

Таблица-буфер. Уникальная выборка строк для каждого процесса.
http://www.sql.ru/forum/actualthread.aspx?tid=239337&hl=aq

Нет в Oracle exists

2007-06-14T20:13:00.000+03:00

Нет в оракле конструкции exists в pl/sql, подобной той, что есть в Firebird/Interbase

if exists(select..) then

приходится извращаться через:

select count(1) into from table where rownum=1
EXCEPTION WHEN NO_DATA_FOUND THEN
code;

Надеюсь rownum=1 дает хоть какой-то выигрыш в скорости(exists достаточно быстрая операция, в отличии от count).

PS
Прикольно - казалось бы логичное ограничение в rownum=1, может сработать не всегда - когда таблица партиционирована, используется каунт и включен параллелизм - может идти фуллскан по всей таблице. Горе от ума, что говорится.
Правда до версии 10g r1 (Relevant for Oracle until 10g r1)
"Selecting ROWNUM = 1 with 100.000 PIO"
http://www.db-nemec.com/Selecting_ROWNUM_1.html

Очень кратко и по русски, что нового в Firebird 2.1

2007-03-29T05:36:00.000+03:00

триггеры на сист операции - коммит/роллбек, коннект/дисконнект
глобальные временные таблицы
рекурсивыне запросы и соответственно common table expressions("общие табличные выражения" из SQL-99) http://en.wikipedia.org/wiki/Common_table_expressions
давно ожидаемый мною агрегат для строк, который черти-когда сделал OlegLOA - LIST
update or insert и merge(более навороченный u or i ) - http://en.wikipedia.org/wiki/Merge_%28SQL%29
домены в пскл, для чего добавлен признак валидности процедур и триггеров
таблицы мониторинга - активные запросы, пользователи и т.п. соответственно отмена(прибитие) долгоиграющих запросов(из другого соединения)
оптимизация сетевого трафика
номер строки и позиция в стеке ошибки пскл

и не мало чего еще

Как считается кол-во контекстов

2006-10-26T06:46:00.000+03:00

> Контексты точно есть, юнионов вроде 1-2 и всё,
> а что под агрегатами подразумевается ?

MAX, SUM etc

SELECT COUNT(*), MAX() FROM TABLE

потребляет 2 контекста - для таблицы и для 1-го уровня
аггрегирования

Update, кстати, потребляет 2 контекста

Оптимизация IBX для медленных линий

2006-08-21T15:39:00.000+03:00

> Ты вроде как в свое время на медленных линиях собаку съел... :) Может
> вспомишь чего...

Я не кореец, аднака, собак не ем :)

Terminal Server попроще будет, потому его и посоветовал сходу :)
Ну, раз не хочешь попроще - лови посложнее :)

Самое простое, что можно сделать с IBX, по-памяти

а) убрать никому не нужный isc_dsql_set_cursor_name

б) сделать хендлы запросов повторно используемыми, т.е.
не вызывать isc_dsql_free_statement(..., DSQL_drop), а засовывать хендл
за щёку. Вынимать из-за щеки когда оно зовёт isc_dsql_allocate_statement.

в) в TIBSQL.GetRowsAffected сделать буфер правильного р-ра (32 байта),
а не 1048 (откуда он взял это число ???). Или ваще похерить этот
вызов, если конечно можешь без него обойтись.

г) в TIBSQL.Prepare заменить

if FSQLType in [SQLSelect, SQLSelectForUpdate,
SQLExecProcedure] then
begin
{ Allocate an initial output descriptor (with one column) }
- FSQLRecord.Count := 1;
+ if FSQLRecord.FSize = 0
+ then FSQLRecord.Count := 1; // тут можно любое число > 0
{ Using isc_dsql_describe, get the right size for the columns... }
Call(FGDSLibrary.isc_dsql_describe(StatusVector, @FHandle,
Database.SQLDialect, FSQLRecord.FXSQLDA), True);
if FSQLRecord.FXSQLDA^.sqld > FSQLRecord.FXSQLDA^.sqln then
begin
- FSQLRecord.Count := FSQLRecord.FXSQLDA^.sqld;
Call(FGDSLibrary.isc_dsql_describe(StatusVector, @FHandle,
Database.SQLDialect, FSQLRecord.FXSQLDA), True);
end
- else
- if FSQLRecord.FXSQLDA^.sqld = 0 then
- FSQLRecord.Count := 0;
+ FSQLRecord.Count := FSQLRecord.FXSQLDA^.sqld;

Это я сам не пробовал, но должно работать.
Суть - не вызывать isc_dsql_describe второй раз, если у нас
и так хватает дескрипторов (XSQLDA) для резалтсета

д) Выключить trace флаги у TIBDatabase и\или выключить запрос плана в
TIBSQLMonitorHook.SQLPrepare

--
Хорсун Влад

PS Можно так же пользовать FB 2.1 в котором часть вышенаписанного уже есть
плюс кое-что ещё :)

Как оказалось при подготовке(prepare) запроса в IB/FB...

2006-07-25T15:59:00.000+03:00

> Вот это для меня новость - т.е. при каждой препарации запроса
> пересчитывается кол-во страниц!?

Для каждой участвующей таблицы сканируются ее pointer pages. По числу
занятых слотов на них определяется кол-во страниц данных. По этой цифре
оценивается число записей.

Модификация метаданных "по живому"

2006-07-22T19:33:00.000+03:00

> Я отвечал по факту, а не по намерению. Т.е. если альтеруемый объект не
> заюзан на момент альтера, то это безопасно.

Создание и удаление таблиц во время интенсивных вставок в другие таблицы
часто приводит к повреждениям - в основном конфликтам между системными
страницами и страницами данных. Конечно, в основном на классике, но и на
супере тоже наблюдал не раз.

С уважением,
Алексей Ковязин

Из вопросов теста: "точность типа double precision"

2006-07-22T19:31:00.001+03:00

> укажите точность типа double precision (максимальное число знаков)
> ответил 17, а в качестве правильного ответа указано 15
> зашел в IBE, проверил:
> select cast(CAST(1123 as DOUBLE PRECISION)/1233451 as varchar(100)) from
RDB$DATABASE
> 0.0009104536783382559
> 16 знаков-то, как ни крути :)

16-ый знак не гарантируется.
Т.е. он может быть показан не для всех чисел

--
Хорсун Влад

FB2 больше не допускает альтер/дроп процедур "in use"

2006-07-22T19:28:00.001+03:00

> (Для FB1 все работает как часы.)

FB2 больше не допускает альтер/дроп процедур "in use". Но счетчик
использования держит каждый препарированный запрос, в котором используется
процедура, плюс каждая аналогичная транзакция.

--
Дмитрий Еманов

Кажется из epi

2006-07-22T19:09:00.001+03:00

- двойная бухгалтерская запись - это замечательная (!) бухгалтерская
выдумкка такой регистрации (как камера Вильсона) событий и фактов,
которая, в частности, позволяет (постоянно) убеждаться в
справедливости обобщенного закона Ломоносова-Лавуазье:
"Сумма везде всего всегда равняется всему"*
___
*Просьба не путать с основным законом социализьма:
"Всего на всех не хватит, патамучта всех много, а всего мало."