воскресенье, 2 сентября 2007 г.

Мега связка Perl+Oracle

DBD-Oracle-1.19\README.win32.txt
1)...
8) Enough Downloading and installing go have a coffee.

А перед этим мы скачали все что только можно от МС(Microsoft Visual Studio 2005,Windows SDK, Microsoft .Net framework 1.1) - опенсорс, мля.

PS не нужно воспринимать сей пост серьезно
PSS хотя...

понедельник, 16 июля 2007 г.

Странности перла

Что вы подумаете должен вернуть ниже приведенный код?

bbb?
неа
b0b

Спасибо другу-перловику - он удержал мой мозг на месте:
There is a single iterator for each hash, shared by all each(), keys(), and values() function calls in the program; it can be reset by reading all the elements from the hash, or by evaluating keys HASH or values HASH


Интересно, чего стоит этот пустой keys(%$f___ed_hash);

my $f___ed_hash = {
1=>'a',
2=>'b',
3=>'c'
};

sub eb___ya_sub {
keys(%$f___ed_hash);
while (my ($n,$w)=each(%$f___ed_hash)){
if($n==2) {
return $w;
}
}
}

print &eb___ya_sub;
print &eb___ya_sub;
print &eb___ya_sub;

вторник, 26 июня 2007 г.

Долговременная очередь в таблице Oracle

Возникла задача организации долговременной очереди, используемой несколькими параллельными конкурирующими обработчиками, которые, в общем случае, могут находиться на разных машинах.
Доп требование к очереди - ее архивное хранение и ограничение по используемой СУБД - Oracle.

Путей решения виделось несколько:
1. Использование готового решения от Оракл - AQ
2. Создание сервера приложений - эдакого контроллера очереди, посредством которого доступ к данным будет сериализован
3. Использование механизма конкурентного доступа и блокировок самой СУБД.

По ряду обстоятельств(технические сложности работы а AQ и полнейшее с ним незнакомство, трудоемкость создания доп слоя...) был выбран третий путь(учитывая FB-шное прошлое он показался более близким, чтоль:)

Суть метода в том, что обработчик помечает пакет записей заблокированными на обработку - в это время никто не должен иметь к ним доступа, а после обработки блокировка снимается и сообщения помечается обработанным.

В FB такое можно сделать посредством подобной селективной процедуры, привычно ставя блокировку холостым апдейтом.

CREATE PROCEDURE QUERY_SEL(row_count integer) RETURNS (ID_row INTEGER)
AS
begin
for select first(:row_count) sq.id_row,
from query sq
where sq.id_send_state=1
into :id_row do
begin
update sgt_query sq set sq.id_mess_state=2
where sq.id_row=:id_row;
suspend;
when any do
begin
row_count = row_count +1;
end
end
end

Оракл оказался богаче - недокументированный for update skip locked; подходил идеально(похоже это и есть механизм реализации AQ), но слушая Кайта с негодованием отметаем подобный "ugly hack" и пытаемся сделать это вручную, посредством pipeline функции.

Столкнувшись с невозможностью запуска апдейтов внутри селекта, познакомился с автономными транзакциями.
Выделив апдейт(блокировку) в отдельную процедуру задача в общих чертах решилась.

create or replace procedure sgt_queue_lock(
row_count in integer default 10,
locker_id_ in integer )
as
lockedCount integer := 0;
ERROR_LOCK EXCEPTION;
PRAGMA EXCEPTION_INIT(ERROR_LOCK, -54);
PRAGMA AUTONOMOUS_TRANSACTION;
begin
-- receive all unlocked and unsended messages and lock them
-- from competitive lockers
for r1 in (select id_mess from SGT_QUEUE t where t.ID_mess_STATE=1
for update nowait)
loop
begin
-- long time lock for processing time
update SGT_QUEUE t set t.ID_mess_STATE=2,t.LOCKER_ID=locker_id_
where t.ID_mess=r1.id_mess;
lockedCount := lockedCount+1;

if(row_count=lockedCount) then
exit;
end if;

-- if row is locked - skip it
exception when error_lock then
null;
end;
end loop;
commit;
end sgt_queue_lock;

Конечно оборачивание всего в функцию необязательно, но чем меньше вариантов использования для прикладников - тем лучше, не так ли?


create or replace function queue_get
(row_count integer, locker_id integer)
return queue_table_type PIPELINED
as
suspendedCount integer := 0;
out_rec queue_type := queue_type(null,null,null,null);
begin
-- долговременно и монопольно блокируем пакет записей для
-- обработки определенным процессом
BEGIN
-- проверяем, есть ли еще необработанные/не отосланные сообщения в очереди
-- если есть - то новых блокировать не будем
-- из-за отсутсвия exists проверям наличие записей очень извратно
select 0 into suspendedCount from SGT_QUEUE t
where t.LOCKER_ID=locker_id and
t.ID_MESS_STATE=2 and rownum=1;
EXCEPTION WHEN NO_DATA_FOUND THEN
begin
SGT_QUEUE_LOCK(row_count,locker_id);
end;
END;

-- выше использовали как временную заглушку
suspendedCount := 0;
-- выбираем записи помеченные на обработку для этого процесса
-- (не провайдера, а именно процесса)
for r1 in (select id_MESS, MESS_DATA from SGT_QUEUE t
where t.LOCKER_ID=locker_id and t.ID_MESS_STATE=2
order by t.MESS_PRIORITY DESC,t.RECEIVE_TIME ASC)
loop
out_rec.id_mess := r1.id_mess;
out_rec.mess_data := r1.mess_data;

PIPE ROW(out_rec);

suspendedCount := suspendedCount+1;
if(row_count=suspendedCount) then
exit;
end if;

end loop;
return;
end queue_get;

Из недостатков видится не максимальная скорость работы, но учитывая то, что записи на обработку будут забираться пакетно - особой проблемы это не составит.
Может кто еще какие сложности/ошбики видит?

Да, как оказалось, подобные вопросы встречаются регулярно :)

Выбрать первую незаблокированную запись из таблицы, как?
http://www.sql.ru/forum/actualthread.aspx?tid=389300&hl=aq

Таблица oracle как очередь
http://www.sql.ru/forum/actualthread.aspx?tid=309047&hl=aq

Параллельная работа с записями.
http://www.sql.ru/forum/actualthread.aspx?tid=307911&pg=-1&hl=aq

Select for update - как получить незаблокированные данные
http://www.sql.ru/forum/actualthread.aspx?tid=264566&pg=-1&hl=aq

Таблица-буфер. Уникальная выборка строк для каждого процесса.
http://www.sql.ru/forum/actualthread.aspx?tid=239337&hl=aq

четверг, 14 июня 2007 г.

Нет в Oracle exists

Нет в оракле конструкции exists в pl/sql, подобной той, что есть в Firebird/Interbase
if exists(select..) then
приходится извращаться через:
select count(1) into from table where rownum=1
EXCEPTION WHEN NO_DATA_FOUND THEN
code;

Надеюсь rownum=1 дает хоть какой-то выигрыш в скорости(exists достаточно быстрая операция, в отличии от count).

PS
Прикольно - казалось бы логичное ограничение в rownum=1, может сработать не всегда - когда таблица партиционирована, используется каунт и включен параллелизм - может идти фуллскан по всей таблице. Горе от ума, что говорится.
Правда до версии 10g r1 (Relevant for Oracle until 10g r1)
"Selecting ROWNUM = 1 with 100.000 PIO"
http://www.db-nemec.com/Selecting_ROWNUM_1.html

четверг, 29 марта 2007 г.

Очень кратко и по русски, что нового в Firebird 2.1

  • триггеры на сист операции - коммит/роллбек, коннект/дисконнект
  • глобальные временные таблицы
  • рекурсивыне запросы и соответственно common table expressions("общие табличные выражения" из SQL-99) http://en.wikipedia.org/wiki/Common_table_expressions
  • давно ожидаемый мною агрегат для строк, который черти-когда сделал OlegLOA - LIST
  • update or insert и merge(более навороченный u or i ) - http://en.wikipedia.org/wiki/Merge_%28SQL%29
  • домены в пскл, для чего добавлен признак валидности процедур и триггеров
  • таблицы мониторинга - активные запросы, пользователи и т.п. соответственно отмена(прибитие) долгоиграющих запросов(из другого соединения)
  • оптимизация сетевого трафика
  • номер строки и позиция в стеке ошибки пскл

и не мало чего еще

четверг, 26 октября 2006 г.

Как считается кол-во контекстов

> Контексты точно есть, юнионов вроде 1-2 и всё,
> а что под агрегатами подразумевается ?

MAX, SUM etc

SELECT COUNT(*), MAX() FROM TABLE

потребляет 2 контекста - для таблицы и для 1-го уровня
аггрегирования

Update, кстати, потребляет 2 контекста

понедельник, 21 августа 2006 г.

Оптимизация IBX для медленных линий

> Ты вроде как в свое время на медленных линиях собаку съел... :) Может
> вспомишь чего...

Я не кореец, аднака, собак не ем :)

Terminal Server попроще будет, потому его и посоветовал сходу :)
Ну, раз не хочешь попроще - лови посложнее :)

Самое простое, что можно сделать с IBX, по-памяти

а) убрать никому не нужный isc_dsql_set_cursor_name

б) сделать хендлы запросов повторно используемыми, т.е.
не вызывать isc_dsql_free_statement(..., DSQL_drop), а засовывать хендл
за щёку. Вынимать из-за щеки когда оно зовёт isc_dsql_allocate_statement.

в) в TIBSQL.GetRowsAffected сделать буфер правильного р-ра (32 байта),
а не 1048 (откуда он взял это число ???). Или ваще похерить этот
вызов, если конечно можешь без него обойтись.

г) в TIBSQL.Prepare заменить

if FSQLType in [SQLSelect, SQLSelectForUpdate,
SQLExecProcedure] then
begin
{ Allocate an initial output descriptor (with one column) }
- FSQLRecord.Count := 1;
+ if FSQLRecord.FSize = 0
+ then FSQLRecord.Count := 1; // тут можно любое число > 0
{ Using isc_dsql_describe, get the right size for the columns... }
Call(FGDSLibrary.isc_dsql_describe(StatusVector, @FHandle,
Database.SQLDialect, FSQLRecord.FXSQLDA), True);
if FSQLRecord.FXSQLDA^.sqld > FSQLRecord.FXSQLDA^.sqln then
begin
- FSQLRecord.Count := FSQLRecord.FXSQLDA^.sqld;
Call(FGDSLibrary.isc_dsql_describe(StatusVector, @FHandle,
Database.SQLDialect, FSQLRecord.FXSQLDA), True);
end
- else
- if FSQLRecord.FXSQLDA^.sqld = 0 then
- FSQLRecord.Count := 0;
+ FSQLRecord.Count := FSQLRecord.FXSQLDA^.sqld;

Это я сам не пробовал, но должно работать.
Суть - не вызывать isc_dsql_describe второй раз, если у нас
и так хватает дескрипторов (XSQLDA) для резалтсета

д) Выключить trace флаги у TIBDatabase и\или выключить запрос плана в
TIBSQLMonitorHook.SQLPrepare

--
Хорсун Влад

PS Можно так же пользовать FB 2.1 в котором часть вышенаписанного уже есть
плюс кое-что ещё :)