Показаны сообщения с ярлыком firebird. Показать все сообщения
Показаны сообщения с ярлыком firebird. Показать все сообщения

четверг, 2 февраля 2012 г.

Переполнение счетчика транзакций Firebird

Недавно обсуждался в devel эта проблема, когда количество совершенных транзакций в базе превышается 32 разрядное целое. Как оказалось и "большие" братья подвержены похожей проблеме. Там правда 48 бит, но горячий бекап увеличивает это значение с очень большим шагом
http://www.infoworld.com/d/security/fundamental-oracle-flaw-revealed-184163-0

пятница, 20 мая 2011 г.

Список ключевых слов Firebird 2.5

Понадобился на днях, найти готового не смог. Вытащил из исходников - keywords.cpp

UPD:
Оно же, только официально - http://www.firebirdsql.org/refdocs/langrefupd25-reskeywords-full.html

среда, 16 марта 2011 г.

Предварительные данные по Firebird 3

Основные цели
- честная поддержка многопоточной мультипроцессорности с разделяемым кешем
- рефакторинг архитектуры для последующих версий

Гарантированно будет масштабируемый кеш страниц с межпоточными и межпроцессными блокировками

Поддержка разных версий ODS - в плагинах. А процесс лиснера уже будет подгружать нужную для базы реализацию движка.

Изменения в одс - флаг наличия мусора на странице, что ускорит его сборку.

Более подробный формат вывода плана выполнения запроса.
Стоимостной оптимизатор - гистограмма распределения данных, возможность автоматического сбора статистики, подробная информация по таблицам и индексам (кол-во записей страниц и т.п.)

SQL
  • Внешние процедуры функции и триггеры
  • PSQL функции
  • Пакеты аля Оракл
  • DDL триггеры
  • Оконные(аналитические) функции
  • Двунаправленные курсоры в PSQL
  • Парметризированные исключения
Безопасность
  • Аутентификация во внешних плагинах
  • Шифрование траффика
  • Юзеры в базе
  • Шифрование на уровне страниц
  • Группы пользователей
  • Права на DDL
Публичная альфа FB3 - в третьем квартале 2011 года

четверг, 24 февраля 2011 г.

Ограничение на количество генераторов в Firebird

24.02.2011 12:30, Vadim Mescheryakov пишет:
>
> Все работает норм. Конечно новые генераторы не создаются с той же частотой
> что и документы вводятся,
> Но по каждому виду дока, по каждому субъекту хозяйствования, раз в месяц
> создаются (нумерация в пределах месяца).
> Работает.
 
После создания 32К генераторов система может встать, там внутренний ID -
SMALLINT. И бекап-рестор не поможет, IIRC.
 
--
Дмитрий Еманов

пятница, 18 февраля 2011 г.

Файловый кеш Win64 и Firebird

На одном из наших серверов, после перехода на Win 2008 R2 64, стала забиваться память, на 100%, файловым кешем. Молча и стремительно. Топик обсуждения нашей ситуации.

Решилась проблема  помещением в автозапуск арийской утилитки
http://www.uwe-sieber.de/ntcacheset_e.html, которая просто дергает системную фукнцию, которая задает граничный размер кеша.

Но проблема это была не только наша, проскочило вот вчера в новостях (Firebird slow? Well, maybe it is Windows fault.) решение от самой MS http://support.microsoft.com/kb/976618/en-us

Понять логику того, почему это ограничение не устанавливается самой OS, пока не получилось.

среда, 19 января 2011 г.

Шифрация базы в Firebird и конкурентах

Вопросы о возможности каким-то образом защитить базу, когда ценность представляют данные в ней, звучат в конференциях Firebird достаточно часто.

И обычно ответы сделаны как под копирку - что мол 100%, надежного способа это обеспечить, если база доступна физически нет. Но вот что встретилось в firebird-architect:

Alex Peshkoff, Nov 10, 2010:
I've already mentioned - we have plans to implement line encryption in FB3.0 and may be page level encryption too. We have already decided that we provide interface for users' plugins to perform actual crypt operations.

Как я упоминал ранее в планах есть реализация линейного(?) шифрования в 3.0. Вероятно также шифрование на уровне страниц. Было решено, что реализовано это будет посредством плагинов с возможностью их самостоятельной реализации.


И краткий обзор, что есть у конкурентов:


MySQL
  • нет шифрования файла
  • есть защищенное соединение
http://dev.mysql.com/doc/refman/5.0/en/secure-connections.html

PostgreSQL
  • нет шифрования файла 
  • есть защищенное соединение

http://www.postgresql.org/docs/8.1/static/ssl-tcp.html
http://www.postgresql.org/docs/9.0/static/pgcrypto.html

MSSQL
  • есть шифрование файла
  • есть защищенное соединение
http://msdn.microsoft.com/en-us/library/bb934049%28v=SQL.100%29.aspx
http://msdn.microsoft.com/en-us/library/ms189067%28v=SQL.90%29.aspx

DB2
  • есть шифрование файла
  • есть защищенное соединение

http://publib.boulder.ibm.com/infocenter/db2luw/v9r7/index.jsp?topic=/com.ibm.db2.luw.admin.sec.doc/doc/c0005815.html

Oracle
  • есть шифрование файла 
  • есть шифрование полей
  • есть защищенное соединение
http://www.oracle.com/technetwork/database/options/advanced-security/index.html

вторник, 4 января 2011 г.

DDL триггеры будут в FB3

По сути теперь можно вешать события и всяческие проверки(в том числе и стиля!) на изменение метаданных.

create trigger trig_ddl_sp before create procedure
as
begin
    if (rdb$get_context('DDL_TRIGGER', 'OBJECT_NAME') not starting 'SP_') then
        exception e_invalid_sp_name;
end

Подробнее:
http://firebird.svn.sourceforge.net/viewvc/firebird/firebird/trunk/doc/sql.extensions/README.ddl_triggers.txt?revision=51203

понедельник, 1 марта 2010 г.

MindTheBird! - УпомяниПроПтица!

Как многие помнят, я, в силу исторических причин, большой любитель, и более того фанат, такого замечательного продукта, как СУБД Firebird.

В скором времени, выходит его новая версия 2.5, в которой разработчики в очередной раз радуют нас множеством вкусностей:
  • новая промежуточная архитектура SuperClassic
  • управление пользователями из SQL
  • долгожданный многими ALTER VIEW
  • автономные транзакции
  • гетерогенные запросы к внешним базам FB через EXECUTE STATEMENT
  • роль RDB$ADMIN
  • трассировка работы

    В поддержку сего события, запущен проект MindTheBird! - нацеленный на как можно более широкое освещение релиза и всего проекта в целом. Соответственно пассивным вкладом нас, разработчиков использующих эту СУБД может (а лучше должно быть) размещение баннера на сайте/блоге.

    А желающие принять более активное участи, могут заработать 500$ за работу с логотипом ФБ, или получить лицензию FastReport за привлечение новых участником.

    пятница, 12 февраля 2010 г.

    Firebird. Как определить что конект через embedded server?

    > Как определить что конект через embedded server?

    Если FB 2.1 и выше:

    SELECT 
      CASE 
        WHEN MON$REMOTE_PROTOCOL IS NULL THEN 1 ELSE 0 
      END
    FROM 
      MON$ATTACHMENTS
    WHERE 
      MON$ATTACHMENT_ID = CURRENT_CONNECTION
    
    --
    Дмитрий Еманов

    понедельник, 5 октября 2009 г.

    Про новую архитектуру Firebird - SuperClassic

    Несколько раз с коллегами начинали разговоры о ней, и каждый раз удивлялись зачем она нужна. В качестве памятки кусочек обсуждения в fb-devel:

    SuperServer:
    • один процесс ОС на все соединения/базы
    • общий кеш страниц для всех баз
    • централизованный(central) менеджер блокировок
    • блокировки работают на базы, а не соединения - т.е. все операции с базой выстраиваются в одну очередь.
    • для версии <>
    • не поддерживает многопроцессорность, т.к. ОС не может распаралелить один процесс по нескольким процессорам
    Classic:
    • отдельный процесс на каждое соединение с БД
    • отдельный кеш страниц на каждое соединение
    • внешний менеджер блокировок(в 2.5. он уже внутренний)
    • хорошая поддержка многопроцессорности
    • накладывает некоторые ограничения в следствие ресурсоемкости процессов, в сравнении с потоками
    SuperClassic:
    • один процесс на все соединения (в перспективе - отдельный процесс на каждую базу)
    • используется пул потоков ОС для обработки запросов от соединений - т.о. каждое соединение работает в отдельном потоке управляемом ОС, а неактивные соединения не отъедают ресурсы потоков
    • централизованный менеджер блокировок, который может обрабатывать как внутренние, так и внешние обращения(одна и таже база может быть доступна как посредством СУБД из процесса А, так и через FB Embeded из процессов B, C и т.д.)
    • теоретически этот менеджер блокировок позволяет организовывать кластеризацию используя готовые распределенные движки блокировок
    • кеш страниц на соединение
    • хорошая поддержка многпроцессорности, т.к. потоки ОС легко распараллеливаются

    В v3.0 планируются такие доработки:
    • общий кеш страниц на уровне базы
    • кеш подготовленных запросов
    • общий кеш метаданных

    Как итог - SuperClassic это промежуточный шаг(насколько я понял изначально родившийся в RedSoft) к следующей основной архитектуре FB, появившийся в следствии крупного рефакторинга внутренностей движка.

    Пока для пользователей практический выигрыш лишь в экономии на процессах и, как следствие, чуть более быстрой синхронизации. Хотя если верить документации, то совокупный выигрыш - до 15-20% на TPC-С тестах в сравнении с классиком.

    Подробнее можно посмотреть в Firebird 2.5 Release Notes

    UPD: Презентация от Дмитрия Еманова - Firebird 2.5 Architecture

    вторник, 15 сентября 2009 г.

    Все плохое в FB от Windows :)

    Проглядывая презентацию Алексея Пешкова о прошлом, настоящем и будущем безопасности в Firebird наткнулся на интересную информацию:

    Тот громкий "зашитый" пароль politically/correct был введен для коннекта сервером к своей базе паролей, которая в свою очередь была введена для порта сервера на .... Win3.X в 92-93г., у которой в то время не было свой подсистемы пользователей.

    Как любит говорить один мой друг, коммерческий дух win-платформы пересилил здравый смысл :)

    понедельник, 14 сентября 2009 г.

    Firebird и база на SSD диске

    Встретилось в fb-devel интересное сообщение, о переходе на SSD диск. Если кратко - то значительно увеличилась производительность при большой загрузке дисковой подсистемы, когда основное время тратится на позиционирование головок диска при большом потоке конкурентных обращений.

    "Если на обычном 5-то рейде в таких ситуация(более 1000 коннектов) ответ ждали до минуты, то в ssd это время оставалось константным, порядка 4сек."

    Естественно не для всяких систем это будет верно, но все же...


    Hi Pays,

    I can't give you exact figures, but we switched

    from
    HP 585 4 processor AMD Opteron 850/16GB with raid5 HP SCSI Ultra320 15krpm 8
    disk array for the DB

    to
    HP 385 2 x quad core AMD Opteron 2384 and an FusionIO IODrive, an 80GB SSD
    formatted as 40GB so it can continously prepare the remaining 40GB for write
    operations which gives it a performance advantage.

    The performance gain was noticable. We are btw running FB2.1 classic, AMD 2
    x quad core/20GB ram. A "big" query taking around 8 seconds on the SCSI took
    only 4 seconds on the FusionIO. Thus the pure performance gain was just
    around 2 times faster. It was a query primarily putting load on the disks,
    not the CPU, so I guess the new and better server hardware didn't influence
    the result too much.

    But the really interesting part comes under higher load! As there is no
    latency in positioning the heads on a SSD, it really doesn't seem to care
    about number of connections (at least not in our case). So where the SCSI
    raid dramatically dropped performance and went to around one minute for the
    above query during heavy load (>1000 connections), the SSD still answered in
    4 seconds. That makes all the difference to us - and not least our users :)

    I hope you can use the above informations in your research. Only
    disadvantage for the IODrive, at least for now, is that it isn't mounted
    until the server loads the drivers for it. So you can't really boot from it.

    Kind regards

    Poul Dige
    Tabulex

    пятница, 6 февраля 2009 г.

    Создание индексов "на ходу" в Firebird

    >> А вот с индексами как? Как насчет CREATE INDEX "на ходу"? Да еще и на
    >> таблицу, с которой постоянная работа на UPDATE идет?
    >
    > Если 2.0 и старее, то получишь рассинхронизированный с таблицей индекс.
    > Если 2.1 и новее, то все апдейты будут курить, пока индекс не будет создан.

    - DDL тр-ция должна быть wait. Иначе - создание индекса обломится с большой вероятностью.
    - Отпрепарированные запросы не увидят новый индекс. Это и процедур, и триггеров касается.

    > и создание индексов, и ALITER INDEX INACTIVE делал на ходу...
    > и что требуется теперь сделать, что бы за БД не переживать?

    gfix -v -f

    (с) Dmitry Yemanov, Хорсун Влад

    пятница, 12 сентября 2008 г.

    Оптимизатор в Firebird 2.1

    Прошло одно изменение без особого внимания, но оно может очень влиять на производительность при переходе со старых версий. В композитных индексах теперь считается селективность для каждого сегмента отдельно, что по логике правильнее, но в редких случая может менять порядок таблиц в соединении кардинально:

    Selectivity Maintenance per Segment
    D. Yemanov, A. Brinkman
    Index selectivities are now stored on a per-segment basis. This means that, for a compound index on columns
    (A, B, C), three selectivity values will be calculated, reflecting a full index match as well as all partial matches.
    That is to say, the selectivity of the multi-segment index involves those of segment A alone (as it would be if it
    were a single-segment index), segments A and B combined (as it would be if it were a double-segment index)
    and the full three-segment match (A, B, C), i.e., all the ways a compound index can be used.
    This opens more opportunities to the optimizer for clever access path decisions in cases involving partial index
    matches.
    The per-segment selectivity values are stored in the column RDB$STATISTICS of table RDB
    $INDEX_SEGMENTS. The column of the same name in RDB$INDICES is kept for compatibility and still
    represents the total index selectivity, that is used for a full index match.


    и если была таблица documents(...doc_state int, doc_date ... ) c индексом по (doc_state, doc_date), то теперь, при условиях по doc_state, будет браться селективность не всего композита(а она могла из-за даты быть достаточно неплохой), а только поля doc_state.

    четверг, 4 сентября 2008 г.

    Microsoft runtime и Firebird Embeded 2.1.1

    Для возможности x64 билдов разработчики Firebird перешли на vc8, что потянуло за собой, в принципе уже привычную, проблему распространения vc runtime.

    Но учитывая теперешний зоопарк ОС, технологий совместимости 32/64, попыток решения dll хелл, и вообще постижения Дао от МС, деплоймент этого runtime становится очень непростым.

    Он, рантайм 8-ой версии, не идет, пока, в поставки никакх ОС - и Висте его тоже нет(по меньшей мере до SP).

    Первое - для правильной установки, как это рекомендует МС, нужны права Администратора. А для установки на win2k до SP1 - обновление инсталятора МС до 3.1

    Для интеграции этого redist себе в инсталятор - нужно делать msi инсталяторы, создание которых в корректном виде не самое простое занятие, для котрого хороших
    свободных инструментов вроде как и нет, и опять таки необходимы права администратора.

    В принципе на первый вгляд проблем быть не должно - что стоит поставить этот рантайм,
    когда разворачивается сервер СУБД. Но тем, кто пытается распространять shareware системы, особенно с FB embeded, приходится хуже - необходимо тянуть этот рантайм со своим приложением.

    Есть три пути его поставки:
    1. Официальный.
      Устанавливаем инсталятором от MS и все работает. Не подходит, если нет гарантии наличия админских прав у пользователей, наличия Windows Installer 3.0 or later, portable решения.
    2. Экстенсивный.
      Поставляем со своим приложением просто необходимые бинарники рантайма. Так делает, впрочем, большинство софта - стоит только поискать msvcr80.dll по жесткому диску :)). Но, поставлять нужно ТРИ копии рантайма, одну для работы самого fbembed, вторую в каталоге intl для fbintl и третью в для подключаемых функций в каталоге udf.
    3. Хитро-экстенсивный.
      Пользуясь текстовой природой манифестов, в каталогах intl и udf оставить только манифест, с измененными путями к файлам вида:

      <file name="..\msvcr80.dll">
      <file name="..\msvcp80.dll">

      ВАЖНО, в таком случае указать в манифесте своего приложения зависимость от Microsoft.VC80.CRT.

      такой манифест представляет собой текстовый файл <FullAppName>.manifest с содержимым:
      <assembly xmlns="urn:schemas-microsoft-com:asm.v1" manifestVersion="1.0">
      <dependency>
      <dependentAssembly>
      <assemblyIdentity type="win32" name="Microsoft.VC80.CRT" version="8.0.50608.0" processorArchitecture="x86" publicKeyToken="1fc8b3b9a1e18e3b"></assemblyIdentity>
      </dependentAssembly>
      </dependency>
      </assembly>

      Этот манифест можно включить в ресурсы самого приложения, см. например


    Ссылки:

    среда, 19 марта 2008 г.

    Установка activerecord-firebird-adapter через gem

    Так, для общего развития решил поглядеть на RoR. И на первом же повороте споткнулся - упорно не ставился адаптер для Firebird, который в один прекрасный момент был исключен из базовой поставки :-/

    Часто встречающиеся рекомендации установить его успеха не принесли:
    C:\servers\rail\rails_apps\norg>gem install activerecord-firebird-adapter
    ERROR: could not find activerecord-firebird-adapter locally or in a repository

    Заработало только с каким-то хитрым ключом -s, хотя по блогам все хором утверждают что это лишнее:
    C:\servers\rail\rails_apps\norg>gem install activerecord-firebird-adapter -s http://gems.rubyonrails.org

    четверг, 17 января 2008 г.

    Cannot attach to services manager при ресторе через IBExpert

    В то же время как бекап проходит нормально.
    FB 2.0 SS

    Скорее всего, что путь к БД указывается локальный, без имени сервера, а в таком виде(тобишь по локальному протоколу), сервисы в 2.0 почему-то не работают.

    пятница, 7 декабря 2007 г.

    Кодировка подключения и DDL в FB 2.1

    > Кстати ты в курсе что в последних файрах если ты подключился в
    > NONE то DDL операторы выполнять противопоказано? По крайней мере некоторые

    Почему:
    выполняем в NONE:

    create procedure AAA
    as
    begin
    -- тут был вася
    end

    В каком чарсете запишется вася в RDB$PROCEDURE_SOURCE? Правильно, в
    WIN1251. А должен быть в юникоде. И если теперь подключиться в cp1251,
    то получишь ошибку транслитерации.

    --
    Дмитрий Еманов

    суббота, 10 ноября 2007 г.

    Рестор БД под 2.1 с гранатами для non-ascii пользователей

    Натолкнулся на неприятную особенность - из-за некорретной работы с unicode версий ФБ менее 2.1, при ресторе БД, в которой даны какие-то права пользователям, имя которого содержит, к примеру, русские символы, рестор останавливается:

    gbak: restoring privilege for user ДЕНИС
    gbak: ERROR:arithmetic exception, numeric overflow, or string truncation
    gbak: ERROR: Cannot transliterate character between character sets
    gbak: ERROR: At trigger 'RDB$TRIGGER_9'
    gbak:Exiting before completion due to errors

    Ситуация конечно редкая, для заведения таких прав до версии 2.1 нужна недюжинная фантазия.

    Если такой грант давать в 2.1 - то все работает штатно.

    суббота, 29 сентября 2007 г.

    Неоднозначность в запросах с сортировкой и distinct

    Такой вот запрос, в FB2 отрабатывает, но данные возвращает в случайном порядке.
    select distinct(t.f1) from table1 t order by t.id

    Как подсказал Дима Кузьменко:
    сначала идет distinct, потом order.
    то есть. набор выливается в sort, удаляются повторы.
    Затем набор сортируется по атрибуту order.
    как оно этот атрибут возьмет - зависит от того, как на диске
    или в индексе легло.
    план в 2.0 - PLAN SORT (SORT ((table1 NATURAL)))

    А вот Oracle(как выяснилось и PostgreSQL) с такими запросами посылает(после чего и поднялся вопрос).
    http://ora-01791.ora-code.com/
    ORA-01791: not a SELECTed expression
    Cause:
    There is an incorrect ORDER BY item. The query is a SELECT DISTINCT query with an ORDER BY clause. In this context, all ORDER BY items must be constants, SELECT list expressions, or expressions whose operands are constants or SELECT list expressions.
    Action:
    Remove the inappropriate ORDER BY item from the SELECT list and retry the statement.


    Для экспериментов:
    CREATE TABLE TABLE1 (
    ID INTEGER NOT NULL,
    F1 VARCHAR(10)
    );

    INSERT INTO TABLE1 (ID, F1) VALUES (1, 'q');
    INSERT INTO TABLE1 (ID, F1) VALUES (2, 'w');
    INSERT INTO TABLE1 (ID, F1) VALUES (3, 'e');
    INSERT INTO TABLE1 (ID, F1) VALUES (4, 'r');
    INSERT INTO TABLE1 (ID, F1) VALUES (5, 't');
    INSERT INTO TABLE1 (ID, F1) VALUES (6, 'q');
    INSERT INTO TABLE1 (ID, F1) VALUES (7, 'w');
    COMMIT WORK;