Сбор, хранение и обработка данных из строки

Добрый день. Есть следующая ситуация: - Веб-сайт, на сайте множество страниц, на каждой странице php скрипт - при обращении к странице скрипт записывает в лог-файл строку со следующими параметрами: <имя страницы><времы вызова страницы><ИП-адрес получателя страницы> Раз в сутки к лог-файлу подключается программа, перносит данные к себе и обнуляет лог-файл на текущий момент объем строк может быть от 30 до 100 тысяч строк в сутки (число страниц Х число посещений) собирать данные нужно в течение нескольких лет, это уже десятки а то и сотни миллионов строк кроме того периодически нужно получать выборки из это массива строк по заданному параметру (например ИП-адрес, в периоде с такого то числа по такое), для анализаВопрос: как правильно организовать все выше перечисленное? наверно БД? если у кого есть опыт решения похожих задач, подскажите, если не сложно
3 ответа

как правильно организовать все выше перечисленное? наверно БД?
БД, и даже БД в облаке. По-поводу чтения.. тут дело не хитрое, подключем файловый маппинг или файловый поток, прыгаем в конец файла и читаем свежие записи, и переносим в базу. Все это одновременно с работающей программой, которая и строчит лог.


строчит в лог не программа а скрипт, который php, который на веб-странице программа подключается к веб-серверу. читает лог, обнуляет лог вопрос в том что в делфи есть компоненты для работы с БД. но с какими БД? с любыми?


и даже БД в облаке
И что это даст?
но с какими БД? с любыми?
абсолютно