Здравствуйте. Вопрос теоретический:
Какие инструменты лучше использовать?
1. На данный момент изначально данные поступают в текстовом виде (csv)(около 60 гб в месяц), так же есть возможность импортировать их напрямую в бд mysql.
2. В отдельном excel файле происходит фильтрация данных путем запросов PQ каждые 3 часа, что бы влезть в 1 млн. строк. соответственно в ежедневном файле по 8 листов данных.
3. Далее в следующем excel файле каждые 3 часа путем запросов PQ происходит сравнение строк данных на предмет изменения цены, а также расчет величины изменения.
4. В следующем файле данные за день объеденяются и перепроверяются.
В итоге есть структура папок с excel и csv (исходные данные) структурированные по датам.
В конечном итоге Выбирается товар из отдельной структуры и по ID выискиваются все данные по изменениям цены за последние 15 дней.
На данный момент все работает, медленно и уверенно (хотя есть предчувствие что через одно место). Но возникают идеи о расширении количества пользователей данных (на данный момент использование только локально). И есть идея о переходе от структуры по датам в структуру по ID в виду очень долгого поиска.
1. Есть ли смысл переходить в формат БД? (Например Mysql, знания на уровне установки CMS на хостинг и небольшие изменения структуры БД)
2. Какие варианты есть для обработки (расчетов, групировки) данных. Какой софт для этого можно использовать? Стоит изучить какие либо языки программирования? Возможно ли производить расчеты аналогичные запросам PQ путем sql-запросов?
3. Это не извращение хранить данные в бд, импортировать в excel обрабатывать с помощью запросов pq и экспортировать обратно?
Заранее благодарен.
Какие инструменты лучше использовать?
1. На данный момент изначально данные поступают в текстовом виде (csv)(около 60 гб в месяц), так же есть возможность импортировать их напрямую в бд mysql.
2. В отдельном excel файле происходит фильтрация данных путем запросов PQ каждые 3 часа, что бы влезть в 1 млн. строк. соответственно в ежедневном файле по 8 листов данных.
3. Далее в следующем excel файле каждые 3 часа путем запросов PQ происходит сравнение строк данных на предмет изменения цены, а также расчет величины изменения.
4. В следующем файле данные за день объеденяются и перепроверяются.
В итоге есть структура папок с excel и csv (исходные данные) структурированные по датам.
В конечном итоге Выбирается товар из отдельной структуры и по ID выискиваются все данные по изменениям цены за последние 15 дней.
На данный момент все работает, медленно и уверенно (хотя есть предчувствие что через одно место). Но возникают идеи о расширении количества пользователей данных (на данный момент использование только локально). И есть идея о переходе от структуры по датам в структуру по ID в виду очень долгого поиска.
1. Есть ли смысл переходить в формат БД? (Например Mysql, знания на уровне установки CMS на хостинг и небольшие изменения структуры БД)
2. Какие варианты есть для обработки (расчетов, групировки) данных. Какой софт для этого можно использовать? Стоит изучить какие либо языки программирования? Возможно ли производить расчеты аналогичные запросам PQ путем sql-запросов?
3. Это не извращение хранить данные в бд, импортировать в excel обрабатывать с помощью запросов pq и экспортировать обратно?
Заранее благодарен.
