Страницы: 1
RSS
Что такое КХД? С чем его едят? Чем оно отличается от СУБД+БД? Стоит ли оно покупки и внедрения?
 

Добрый день.
Имеется финансовая организация (в Средней Азии), которая имеет примерно 40 филиалов, 5000 сотрудников и обширую сеть клиентов.
Руководство поставило задачу изучить вопрос покупки КХД (корпоративное хранилище данных).
Задача поставлена перед экономистами, у которых несильные знания по IT. Они хотят сделать небольшую презентацию, которая будет содержать следующего рода информацию:
1) Нужно ли будет создавать отдельную структуру (группа? отдел?) внутри предприятия, которая будет заниматься проектом внедрения КХД, на этапе изучения и внедрения будет связующим звеном между поставщиком и сотрудниками предприятия, будет по запросу поставщика запрашивать разную информацию у разных отделов предприятия и т.д.
   Либо не нужно отдельно структуры, и этим должны заниматься соответствующие отделы параллельно со своей основной работой?
2) Из каких этапов должно состоять внедрение?
3) Показать степень участия каждого отдела предпрития в каждом этапе
4) Насколко нужно это внедрение? Что оно даст? Не будет ли потом такого, что КХД просто будет использоваться на 15-20% и это обернётся неэффективными излишними расходами?

Прошу вашего мнения, смогут ли не имеющие знания по IT экономисты составить такую презентацию и качественно осветить все вышеуказанные вопросы?

Причём, эти экономисты только примерно представляют себе, что:
А) БД – это вся информация, хранящаяся на физических серверах;
Б) СУБД – это как бы программа (Oracle, Microsoft SQL Server, ...), у которой имеются инструменты управления этими данными.
В) Пока не понимают отличие СУБД+БД от КХД

Поделитесь, пожалуйста, своими мнениями насчёт всего этого и дайте пожалуйста ссылки на материалы на русском языке, которые помогут составить такого рода презентацию.
Или может быть имеет смысл запросить у поставшиков КХД (кто они? есть ли такие?) подготовленные им для клиентов презентации?

 
Цитата
Бахтиёр написал:
Задача поставлена перед экономистами
Странно, что задача поставлена перед экономистами, а к примеру, не перед клинер-менеджерами.
Цитата
Бахтиёр написал:
смогут ли не имеющие знания по IT экономисты составить такую презентацию
Нет.
«Бритва Оккама» или «Принцип Калашникова»?
 
Особенно радует
4) Насколко нужно это внедрение? Что оно даст? Не будет ли потом такого, что КХД просто будет использоваться на 15-20% и это обернётся неэффективными излишними расходами?
Выглядит это так как буд-то кто-то спросил у Директора, а у вас есть КХД.... и понеслось.

Руководство поставило задачу изучить вопрос покупки КХД (корпоративное хранилище данных). - задача должна ставится сперва в задачах, которые это решение будет решать. Когда они описаны, тогда
Нет понятия готового КХД, но есть компании которые внедряют решения, которые подстраиваются под требования заказчика.
По вопросам из тем форума, личку не читаю.
 
bedvit, БМВ, спасибо
 
Это не стеб, мой и Михаила. Это некоторое удивление ситуацией с постановкой задачи в компании не маленькой, 5 тыс. сотрудников, 40 филиалов.
КХД - это собирательный образ. Команда профи приходит и делает оценку разных параметров, перед тем как предложить варианты заказчику.
Все это делают спецы, а не экономисты или даже IT (в узком понимании).
Вопросы, которые надо решить (принципы организации, дизайн и т.д.):
1.Платформы на которых разворачивается DWH, Data Lake.
2. Нормализация (NF) DWH
2.ETL, ELT  - в MS - это SSIS
3.Языки на которых строится решение (к примеру SQL (Postgresql, T-SQL и т.д.), Python, ...)
4.Механизм отслеживания изменений  (SCD)
5. Схема - «звезда», «снежинка».  и т.д.
6. Слои данных: Логические, физические
7.Витрины, кубы (OLAP)  - в MS - это SSAS
8.Сервера *Unix/Lunix, crone, командная строка, терминал.
9.Hadoop
10.аркестраторы данных - Apache airflow и т.д.
и т.д.
За полгода обучения (data engineer), это только часть, с которой я ознакомился.
Что из всего этого знает экономист?
Изменено: bedvit - 20.01.2023 17:22:30
«Бритва Оккама» или «Принцип Калашникова»?
 
Виталий, спасибо большое.

Насколько я понимаю, мы своей презентацией дадим руководству первичную информацию, а дальше будут переговоры с поставщиками.
 
Я добавил, что еще вспомнил, и вопрос задал)
«Бритва Оккама» или «Принцип Калашникова»?
 
Цитата
bedvit написал:
Это не стеб, мой и Михаила.
Да уж какой тут стеб, я искренне соболезную. У нас вот компания малыш и тоже КХД. Помню вернулся дирехтор с очередных "курсов" - срочно всем поставить XMind..... До сих пор ощущение, что думалось что программа решит проблемы.
По вопросам из тем форума, личку не читаю.
 
Бахтиёр, для чего это нужно? Чтоб по этим данным строить аналитику?
Для аналитики, как мне видится, достаточно получить данные из источника(1с и др.), очистить, сжать(например, до суточных данных) по возможности, и загнать в базу данных(например, Sql). И с этой базы уже по-быстрому получать данные и строить аналитику.

ps/ я не спец. Случай из предыдущей работы: на собеседовании требовали создать отдельную базу данных в Sql. Сделали, я эту базу ежедневно пополнял месяца два-три данными из 1с. А когда понял что этой базой только я пользуюсь, то забросил и все данные(там строк меньше полумиллиона) хранил в Excel.
ps/ У нас есть аналитик, который воду мутит и предлагает всякие расходы. То на ютубе увидить что-то и предлагает это внедрить, то гугл-таблицы проталкивает, то excel online..
 
Михаил Л, Михаил, не все так однозначно. В реалиях современного предприятия, нужно иметь не только отдельную базу как это было в давние года, BI как это было вчера , но и просто что-то что объединяет и хранит данные и не только цифры, но и оцифрованные документы. Другое дело что нужно хранить то что действительно нужно. И понимание что нужно, нужно ли это , и для чего все это затеяно - один из основных вопросов. Не следует натягивать правила и подходы огромных корпораций на ЧП. А в целом, при правильном подходе КХД помогает иметь идентичность и связность данных различных систем.
Изменено: БМВ - 21.01.2023 20:18:21
По вопросам из тем форума, личку не читаю.
 
Друзья, спасибо всем.
После ваших ответов у меня сформировалось первоначальное представление: что это вообще такое, на какие вопросы мы должны ответить сами себе перед внедрением и кто должен его организовать в предприятии.
 
Можно ли получить ответы на пару вопросов.
Кто пробовал в PP или PBI тянуть из КХД(сетевая Sql-база данных) более 50млн строк? Сколько времени уходит при обновлении модели данных?
И, когда данные получены в модельку, PP данные легко крутит? Например, при выборе значения на срезе.
 
Михаил Л, мне кажется это в отдельную тему в курилке.
Цитата
Михаил Л написал:
Кто пробовал в PP или PBI тянуть из КХД(сетевая Sql-база данных) более 50млн строк?
я кручу 40-50 млн. строк и в эксельке и PBI. Данные беру с отдельного DWH (хранилища данных), по сути такой же сервер. Скорость обновления данных около 5 минут. Но тут на скорость влияет в первую очередь не объем, а в каком виде данные с сервера вы тянете. Если это просто подключение к таблицам, то как раз обновление около 5- 7 минут. Если со стороны сервера тянутся данные с группировками или доп. вычислениями, то тут время обновления в разы дольше будет и зависит от множества факторов.
Далее когда данные загрузили в модельку: работает очень шустро, если используете обычные меры с простыми агрегациями - расчет мер не более 5-7 сек. Но если в мерах будут группировки и сложные вычисления, то тут можно и не дождаться вывода результата. Тут все индивидуально. И когда на таких расчетах требуются "тяжелые" вычисления, то тут нужно уметь оптимизировать меры (DAX-studio в помощь) или применять другие методы для решения задач. Как-то так...
Изменено: Vladimir Ch - 02.05.2023 08:12:18
 
Vladimir Ch, Спасибо за развернутый ответ.
Новую тему пока не открываю
Страницы: 1
Читают тему
Наверх