Андрей VG написал: Потому что крутые BI-щики в основном тут не ходят - это форум всё же в основном по Excel. Попробуйте своё предложение опубликовать в группе Power BI, Excel в интернет-маркетинге и не только . Можете там же поизучать кое-что из уже опубликованного Модули.
хорошая группа, завис там... у меня уже столько кладок открыто )))))
Цитата
Андрей VG написал: Что тут сложного-то?! Не подменяете ли вы понятия упрощение и примитивизацию? Определять и логически рассуждать на основе определений всё равно нужно будет нужно.
Стараюсь без примитива. Раньше на кнопочном телефоне для бабушки ставил горячие клавиши на звонки 1,2,3. А теперь бац - звездочкой выделил контакт и он уже в избранных. Или вот камеру включить - палец вверх и работает. Логически согласен.
Михаил Л написал: Времени правда много потребуется.
Именно поэтому. Я прошел базовый курс на курсере и дз сделал за 5-7 дней. И даже сделал несколько тем-вопросов на форуме. Спасибо, тут ответили.
Когда начал применять к своим практическим задачам, но есть большие массивы, которые я хотел бы объединить. Пока не получается, но постоянно их дорабатываю. Пока затык с тем как сделать, чтобы постоянно 12-13 млн строк не подгружалось.
Цитата
Михаил Л написал: а зачем вам платить за обучение?
Если я смогу на 50% закрыть задачу - это уже будет очень сильно. По кр мере я буду конкретнее знать как правильно задать вопрос, какую задачу решаю и т.д.
Цитата
Михаил Л написал: В любом случае, для загрузки требуется время. Сколько сейчас уходит времени на запрос?Может, есть смысл и возможность обработанные данные за 2017-2019 гг сохранить в отдельные, например, текстовые файлы и потом только подгружать их к данным 2020 года
На запрос уходит часа 2-3. Работаю с базой ТНВЭД, что уж таить. Что имеется ввиду под "текстовые файлы и потом только подгружать их к данным 2020 года"? Сохранять их не в эксель, а в csv?
То есть исходный файл - разложить на индексы - сохранить в индексах - обратно загрузить в базу, добавив 2020 г.?
Об этом в Курилке также мне сообщил Андрей VG - о warehouse системе.... Вот поэтому хотел бы консультации по Зуму - мне кажется это эффективно. Готов и пиво поставить и деньгами ) 500 р/час меня устраивает.
Jack Famous написал: не нахожу времени для изучения SQL
я вот как раз и не хочу на него переходить и вряд ли смогу, все ведь условно движется в относительное упрощение (я надеюсь) - в том смысле что больше людей могли бы пользоваться чудесами инструментов по обработке данных. Причем максимально интуитивно. Мне показалось, что pp pq неплохо это отражают..
Андрей VG написал: Либо Premium подписка на Power BI, либо есть варианты решения в Power BI Desktop, ведущие к двукратному увеличению размера файла (правда, нет затрат на трансформации), так как используется UNION для объединения секционированных по годам данных в рабочую таблицу фактов. Ну, и, возможно, ручная поддержка таблиц справочников/измерений, хотя их точно также можно объединять через UNION как и таблицу фактов.
спасибо,
я пока pp осваиваю, было бы классно если бы "union only new data from 2020.." я думал что-то такое есть.
UPDATE Хочу практически и методологически понять правильно ли я копаю, плюс довести до определенной автоматизации, чтобы не только я мог обновлять и строить графики. Да и побыстрее чтоб работало (строк много - 12 млн, столбцов 11). Например, как сделать так, чтобы уже закачанные данные в модель и которые лежат в папках 2017-2019 гг. не проверялись/обновлялись. При этом к ним бы добавлялись/подгружались только свежие таблицы - 2020 г.
Все это разумеется выводится в одной сводной по месяцам, годам, кварталам, типам, направлениям.
Power Query / перенос и транспонирование даты из названия столбца в шаблоне-таблице, Ошибка при преобразовании транспонированных столбцов с датой, загрузка в функцию
Power Query / перенос и транспонирование даты из названия столбца в шаблоне-таблице, Ошибка при преобразовании транспонированных столбцов с датой, загрузка в функцию
Это оч круто! спасибо большое!! именно то, что нужно! Вау прям... Правильно ли я понимаю, что кликами так не сделать? Долго ли надо учиться, чтобы так прописывать формулы?
PooHkrd написал: Kerel , видеокурсы без четкой обучающей программы, это деньги на ветер. Крайне рекомендую как начинающему книгу от автора сайта. Стоит как полторы чашки кофе в Москве только хватит ее насильно больший срок, и толку больше.Там все поп полочкам. Если что-то не понятно по книге обращайтесь на основную ветку с соблюдением правил форума. Если уж не отвечают или прямо хочется кому-то отстегнуть за мудроту пишите в личку, например, мне. Посмотрите по форуму кто ещё часто отвечает на вопросы по pq. Можете и к ним обратиться, возможно они будут не против.
Спасибо большое!!
Прошел пару базовых курсов, книгу и ссылку тоже смотрю. Но когда дело доходит до практики попыток много, да и результат есть.
Но данных оч много - 35 млн строк. Хочу практически и методологически понять правильно ли я копаю, плюс довести до определенной автоматизации, чтобы не только я мог обновлять и строить графики. Да и побыстрее чтоб работало.
Например, как сделать так, чтобы уже закачанные данные в модель и которые лежат в папках 2017-2019 гг. не проверялись/обновлялись. При этом к ним бы добавлялись/подгружались только свежие таблицы - 2020 г. Все это разумеется выводится в одной сводной по месяцам, годам, кварталам, типам, направлениям.
Сорри, если глупый вопрос Я готов заплатить за он-лайн консультацию, создал даже раздел, вот по формулам помогают (зачастую бесплатно), а вот мини-лекцию бы хотелось.
Кто проводит он-лайн видео курсы из местных форумчан (возможно рекомендации)? Можно и в качестве консультаций вопрос-ответ? Хотел бы расширить свои знания в power query и позадавать очень много вопросов для реализации практических задач. Сейчас делаю все кликами
Интересует: внедрение функций для автоматизации подгрузки из папок вне зависимости от названия файлов/листов. Преобразование файлов, создание словарей, объединение в массивы. Сдвиги вниз, иерархии. Понимание дополнительных функций pq, pp для формулирования самих технических вопросов. Базовые основы кодированя: куда ставить, как исправлять ошбики, последовательность и оптимальность действий.
Пишите сюда или в лс по условиям/возможностям/интересу.
Подскажите, пожалуйста, у меня вопросы методологические и общего характера.
1. Как правильно попользоваться возможностью загрузки файлов из папки с шаблоном? Ранее я делал из файла шаблон, потом пользовательскую функцию (filepath,sheet)=> . Соответственно сама таблица "пропадала". Теперь попробовал просто сделать импорт из папки и там сразу появилась функция и файл преобразований. Но я не совсем понимаю как их применять. Нужно ли в нем опять прописывать (filepath,sheet), чтобы происходило преобразование из указанной папки? Принт скрин во вложении. Сюда некорректно заходит.
2. Кто-то проводит он-лайн видео курсы из местных форумчан (возможно рекомендации)? Хотел бы расширить свои знания в power query и позадавать очень много вопросов. Кто-то может помочь с этим за оплату? Сейчас делаю все кликами.
Михаил Л написал: Kerel написал:по тнвэд нетВ примере покажите ваш запрос
Я скопировал ваш код вставил в pq
Затем добавил справочники - отдельными таблицами из файлов. Затем загрузил и добавил все в модель. Провел связи по индексам 1,2,3... Потом вывел свод и строки - коды, столбы - направление. Но уже не индексами, а названиями. И вот такая картинка выходит( Потом еще раз проверил типы данных столбцов - сделал их в ручную целыми числами (в файле общем и справочниках). Видимо из-за лок настроек pq их меняет на смешанные. Запрос? его можно общий где-то найти по всем действиям?
Хотел сюда прикрепить таблицу как получилось, но 100 кб, не более.
Power Query / перенос и транспонирование даты из названия столбца в шаблоне-таблице, Ошибка при преобразовании транспонированных столбцов с датой, загрузка в функцию
Хочу сделать из таблицы шаблон. Чтобы потом из папки подтягивать данные в свод.
Когда преобразую таблицу и столбец с датой и развертываю его вниз - вроде все работает для сохранения. Затем делаю функцию-шаблон (filepath,sheet). Когда ее вставляю в пользовательский столбец для выемки данных из папки, то выдает ошибку. Точнее видит только исходную таблицу. Хотя мне всего лишь надо преобразовать и вниз дату. Как быть?
В запросе "" произошла ошибка. Expression.Error: Столбец "янв.20" таблицы не найден. Сведения: янв.20
Код
let
Источник = Excel.Workbook(File.Contents("C:\Users\Lenovo\Documents\Работа\1. Запросы\ЖД\Грузы 2019-2020\Рос жд перевозки жрс 2020-01.xlsx"), null, true),
Лист1_Sheet = Источник{[Item="Лист1",Kind="Sheet"]}[Data],
#"Измененный тип" = Table.TransformColumnTypes(Лист1_Sheet,{{"Column1", type text}, {"Column2", type any}, {"Column3", type any}, {"Column4", type any}, {"Column5", type any}, {"Column6", type any}}),
#"Повышенные заголовки" = Table.PromoteHeaders(#"Измененный тип", [PromoteAllScalars=true]),
#"Измененный тип1" = Table.TransformColumnTypes(#"Повышенные заголовки",{{"Column1", type text}, {"янв.20", type number}, {"дек.19", type number}, {"% изм. за мес.", type any}, {"янв.19", type number}, {"% изм. 20/19", type any}}),
#"Удаленные столбцы" = Table.RemoveColumns(#"Измененный тип1",{"дек.19", "% изм. за мес.", "янв.19", "% изм. 20/19"}),
#"Переименованные столбцы" = Table.RenameColumns(#"Удаленные столбцы",{{"Column1", "Направление и груз"}}),
#"Строки с примененным фильтром" = Table.SelectRows(#"Переименованные столбцы", each [Направление и груз] <> null and [Направление и груз] <> ""),
#"Несвернутые столбцы" = Table.UnpivotOtherColumns(#"Строки с примененным фильтром", {"Направление и груз"}, "Атрибут", "Значение")
in
#"Несвернутые столбцы"
Михаил, большое спасибо за решение! Интересное, изучаю и думаю как его внедрить в остальной массив по замене других текстовых значений.
По времени на основном массиве пока не пробовал.Единственное попробовал загрузить получившуюся таблицу в модель данных и связать с источниками, чтобы на выходе в сводной можно было не только коды, но и описание получить. И тут получился не оч корректный выход.Справочник по направлению сработал, а по тнвэд нет.
Михаил Л написал: Kerel , не понятно почему на выводе в столбце NAPR 1 и 2, а не 1 и 1?И пример бы побольше
Михаил, действительно, мое упущение, спасибо. Подправил и расширил пример. Достаточно ли? Сколько вообще требуется обычно строк для примера на форуме?
Сейчас я сделал кликами: То есть сделал эти справочники ЭК - ИМ, все коды тнвэд (32 тыс.). В них проиндексировал строчки. Затем в основной таблице объединил запросы по тектовому полю и поставил в таблицу значения индексов. Исходный столбец удалил.
Эффективен ли этот метод, если я хочу сделать шаблон таблицы для приведения исходных файла? Далее планирую загрузить данные в модель данных и делать power pivot.
у меня по 500 тыс. строк, файлы по 25 мб, 12 файлов в год Я не знаю как это прописывается кодами, но взял после кликанья.
Почитал этот раздел и вопросы. Хотел бы уточнить методологический вопрос и очень надеюсь, что в практических рекомендациях можете помочь.
Подскажите, пожалуйста, можно ли на этапе обработки данных в pq, распределить исходную таблицу по кодам из справочника, чтобы в модель выгружалась таблица с кодами? То есть идея какая: Импорт файла в pq - все что можно заменить на коды/индексы с помощью справочников, где есть индексы, например, текстовые значения с нулями впереди меняю на код. Затем загружаю в модель данных. Дальше связываю в pivot со справочниками и вывожу сводные в эксель уже в той разбивке, которая нужна.
Это вообще адекватная логика, правильно методологически или лучше оставить только "косметические" изменения в query? Я посмотрел ряд тем на форуме, но не совсем понял какая именно функция подходит и вообще эффективно ли так делать.
Power Query / замена текстового типа данных на числовой без потерь символов, Есть 8-ми значные коды. Тип данных тектовые, а нужны числовые для дальнейшей связи
buchlotnik написал: никак, в нормальном представлении у числа нет ведущих нулей. Сохранить нули можно лишь работая со значением как с текстом
спасибо!
Подскажите, плз, если сможете еще такой момент. Можно ли на этапе обработки данных исходную таблицу распределить по кодам, а потом обратно собрать в power pivot?
То есть идея какая: Импорт файла в pq - все что можно заменить на коды с помощью справочников, например те же текстовые значения с нулями впереди меняю на код.
Затем загрузить в модель данных. Дальше обратно связать со справочниками и выводить сводные в эксель уже в той разбивке, которая нужна. Это вообще адекватно, правильно методологически или лучше оставить только "косметические" изменения?
Я посмотрел ряд тем на форуме, но не совсем понял какая именно функция подходит и вообще можно ли так делать.Хочу оптимизировать таблицы, которые были в акцессе, в pp выглядит попроще и данных можно добавить. Массив - исходные файлы по 25 мб, 12 в год.
Power Query / замена текстового типа данных на числовой без потерь символов, Есть 8-ми значные коды. Тип данных тектовые, а нужны числовые для дальнейшей связи
Как поменять вид данных на числовой и не потерять "нули" в начале и в конце?
Есть значения вида 07061000 - 8 знаков. Тип данных текстовый/смешанный при импорте в power query. Если их вид поменять на числовой, то у некоторых остается 7 знаков: 7061000, а иногда и 6.
Хочу использовать их для дальнейшей привязки в качестве ключевого поля. Работаю над данными тнвэд. Соответственно есть вероятность, что при соединении с таблицей источника (там название позиции и более короткие коды) привязка будет некорректной.