Выбрать дату в календареВыбрать дату в календаре

Страницы: 1
Он-лайн видео курсы и индивидуальные консультации, Расширение знаний по pq, pp и оветы на вопросы для решения практических вопросов
 
Цитата
Андрей VG написал:
Потому что крутые BI-щики в основном тут не ходят - это форум всё же в основном по Excel. Попробуйте своё предложение опубликовать в группе  Power BI, Excel в интернет-маркетинге и не только . Можете там же поизучать кое-что из уже опубликованного  Модули.
хорошая группа, завис там... у меня уже столько кладок открыто )))))


Цитата
Андрей VG написал:
Что тут сложного-то?! Не подменяете ли вы понятия упрощение и примитивизацию? Определять и логически рассуждать на основе определений всё равно нужно будет нужно.
Стараюсь без примитива. Раньше на кнопочном телефоне для бабушки ставил горячие клавиши на звонки 1,2,3. А теперь бац - звездочкой выделил контакт и он уже в избранных. Или вот камеру включить - палец вверх и работает.
Логически согласен.
Изменено: Kerel - 13.06.2020 16:40:30
Он-лайн видео курсы и индивидуальные консультации, Расширение знаний по pq, pp и оветы на вопросы для решения практических вопросов
 
Цитата
Михаил Л написал:
Времени правда много потребуется.
Именно поэтому. Я прошел базовый курс на курсере и дз сделал за 5-7 дней. И даже сделал несколько тем-вопросов на форуме. Спасибо, тут ответили.

Когда начал применять к своим практическим задачам, но есть большие массивы, которые я хотел бы объединить. Пока не получается, но постоянно их дорабатываю. Пока затык с тем как сделать, чтобы постоянно 12-13 млн строк не подгружалось.


Цитата
Михаил Л написал:
а зачем вам платить за обучение?
Если я смогу на 50% закрыть задачу - это уже будет очень сильно. По кр мере я буду конкретнее знать как правильно задать вопрос, какую задачу решаю и т.д.


Цитата
Михаил Л написал:
В любом случае, для загрузки требуется время. Сколько сейчас уходит времени на запрос?Может, есть смысл и возможность обработанные данные за 2017-2019 гг сохранить в отдельные, например, текстовые  файлы и потом только подгружать их к данным 2020 года
На запрос уходит часа 2-3. Работаю с базой ТНВЭД, что уж таить.
Что имеется ввиду под  "текстовые  файлы и потом только подгружать их к данным 2020 года"? Сохранять их не в эксель, а в csv?

То есть исходный файл - разложить на индексы - сохранить в индексах - обратно загрузить в базу, добавив 2020 г.?


Об этом в Курилке также мне сообщил Андрей VG - о warehouse системе....
Вот поэтому хотел бы консультации по Зуму - мне кажется это эффективно. Готов  и пиво поставить и деньгами ) 500 р/час меня устраивает.
Он-лайн видео курсы и индивидуальные консультации, Расширение знаний по pq, pp и оветы на вопросы для решения практических вопросов
 
Цитата
Jack Famous написал:
не нахожу времени для изучения SQL
я вот как раз и не хочу на него переходить и вряд ли смогу, все ведь условно движется в относительное упрощение (я надеюсь) - в том смысле что больше людей могли бы пользоваться чудесами инструментов по обработке данных. Причем максимально интуитивно. Мне показалось, что pp pq неплохо это отражают..
PowerPivot, PowerQuery, PowerBI
 
Цитата
Андрей VG написал:
Либо Premium подписка на Power BI, либо есть варианты решения в Power BI Desktop, ведущие к двукратному увеличению размера файла (правда, нет затрат на трансформации), так как используется UNION для объединения секционированных по годам данных в рабочую таблицу фактов. Ну, и, возможно, ручная поддержка таблиц справочников/измерений, хотя их точно также можно объединять через UNION как и таблицу фактов.
спасибо,

я пока pp осваиваю, было бы классно если бы "union only new data from 2020.." я думал что-то такое есть.

премиум пока не для меня..
Он-лайн видео курсы и индивидуальные консультации, Расширение знаний по pq, pp и оветы на вопросы для решения практических вопросов
 
Цитата
Андрей VG написал: Потому что крутые BI-щики в основном тут не ходят - это форум всё же в основном по Excel..
Спасибо! Можете порекомендовать какие-либо форумы именно по pp, pq?
Идеально, конечно, конкретных коллег

Цитата
Андрей VG написал: И совет - будьте вежливы, спасибо - не синоним Like.
Не совсем понял, о чем речь. Тут где-то можно лайк поставить, кто отвечает - то набирает баллы? Я всегда благодарю за полезные советы..
Он-лайн видео курсы и индивидуальные консультации, Расширение знаний по pq, pp и оветы на вопросы для решения практических вопросов
 
Цитата
Jack Famous написал:  Kerel , приветствую! У вас вопросы, у нас ответы  
принял! разбираюсь с источниками!

Цитата
я только с недавних пор начал брать платные заказы, а за других говорить не могу (возможно, самоизоляция всему виной, т.к. совпадает)
Я попробую еще почетче сформулировать, возможно, обращусь. Тк действительно актуальный вопрос, нужен прорыв, а я пока барахтаюсь....
Он-лайн видео курсы и индивидуальные консультации, Расширение знаний по pq, pp и оветы на вопросы для решения практических вопросов
 
UPDATE
Хочу практически и методологически  понять правильно ли я копаю, плюс довести до определенной автоматизации,  чтобы не только я мог обновлять и строить графики. Да и побыстрее чтоб  работало (строк много - 12 млн, столбцов 11).
Например, как сделать так, чтобы уже закачанные данные в  модель и которые лежат в папках 2017-2019 гг. не  проверялись/обновлялись. При этом к ним бы добавлялись/подгружались  только свежие таблицы - 2020 г.

Все это разумеется выводится в одной  сводной по месяцам, годам, кварталам, типам, направлениям.

Почему никто не откликается?((
Power Query / перенос и транспонирование даты из названия столбца в шаблоне-таблице, Ошибка при преобразовании транспонированных столбцов с датой, загрузка в функцию
 
Цитата
PooHkrd написал:
Kerel  написал:кликами так не сделать?  абсолютно верно
Кстати, сделал на кликах - с помощью "словаря" таблицы с датами-месяцами в формате текста и формате дат.

Единственное этот словарь чувствителен к исходному формату даты в таблице (общий или текстовый).


А вот, Андрей Лящук, получается предложил вариант, которому все равно какой формат в ячейках.

Как я понял он каждый элемент таблицы раскладывает в отдельную ячейку, а потом собирает их вновь..


Код
    #"Объединенные запросы" = Table.NestedJoin(#"Другие удаленные столбцы", {"Column2"}, Период, {"Период_текст"}, "Период", JoinKind.LeftOuter),
    #"Развернутый элемент Период" = Table.ExpandTableColumn(#"Объединенные запросы", "Период", {"Период_нов"}, {"Период_нов"}),
    #"Заполнение вниз" = Table.FillDown(#"Развернутый элемент Период",{"Период_нов"}),
    #"Строки с примененным фильтром" = Table.SelectRows(#"Заполнение вниз", each [Column1] <> null and [Column1] <> ""),
Power Query / перенос и транспонирование даты из названия столбца в шаблоне-таблице, Ошибка при преобразовании транспонированных столбцов с датой, загрузка в функцию
 
Это оч круто! спасибо большое!! именно то, что нужно! Вау прям...
Правильно ли я понимаю, что кликами так не сделать?  
Долго ли надо учиться, чтобы так прописывать формулы?
PowerPivot, PowerQuery, PowerBI
 
Цитата
PooHkrd написал:
Kerel , видеокурсы без четкой обучающей программы, это деньги на ветер. Крайне рекомендую как начинающему  книгу  от автора сайта. Стоит как полторы чашки кофе в Москве только хватит ее насильно больший срок, и толку больше.Там все поп полочкам. Если что-то не понятно по книге обращайтесь на основную ветку с соблюдением правил форума. Если уж не отвечают или прямо хочется кому-то отстегнуть за мудроту пишите в личку, например, мне.  Посмотрите по форуму кто ещё часто отвечает на вопросы по pq. Можете и к ним обратиться, возможно они будут не против.
Спасибо большое!!

Прошел пару базовых курсов, книгу и ссылку тоже смотрю. Но когда дело доходит до практики попыток много, да и результат есть.

Но данных оч много - 35 млн строк. Хочу практически и методологически понять правильно ли я копаю, плюс довести до определенной автоматизации, чтобы не только я мог обновлять и строить графики. Да и побыстрее чтоб работало.

Например, как сделать так, чтобы уже закачанные данные в модель и которые лежат в папках 2017-2019 гг. не проверялись/обновлялись. При этом к ним бы добавлялись/подгружались только свежие таблицы - 2020 г. Все это разумеется выводится в одной сводной по месяцам, годам, кварталам, типам, направлениям.

Сорри, если глупый вопрос :)
Я готов заплатить за он-лайн консультацию, создал даже раздел, вот по формулам помогают (зачастую бесплатно), а вот мини-лекцию бы хотелось.

Если можете помочь - буду оч благодарен.
Он-лайн видео курсы и индивидуальные консультации, Расширение знаний по pq, pp и оветы на вопросы для решения практических вопросов
 
Добрый день!
Подскажите, пожалуйста,


Кто проводит он-лайн видео курсы из местных форумчан (возможно рекомендации)? Можно и в качестве консультаций вопрос-ответ?
Хотел  бы расширить свои знания в power query и позадавать очень много  вопросов для реализации практических задач. Сейчас делаю все  кликами

Интересует: внедрение функций для автоматизации подгрузки из папок вне зависимости от названия файлов/листов.
Преобразование файлов, создание словарей, объединение в массивы. Сдвиги вниз, иерархии.
Понимание дополнительных функций pq, pp для формулирования самих технических вопросов.
Базовые основы кодированя: куда ставить, как исправлять ошбики, последовательность и оптимальность действий.

Пишите сюда или в лс по условиям/возможностям/интересу.
PowerPivot, PowerQuery, PowerBI
 
Добрый день всем!

Подскажите, пожалуйста, у меня вопросы методологические и общего характера.

1. Как правильно попользоваться возможностью загрузки файлов из папки с шаблоном?
Ранее я делал из файла шаблон, потом пользовательскую функцию (filepath,sheet)=> . Соответственно сама таблица "пропадала". Теперь попробовал просто сделать импорт из папки и там сразу появилась функция и файл преобразований. Но я не совсем понимаю как их применять. Нужно ли в нем опять прописывать (filepath,sheet), чтобы происходило преобразование из указанной папки? Принт скрин во вложении. Сюда некорректно заходит.

2. Кто-то проводит он-лайн видео курсы из местных форумчан (возможно рекомендации)?
Хотел бы расширить свои знания в power query и позадавать очень много вопросов. Кто-то может помочь с этим за оплату? Сейчас делаю все кликами.

8)  :(  
Изменено: Kerel - 16.05.2020 17:47:18
Power Query Быстрая замена по справочнику
 
Цитата
Михаил Л написал:
Kerel  написал:по тнвэд нетВ примере покажите ваш запрос
Я скопировал ваш код вставил в pq

Затем добавил справочники - отдельными таблицами из файлов. Затем загрузил и добавил все в модель. Провел связи по индексам 1,2,3...
Потом вывел свод и строки - коды, столбы - направление. Но уже не индексами, а названиями.
И вот такая картинка выходит(  Потом еще раз проверил типы данных столбцов - сделал их в ручную целыми числами (в файле общем и справочниках). Видимо из-за лок настроек pq их меняет на смешанные.
Запрос? его можно общий где-то найти по всем действиям?

Хотел сюда прикрепить таблицу как получилось, но 100 кб, не более.

ps Извиняюсь, что пропал на долго. Работал.
Power Query / перенос и транспонирование даты из названия столбца в шаблоне-таблице, Ошибка при преобразовании транспонированных столбцов с датой, загрузка в функцию
 
Коллеги, подскажите плз!

Хочу сделать из таблицы шаблон. Чтобы потом из папки подтягивать данные в свод.

Когда преобразую таблицу и столбец с датой и развертываю его вниз - вроде все работает для сохранения.
Затем делаю функцию-шаблон (filepath,sheet). Когда ее вставляю в пользовательский столбец для выемки данных из папки, то выдает ошибку. Точнее видит только исходную таблицу. Хотя мне всего лишь надо преобразовать и вниз дату.
Как быть?

В запросе "" произошла ошибка. Expression.Error: Столбец "янв.20" таблицы не найден.
Сведения:
   янв.20

Код
let
    Источник = Excel.Workbook(File.Contents("C:\Users\Lenovo\Documents\Работа\1. Запросы\ЖД\Грузы 2019-2020\Рос жд перевозки жрс 2020-01.xlsx"), null, true),
    Лист1_Sheet = Источник{[Item="Лист1",Kind="Sheet"]}[Data],
    #"Измененный тип" = Table.TransformColumnTypes(Лист1_Sheet,{{"Column1", type text}, {"Column2", type any}, {"Column3", type any}, {"Column4", type any}, {"Column5", type any}, {"Column6", type any}}),
    #"Повышенные заголовки" = Table.PromoteHeaders(#"Измененный тип", [PromoteAllScalars=true]),
    #"Измененный тип1" = Table.TransformColumnTypes(#"Повышенные заголовки",{{"Column1", type text}, {"янв.20", type number}, {"дек.19", type number}, {"% изм. за мес.", type any}, {"янв.19", type number}, {"% изм. 20/19", type any}}),
    #"Удаленные столбцы" = Table.RemoveColumns(#"Измененный тип1",{"дек.19", "% изм. за мес.", "янв.19", "% изм. 20/19"}),
    #"Переименованные столбцы" = Table.RenameColumns(#"Удаленные столбцы",{{"Column1", "Направление и груз"}}),
    #"Строки с примененным фильтром" = Table.SelectRows(#"Переименованные столбцы", each [Направление и груз] <> null and [Направление и груз] <> ""),
    #"Несвернутые столбцы" = Table.UnpivotOtherColumns(#"Строки с примененным фильтром", {"Направление и груз"}, "Атрибут", "Значение")
in
    #"Несвернутые столбцы"
Power Query Быстрая замена по справочнику
 
Михаил, большое спасибо за решение!
Интересное, изучаю и думаю как его внедрить в остальной массив по замене других текстовых значений.

По времени на основном массиве пока не пробовал.Единственное попробовал загрузить получившуюся таблицу в модель данных и связать с источниками, чтобы на выходе в сводной можно было не только коды, но и описание получить. И тут получился не оч корректный выход.Справочник по направлению сработал, а по тнвэд нет.

Сводная таблица из
 
Названия строкИМЭКОбщий итог
6110309148387,2114422,5762809,78
8309909048387,2114422,5762809,78
8414598048387,2114422,5762809,78
8460298048387,2114422,5762809,78
8471800048387,2114422,5762809,78
Power Query Быстрая замена по справочнику
 
Цитата
Михаил Л написал:
Kerel , не понятно почему на выводе в столбце NAPR 1 и 2, а не 1 и 1?И пример бы побольше
Михаил, действительно, мое упущение, спасибо.
Подправил и расширил пример. Достаточно ли? Сколько вообще требуется обычно строк для примера на форуме?

Сейчас я сделал кликами:
То есть сделал эти справочники ЭК - ИМ, все коды тнвэд (32 тыс.).
В них проиндексировал строчки.
Затем в основной таблице объединил запросы по тектовому полю и поставил в таблицу значения индексов.
Исходный столбец удалил.

Эффективен ли этот метод, если я хочу сделать шаблон таблицы для приведения исходных файла?
Далее планирую загрузить данные в модель данных и делать power pivot.

у меня по 500 тыс. строк, файлы по 25 мб, 12 файлов в год
Я не знаю как это прописывается кодами, но взял после кликанья.
Код
#"Объединенные запросы" = Table.NestedJoin(#"Сортированные строки2", {"Направление"}, Направление, {"Направление_назв"}, "Направление.1", JoinKind.LeftOuter),
    #"Переупорядоченные столбцы" = Table.ReorderColumns(#"Объединенные запросы",{"Направление", "Направление.1", "Дата", "Страна_код", "ТНВЭД_код", "Ед_измер", "Стоимость", "Масса_объем", "Количество", "Регион_код", "Округ_код"}),
    #"Развернутый элемент Направление.1" = Table.ExpandTableColumn(#"Переупорядоченные столбцы", "Направление.1", {"Направление_индекс"}, {"Направление_индекс"}),
    #"Удаленные столбцы1" = Table.RemoveColumns(#"Развернутый элемент Направление.1",{"Направление"}),

Буду признателен
Power Query Быстрая замена по справочнику
 
Коллеги, добрый день!

Почитал этот раздел и вопросы.
Хотел бы уточнить методологический вопрос и очень надеюсь, что в практических рекомендациях можете помочь.  

Подскажите, пожалуйста, можно ли на этапе обработки данных в pq, распределить  исходную таблицу по кодам из справочника, чтобы в модель выгружалась таблица с кодами?
То есть идея какая:
Импорт  файла в pq - все что можно заменить на  коды/индексы с помощью справочников,  где есть индексы, например, текстовые значения с нулями  впереди меняю  на код. Затем загружаю в модель данных. Дальше связываю в pivot со  справочниками и вывожу сводные в эксель уже в той  разбивке, которая  нужна.

Это вообще адекватная логика, правильно методологически  или лучше оставить только "косметические" изменения в query?
Я посмотрел ряд тем на форуме, но не совсем понял какая именно функция подходит и вообще эффективно ли так делать.

Новичок в pq pp

С уважением,
Кирилл.
Power Query / замена текстового типа данных на числовой без потерь символов, Есть 8-ми значные коды. Тип данных тектовые, а нужны числовые для дальнейшей связи
 
Цитата
buchlotnik написал:
никак, в нормальном представлении у числа нет ведущих нулей. Сохранить нули можно лишь работая со значением как с текстом
спасибо!

Подскажите, плз, если сможете еще такой момент. Можно ли на этапе обработки данных исходную таблицу распределить по кодам, а потом обратно собрать в power pivot?

То есть идея какая:
Импорт файла в pq - все что можно заменить на коды с помощью справочников, например те же текстовые значения с нулями впереди меняю на код.

Затем загрузить в модель данных. Дальше обратно связать со справочниками и выводить сводные в эксель уже в той разбивке, которая нужна. Это вообще адекватно, правильно методологически или лучше оставить только "косметические" изменения?

Я посмотрел ряд тем на форуме, но не совсем понял какая именно функция подходит и вообще можно ли так делать.Хочу оптимизировать таблицы, которые были в акцессе, в pp выглядит попроще и данных можно добавить.
Массив - исходные файлы по 25 мб, 12 в год.
Power Query / замена текстового типа данных на числовой без потерь символов, Есть 8-ми значные коды. Тип данных тектовые, а нужны числовые для дальнейшей связи
 
Добрый день!

Подскажите, пожалуйста,

Как поменять вид данных на числовой и не потерять "нули" в начале и в конце?

Есть значения вида 07061000 - 8 знаков. Тип данных текстовый/смешанный при импорте в power query.
Если их вид поменять на числовой, то у некоторых остается 7 знаков: 7061000, а иногда и 6.

Хочу использовать их для дальнейшей привязки в качестве ключевого поля. Работаю над данными тнвэд.
Соответственно есть вероятность, что при соединении с таблицей источника (там название позиции и более короткие коды) привязка будет некорректной.

Новичок в PQ.


С уважением,
Кирилл.
Страницы: 1
Наверх