Страницы: 1
RSS
Он-лайн видео курсы и индивидуальные консультации, Расширение знаний по pq, pp и оветы на вопросы для решения практических вопросов
 
Добрый день!
Подскажите, пожалуйста,


Кто проводит он-лайн видео курсы из местных форумчан (возможно рекомендации)? Можно и в качестве консультаций вопрос-ответ?
Хотел  бы расширить свои знания в power query и позадавать очень много  вопросов для реализации практических задач. Сейчас делаю все  кликами

Интересует: внедрение функций для автоматизации подгрузки из папок вне зависимости от названия файлов/листов.
Преобразование файлов, создание словарей, объединение в массивы. Сдвиги вниз, иерархии.
Понимание дополнительных функций pq, pp для формулирования самих технических вопросов.
Базовые основы кодированя: куда ставить, как исправлять ошбики, последовательность и оптимальность действий.

Пишите сюда или в лс по условиям/возможностям/интересу.
 
UPDATE
Хочу практически и методологически  понять правильно ли я копаю, плюс довести до определенной автоматизации,  чтобы не только я мог обновлять и строить графики. Да и побыстрее чтоб  работало (строк много - 12 млн, столбцов 11).
Например, как сделать так, чтобы уже закачанные данные в  модель и которые лежат в папках 2017-2019 гг. не  проверялись/обновлялись. При этом к ним бы добавлялись/подгружались  только свежие таблицы - 2020 г.

Все это разумеется выводится в одной  сводной по месяцам, годам, кварталам, типам, направлениям.

Почему никто не откликается?((
 
Kerel, приветствую! У вас вопросы, у нас ответы  :D
Цитата
Kerel: онлайн видео курсы
Николай Павлов (автор сайта), Alemox (он же VeBAxceL)

Цитата
Kerel: внедрение функций для автоматизации подгрузки из папок вне зависимости от названия файлов/листов.
Преобразование файлов, создание словарей, объединение в массивы…Базовые основы кодирования?
по VBA я могу подсказать многое, есть и другие специалисты

Цитата
Kerel: Понимание дополнительных функций pq, pp для формулирования самих технических вопросов
читайте ветку PowerPivot, PowerQuery, PowerBI (спецы: Максим Зеленский, Андрей VG, PooHkrd и другие)

Цитата
Kerel: Почему никто не откликается?
я только с недавних пор начал брать платные заказы, а за других говорить не могу (возможно, самоизоляция всему виной, т.к. совпадает)
Изменено: Jack Famous - 10.06.2020 21:28:04
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Цитата
Kerel написал:
Почему никто не откликается?((
Потому что крутые BI-щики в основном тут не ходят - это форум всё же в основном по Excel. Попробуйте своё предложение опубликовать в группе Power BI, Excel в интернет-маркетинге и не только. Можете там же поизучать кое-что из уже опубликованного Модули.
И совет - будьте вежливы, спасибо - не синоним Like.
Изменено: Андрей VG - 10.06.2020 21:44:12
 
Цитата
Jack Famous написал:  Kerel , приветствую! У вас вопросы, у нас ответы  
принял! разбираюсь с источниками!

Цитата
я только с недавних пор начал брать платные заказы, а за других говорить не могу (возможно, самоизоляция всему виной, т.к. совпадает)
Я попробую еще почетче сформулировать, возможно, обращусь. Тк действительно актуальный вопрос, нужен прорыв, а я пока барахтаюсь....
 
Цитата
Андрей VG написал: Потому что крутые BI-щики в основном тут не ходят - это форум всё же в основном по Excel..
Спасибо! Можете порекомендовать какие-либо форумы именно по pp, pq?
Идеально, конечно, конкретных коллег

Цитата
Андрей VG написал: И совет - будьте вежливы, спасибо - не синоним Like.
Не совсем понял, о чем речь. Тут где-то можно лайк поставить, кто отвечает - то набирает баллы? Я всегда благодарю за полезные советы..
 
Цитата
Kerel: нужен прорыв
я упорно не нахожу времени для изучения SQL (а это лучшее решения для хранения больших объёмов данных и получения срезов по ним) и последний костыль который я придумал это хранение данных в Excel, разбив на листы по критерию без форматирования, границ и прочего - только данные. Следующий уровень - хранение данных в текстовом файле. А получение данных всё тем же старым добрым VBA:
Код
Dim arr, txt$
Set arr = FSO.OpenTextFile(txt, 1, True)
txt = arr.ReadAll
arr.Close
:D
Изменено: Jack Famous - 10.06.2020 22:23:25
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Цитата
Jack Famous написал:
не нахожу времени для изучения SQL
я вот как раз и не хочу на него переходить и вряд ли смогу, все ведь условно движется в относительное упрощение (я надеюсь) - в том смысле что больше людей могли бы пользоваться чудесами инструментов по обработке данных. Причем максимально интуитивно. Мне показалось, что pp pq неплохо это отражают..
 
Цитата
Kerel написал:
Можете порекомендовать какие-либо форумы именно по pp, pq?
Форумы легко ищутся в инете. Каких-то особо крутых, но скрытых нет. На сильнейшую группу я вам ссылку дал. Там было живо. Как сейчас не знаю, уже года два как на BI нет времени. Есть мощные блоги на английском, но опять же - они полезные, если вы хотя бы на чём-нибудь программировали, прочитали спецификацию языка, тогда чтение их поможет быстрее войти в курс дела.

И просто подумайте по поводу индивидуального обучения. Минимум 40 часов. Текущая минимальная ставка 500р час. Если преподавателю нужно будет готовить материалы конкретно под ваши данные, то ещё часов 20-30 на подготовку. Итого где-то 30-40 тысяч рублей. Вы к этому готовы? Так объявите цену. Глядишь и учитель найдётся.
Изменено: Андрей VG - 10.06.2020 22:53:38
 
Цитата
Kerel: не хочу на него переходить и вряд ли смогу, все ведь условно движется в относительное упрощение
SQL это как раз и просто и очень распространённо, т.к. это "базовый" язык для извлечения данных откуда-то ни было
Вряд ли в ближайшем будущем будут его как-то заменять, а если вы думаете, что PQ или PP проще, то вы точно дальше "кнопкотыканья" не ушли  :)
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Цитата
Kerel написал:
все ведь условно движется в относительное упрощение
Да куда уж проще, чем SQL? Сплошная декларация. Запрос же там пишется
Выбрать такие-то столбцы Из таблицы такой-то соединяя с таблицей такой-то Где такие-то условия Группируя по таким-то столбцам Сортируя по таким-то столбцам. Ну, да язык английский и что?
Что тут сложного-то?! Не подменяете ли вы понятия упрощение и примитивизацию? Определять и логически рассуждать на основе определений всё равно нужно будет нужно.
Изменено: Андрей VG - 10.06.2020 23:52:59
 
Kerel,слушайте, а зачем вам платить за обучение? В этом деле, в основном, выигрывают учителя. Ученик же за час-два обучения (неизвестно сколько там будет воды) получит знаний для решения узконаправленной задачи. И так каждое обучение даст знаний для решений отдельной задачи. А на практике получится что ученик знает как решить 50% задачи, а половину не сможет решить. И так с каждой задачей плюс минус проценты.
Не лучше ли, как было в моем случае, найти в интернете курсы вебинаров и просмотреть эти курсы один раз, а если надо, то два, три, четыре раза. При погружении с головой курс можно просмотреть за два-три дня, а в реале эти курсы растянуты на пару недель. На этих вебинарах, как правило, учат кнопочным простым решениям, но как раз все сложные вопросы состоят из простых решений вкупе. Понять работу часто используемых функций.  Далее практика, например, на этом форуме: поиском выбрать темы по интересующим вопросам и просматривать решения. Опять же, как правило, в каждой теме будут простые кнопочные понятные решения и будут не кнопочные решения, поначалу непонятные, а со временем и их поймете, а позже и сами начнете делать такие решения. Времени правда много потребуется.
Цитата
Kerel написал:
побыстрее чтоб  работало (строк много - 12 млн, столбцов 11).Например, как сделать так, чтобы уже закачанные данные в  модель и которые лежат в папках 2017-2019 гг. не  проверялись/обновлялись. При этом к ним бы добавлялись/подгружались  только свежие таблицы - 2020 г.
В любом случае, для загрузки требуется время. Сколько сейчас уходит времени на запрос?
Может, есть смысл и возможность обработанные данные за 2017-2019 гг сохранить в отдельные, например, текстовые  файлы и потом только подгружать их к данным 2020 года
 
Цитата
Михаил Л написал:
Времени правда много потребуется.
Именно поэтому. Я прошел базовый курс на курсере и дз сделал за 5-7 дней. И даже сделал несколько тем-вопросов на форуме. Спасибо, тут ответили.

Когда начал применять к своим практическим задачам, но есть большие массивы, которые я хотел бы объединить. Пока не получается, но постоянно их дорабатываю. Пока затык с тем как сделать, чтобы постоянно 12-13 млн строк не подгружалось.


Цитата
Михаил Л написал:
а зачем вам платить за обучение?
Если я смогу на 50% закрыть задачу - это уже будет очень сильно. По кр мере я буду конкретнее знать как правильно задать вопрос, какую задачу решаю и т.д.


Цитата
Михаил Л написал:
В любом случае, для загрузки требуется время. Сколько сейчас уходит времени на запрос?Может, есть смысл и возможность обработанные данные за 2017-2019 гг сохранить в отдельные, например, текстовые  файлы и потом только подгружать их к данным 2020 года
На запрос уходит часа 2-3. Работаю с базой ТНВЭД, что уж таить.
Что имеется ввиду под  "текстовые  файлы и потом только подгружать их к данным 2020 года"? Сохранять их не в эксель, а в csv?

То есть исходный файл - разложить на индексы - сохранить в индексах - обратно загрузить в базу, добавив 2020 г.?


Об этом в Курилке также мне сообщил Андрей VG - о warehouse системе....
Вот поэтому хотел бы консультации по Зуму - мне кажется это эффективно. Готов  и пиво поставить и деньгами ) 500 р/час меня устраивает.
 
Цитата
Андрей VG написал:
Потому что крутые BI-щики в основном тут не ходят - это форум всё же в основном по Excel. Попробуйте своё предложение опубликовать в группе  Power BI, Excel в интернет-маркетинге и не только . Можете там же поизучать кое-что из уже опубликованного  Модули.
хорошая группа, завис там... у меня уже столько кладок открыто )))))


Цитата
Андрей VG написал:
Что тут сложного-то?! Не подменяете ли вы понятия упрощение и примитивизацию? Определять и логически рассуждать на основе определений всё равно нужно будет нужно.
Стараюсь без примитива. Раньше на кнопочном телефоне для бабушки ставил горячие клавиши на звонки 1,2,3. А теперь бац - звездочкой выделил контакт и он уже в избранных. Или вот камеру включить - палец вверх и работает.
Логически согласен.
Изменено: Kerel - 13.06.2020 16:40:30
 
Цитата
Kerel написал:
На запрос уходит часа 2-3. Работаю с базой ТНВЭД
Ахренеть конешно!
Что такое тнвэд - не знаю.
Вы писали
Цитата
Kerel написал:
(строк много - 12 млн, столбцов 11)
Это за 2017-2020 года?
Цитата
Михаил Л написал:
обработанные данные за 2017-2019 гг сохранить в отдельные, например, текстовые  файлы и потом только подгружать их к данным 2020 года
Имел ввиду обработать запросом данные, например, за 2017-2019 года и сохранить обработанные данные в текстовом файле. Выгружать на лист по миллиону строк и сохранять, например, этим методом. А, когда надо, загружать эти данные готовыми и соединять с данными за 2020 год, обработанным отдельно.

Но у вас уходит 2-3 часа странно как-то. Хотя все может быть.
Попробуйте открыть тему и покажите пример строк 200 с вашим запросом.
Страницы: 1
Наверх