Поиск  Пользователи  Правила  Войти
Форумы "Планета Excel" » Вопросы по Microsoft Excel
Страницы: 1
RSS
Удаление дубликатов из столбца с наименованием товаров перед загрузкой в модель данных Power Pivot
 
#1
17.05.2018 12:28:57
Приветствую форумчане!
Возникла проблемка, в модели данных Power Pivot не удается создать связь между 2-мя полями в разных таблицах. Пишет, что в каждом столбце повторяющиеся значения см.Рис1. Хотя в одной из таблиц я  убрал все дубликаты с помощью соответст функции "убрать дубликаты" см. Рис 2. Правда уникальных значений там порядка 13000, может в этом загвоздка?
 
 
 
#2
17.05.2018 12:31:57
как вариант проверить еще табл  УФ на повторяющиеся значения, покажет повторяющиеся.
 
 
 
#3
17.05.2018 12:35:30
А файлик с одним столбцом с дубликатами можете выложить? В 300Кб должны уложиться. Иначе там гадать можно до китайской пасхи.
Изменено: PooHkrd - 17.05.2018 12:36:09
Вот горшок пустой, он предмет простой...
 
 
 
#4
17.05.2018 12:38:07
Цитата
Александр L написал:
как вариант проверить еще табл  УФ на повторяющиеся значения, покажет повторяющиеся.
Имеете ввиду фильтр в таблице? Если да, то я не знаю как в нем искать повторяющтеся значения, во вторых он не выводит все значения потому что из 13000.
 
 
 
#5
17.05.2018 12:41:28
Нет, он имел в виду сделать условное форматирование как на прикрепленной картинке, а потом выбрать фильтром по цвету повторяющиеся значения.
Вот горшок пустой, он предмет простой...
 
 
 
#6
17.05.2018 12:44:19
Цитата
PooHkrd написал:
А файлик с одним столбцом с дубликатами можете выложить? В 300Кб должны уложиться. Иначе там гадать можно до китайской пасхи.
Вот файл со столбцом с дубликатами.
 
 
 
#7
17.05.2018 12:44:27
Вложите пример , можно просмотреть проверить.
 
 
 
#8
17.05.2018 12:50:55
Вот вам дубликаты и количество повторений. Вычислил при помощи сводной таблицы.
Можно еще формулой
Код
=СЧЁТЕСЛИ(A:A;A2)

Вставьте в ячейку B2 и протяните вниз. Результат аналогичный, только ждать дольше.
Изменено: PooHkrd - 17.05.2018 12:54:03
Вот горшок пустой, он предмет простой...
 
 
 
#9
17.05.2018 13:05:06
Цитата
PooHkrd написал:
Вот вам дубликаты и количество повторений
Спасибо, но у вас потерялось много значений. Там уникальных осталось 1250, к примеру "2126643 КАЛИБР-ПРОБКА 219Х8 ЧЕРТЕЖ 125-598.000-047" вот наименование и тому подобные у вас исчезли из списка. Может быть можно отсортировать уникальные значения в самом Power Pivot, или в редакторе запросов Power Query?
Изменено: Dimon174 - 17.05.2018 13:06:03
 
 
 
#10
17.05.2018 13:10:33
Они не потерялись, я просто оставил в списке только дубли.
Более того, я вам описал 2 способа получения нужного вам результата. Нужели так сложно повторить самостоятельно?
В PP оставить уникальные значения не получится, а вот средствами PQ - легко, там на панели есть специальная кнопка по удалению строк с дубликатами.
З.Ы. У вас вроде есть столбец с артикулами, зачем взять таблицы через наименование? Это чревато кривыми результатами в отчетности.
Изменено: PooHkrd - 17.05.2018 13:14:10
Вот горшок пустой, он предмет простой...
 
 
 
#11
17.05.2018 13:11:17
Dimon174, смотрите внимательно, PooHkrd оставил только дубликаты
 
 
 
#12
17.05.2018 13:13:29
А понял, вы дубликаты выслали. Просто вы видимо дописывали сообщение и я не увидел объяснение. Спасибо.
 
 
 
#13
17.05.2018 13:25:55
Цитата
PooHkrd написал:
Они не потерялись, я просто оставил в списке только дубли.
Я все понял и проверил свой список с помощью вашей формулы, повторяющихся значений нет (только 1), однако проблема связки полей в модели данных Power Pivot не устранилась, программа все равно считает, что данные не уникальные, все-таки думаю что это из-за большого количества унакальныз значений их более 13000.
 
 
 
#14
17.05.2018 13:31:31
Цитата
Dimon174 написал:
думаю что это из-за большого количества унакальныз значений их более 13000.
Только вчера делал отчет через связь один ко многом с 72 тыс. уникальных строк. Отрабатывает без проблем. Думаю ваша проблема в другом.
«Бритва Оккама» или «Принцип Калашникова»?
 
 
 
#15
17.05.2018 13:32:30
Значит что-то вы не так проверили. Сколько повторяющихся значений я вам указал.
Загружайте вашу таблицу в модель данных через PQ и по столбцу с наименованием сделайте 2 действия:
1. Понизить регистр
2. Удалить дубликаты
Потом уже грузите в модель - будет вам счастье.
Вот горшок пустой, он предмет простой...
 
 
 
#16
17.05.2018 13:36:28
Цитата
bedvit написал: Думаю ваша проблема в другом.
Тогда буду искать проблему.
 
 
 
#17
17.05.2018 13:48:43
Dimon174, вот таким кодом
Код
let
    Источник = Excel.CurrentWorkbook(){[Name="Таблица1"]}[Content],
    #"Измененный тип" = Table.TransformColumnTypes(Источник,{{"НаименованиеПолное", type text}}),
    #"Удаленные дубликаты" = Table.Distinct(#"Измененный тип")
in
    #"Удаленные дубликаты"

у меня получилось 13138 уникальных записей из 14412, т.е. удалено дублей 1274
Как у вас получается 1 запись?
 
 
 
#18
17.05.2018 14:07:40
Цитата
PooHkrd написал:
Загружайте вашу таблицу в модель данных через PQ и по столбцу с наименованием сделайте 2 действия:1. Понизить регистр
Понизить регистр, это что такое, малость не понимаю? :)
Нижний регистр?
Изменено: Dimon174 - 17.05.2018 14:09:01
 
 
 
#19
17.05.2018 14:14:58
Dimon174, есть заглавные буквы: А - это верхний регистр, есть прописные: а - это нижний регистр.
 
 
 
#20
17.05.2018 14:20:18
Ну не знаю друзья, спасибо вам большое за участие, но поробовал через PQ удалить дубликаты, не хочет программа признавать уникальными значениями этот столбик хоть тресни!
 
 
 
#21
17.05.2018 14:27:41
Вот таким кодом попробуйте.
У меня все получилось.
Код
let
    Источник = Excel.CurrentWorkbook(){[Name="Таблица1"]}[Content],
    #"Измененный тип" = Table.TransformColumnTypes(Источник,{{"НаименованиеПолное", type text}}),
    #"Дублированный столбец" = Table.DuplicateColumn(#"Измененный тип", "НаименованиеПолное", "Копия НаименованиеПолное"),
    #"Текст в нижнем регистре" = Table.TransformColumns(#"Дублированный столбец",{{"Копия НаименованиеПолное", Text.Lower}}),
    #"Обрезанный текст" = Table.TransformColumns(#"Текст в нижнем регистре",{{"Копия НаименованиеПолное", Text.Trim}}),
    #"Очищенный текст" = Table.TransformColumns(#"Обрезанный текст",{{"Копия НаименованиеПолное", Text.Clean}}),
    #"Удаленные дубликаты" = Table.Distinct(#"Очищенный текст", {"Копия НаименованиеПолное"}),
    #"Удаленные столбцы" = Table.RemoveColumns(#"Удаленные дубликаты",{"Копия НаименованиеПолное"})
in
    #"Удаленные столбцы"
Вот горшок пустой, он предмет простой...
 
 
 
#22
17.05.2018 15:26:32
Похоже в самих данных что-то не то.
 
 
 
#23
17.05.2018 16:07:46
Да что опять не то?
Я ж вам дал конкретный код запроса, который убирает вообще все дубликаты. После погружения таблицы этим кодом в модель данных Power Pivot у меня уже не ругался на дубликаты при установке связи с другой таблицей. Так что берите на вооружение и стройте модель.
И для модераторов, если вдруг кто зайдет, предлагаю переименовать тему:
Удаление дубликатов из столбца с наименованием товаров перед загрузкой в модель данных Power Pivot
Изменено: PooHkrd - 17.05.2018 18:12:35
Вот горшок пустой, он предмет простой...
 
 
 
Страницы: 1
Наверх