Als Abonnent meines Newsletters erhältst Du die Beispieldateien zu den Beiträgen dazu. Hier geht’s zum Abonnement des Newsletters!

DIE PROBLEMSTELLUNG

Beim Import aus Exceldateien via Power Query, können technische Fehler wie #NV, #DIV/0! und #NAME? auftreten. Diese technischen Fehler müssen fachlich geprüft und behoben werden. Um diese Fehler bei einer Vielzahl von zu importierenden Datei leicht ausfindig zu machen, habe ich ein kleines Tool entwickelt, das ich Dir im folgenden Video vorstellen möchte.

LÖSUNGSVIDEO

Danke für Dein Interesse und bis zum nächsten Mal. Denk dran: Sharing is caring. Wenn Dir der Beitrag gefallen hat, dann teile ihn gerne. Falls Du Anmerkungen hast, schreibe gerne einen Kommentar, oder schicke mir eine Mail an lars@ssbi-blog.de

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Fehler in Exceldateien finden und beheben mit Power Query erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Als Abonnent meines Newsletters erhältst Du die Beispieldateien zu den Beiträgen dazu. Hier geht’s zum Abonnement des Newsletters!

DIE PROBLEMSTELLUNG

Arbeitstage sind häufig eine Basis für Effizienzkennziffern. Jedoch variieren diese zwischen Jahren und Bundesländern – zwischen Ländern sowieso. Daher habe ich eine Power Query-Funktion entwickelt, die dies automatisiert übernehmen soll. Diese möchte ich Dir hier zur Verfügung stellen. Im unten befindlichen Video stelle ich sie im Detail vor. Viel Spaß damit 😉

Die Funktion

Falls Du wissen möchtest, wie Du meine M-Funktionen in Deinen Projekten wiederverwenden kannst, schau bitte hier nach.

LÖSUNGSVIDEO

Danke für Dein Interesse und bis zum nächsten Mal. Denk dran: Sharing is caring. Wenn Dir der Beitrag gefallen hat, dann teile ihn gerne. Falls Du Anmerkungen hast, schreibe gerne einen Kommentar, oder schicke mir eine Mail an lars@ssbi-blog.de

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Arbeitstage für Deutschland, Österreich und Luxemburg ermitteln mit Power Query erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Als Abonnent meines Newsletters erhältst Du die Beispieldateien zu den Beiträgen dazu. Hier geht’s zum Abonnement des Newsletters!

Warum überhaupt eine separate Zeittabelle?

Die DAX Time-Intelligence-Funktionen machen es notwendig, dass eine Kalendertabelle genau eine Zeile pro Kalendertag aufweist. Es ist daher nicht möglich, eine Kalendertabelle auf Stundenebene, oder gar noch granularer zu gestalten. Sollten Dich dazu mehr Details interessieren, wirst Du in diesem meiner Artikel fündig.

Meine Zeittabellenfunktion

Wie auch bei meiner Kalendertabellenfunktion, mag ich es, wiederkehrende Power Query-Aufgaben in M-Funktionen zu kapseln. Hier ist meine Zeittabellenfunktion:

Falls Du wissen möchtest, wie Du eine Funktion in Power BI wiederverwendest, findest Du hier eine kurze Anleitung dazu. Als nächstes möchte ich ein paar Worte zu den Parametern dieser Funktion verlieren.

Parameter

Die Funktion benötigt lediglich einen Parameter. Du musst wählen, ob Du die Tabelle mit der Genauigkeit Stunde, Minute oder Sekunde brauchst.

Je nach Auswahl des Parameters, ergeben sich verschiedene Zeittabellen.

Verschiedene Zeittabellen

Je nach Detaillierungsgrad Deiner Zeittabelle (auf Basis Stunde, Minute oder Sekunde) ergibt sich eine der folgenden drei Tabellen. Schauen wir uns die 3 unterschiedlichen Tabellen näher an.

Tabelle auf Basis der Stunde im Detail

Anzahl Datensätze: 24 – einer pro Stunde

Struktur: Die Spalte Zeit dient als Primärschlüssel für die Beziehung zur Faktentabelle. Die Spalte Stunde liegt in Textform vor und kann damit einfach als Dimension in Visualisierungen oder Slicern genutzt werden.

Tabelle auf Basis der Minute im Detail

Anzahl Datensätze: 1.440 – einer pro Minute.

Struktur: Die Spalte Zeit dient als Primärschlüssel für die Beziehung zur Faktentabelle. Die Spalten Stunde und Minute liegen in Textform vor und können damit einfach als Dimension in Visualisierungen oder Slicern genutzt werden.

Spalte S_M: Diese Spalte kombiniert Stunden und Minuten in Textform miteinander und kann somit ebenfalls einfach als Dimension in Visualisierungen oder Slicern genutzt werden.

Tabelle auf Basis der Sekunde im Detail

Anzahl Datensätze: 86.400 – einer pro Sekunde.

Struktur: Die Spalte Zeit dient als Primärschlüssel für die Beziehung zur Faktentabelle. Die Spalten Stunde, Minute und Sekunde liegen in Textform vor und können damit einfach als Dimension in Visualisierungen oder Slicern genutzt werden.

Spalten S_M und S_M_S: S_M kombiniert Stunden und Minuten in Textform miteinander. S_M_S kombiniert Stunden, Minuten und Sekunden in Textform. Beide Spalten können einfach als Dimension in Visualisierungen oder Slicern genutzt werden.

Zeit-Segmente

Häufig besteht in zeitbezogenen Analysen der Bedarf, Zeiteinheiten zu segmentieren. Man möchte also bspw. nicht jede Minute im Detail sehen, sondern vier Viertelstunden. Hierfür sind meine optionalen Zeit-Segment-Parameter vorhanden, die es Dir ermöglichen, ein Segment je Stunde, Minute und Sekunde zu erstellen.

Im folgenden Video stelle ich Dir die Funktion und dessen Anwendung vor.

Video

Ich hoffe, diese Funktion erleichtert Dir die Arbeit 🙂

Bis zum nächsten Mal und denk dran: Sharing is caring. Wenn Dir der Beitrag gefallen hat, dann teile ihn gerne. Falls Du Anmerkungen hast, schreibe gerne einen Kommentar, oder schicke mir eine Mail an lars@ssbi-blog.de

Viele Grüße aus Hamburg,

Lars

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Meine projekterprobte Zeittabelle für Power BI und Power Pivot erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Expectation management

To clear up any misunderstandings right at the beginning: No, my tool does not translate your data model by itself. You have to translate the names of tables, columns and measures yourself. But in this post I provide you with a practical solution that reduces your manual effort in Tabular Editor to a minimum after you have done the translation of the objects. You don’t have to create the individual languages (aka „cultures“) manually and then right click and rename each individual table, column and measure with a mouse click. My tool does that for you. There is already a well-documented solution to this problem by Kasper de Jonge, but it boils down to editing JSON files. However, if you – like me – prefer editing in tabular form in an Excel file, then my current post should help you. In addition, there is an excellent article from the Tabular Editor team, from whom I learned a lot about how the process works manually.

Requirements

In my attempt to find a solution for Excel-based translations, I asked Daniel Otykier – the creator of Tabular Editor – how it is possible to programmatically translate the objects of the data model via C#. Daniel was then kind enough to point me to the macro recorder in Tabular Editor 3 to see how to create languages and do translations for the individual objects via C# script. TE3 is an amazing tool. If you can afford it, buy it! Anyway: Because TE2 is free (download it here), I’ll show you how to do it with TE2.  To follow my solution path two requirements must be met:

• You need a version of Tabular Editor (2 or 3) and
• Your data model must be in a premium workspace (premium per capacity or per user) otherwise your translations in Power BI Desktop won’t reach the service.

Before we look at how the whole thing works, a few words about the available languages.

Available languages – or: How to translate into Hebrew and Arabic

When you save a Power BI Desktop file for the first time, the file remembers the initial model language (or default language), which you can determine as follows:

This list contains 42 different languages.

If you go into the Power BI service, you can change the language of the UI there as follows:

This list contains 44 languages, 2 more than the list in Power BI Desktop. What is the difference? The Power BI service additionally contains the two languages Arabic and Hebrew. The question why these two languages are missing in Power BI Desktop can be answered quickly by selecting one of the two languages in the Power BI service (here using Hebrew as an example):

Here, everything suddenly looks upside down. In Arabic it is the same. While this is implementable in a web application like the Power BI service, I guess it would have meant significantly more effort for Power BI Desktop as a desktop application. But that is just a guess.

What my tiny Excel tool does

At the end of this article you will find a video in which I show you how to use the Excel file. Nevertheless, I summarize here briefly the steps that can be implemented with the Excel file.

1. Load tables, columns and measures from the model into the excel file

In order to translate the individual objects within Excel, I first have to get them in the initial model language in my Excel file. So that I don’t have to do this manually, I have integrated a Power Query solution that, based on the current process ID of the open Power BI Desktop file, reads these into the sheets ‚Translation – Tables‘, ‚Translation – Columns‘ and ‚Translation – Measures‘.

2. Get the right culture code for your language.

Microsoft has a detailed documentation about which languages are supported in Power BI. Unfortunately, I only noticed this after I started a discussion on Twitter to help me identify the languages (thanks to everyone who participated 😉 ). What is unfortunately missing in this documentation is the corresponding ‚Culture Code‘ of each language, because I need this when I want to create a translation in the data model. An example: For the language ‚Chinese (Simplified)‘ there are – as far as I know – 4 different culture codes: „zh-Hans“, „zh“, „zh-CN“, „zh-SG“. „zh“ is recognized by the Power BI service, „zh-HK“ for example is not. Therefore, I searched for a working Culture Code for each of these 44 languages and checked it against the Power BI service.

You simply select the desired language via the dropdown (the dropdown offers the language in English and in the original language, which can be very helpful) and the Culture Code then results by itself. My tool is made for up to 5 translations, but you can extend that, if you will.

3. Translate tables, columns and measures in an Excel sheet

After loading the objects of the data model into the Excel file and defining the up to 5 languages you want to translate into, you can perform the translation in tabular form in the sheets ‚Translation – Tables‘, ‚Translation – Columns‘ and ‚Translation – Measures‘.

4. Get the C# code you need for tabular editor

Now that the translations are in Excel, I still need to get them into the data model. For this, my tool generates C# code in 2 places, which I can simply paste into the Advanced Scripting window of Tabular Editor.

• Place #1: Sheet ‚Create Cultures‘ → you will find in column E the code to create the cultures in Tabular Editor.

• Place #2: Sheet ‚ALL TRANSLATIONS‘ → This table is based on a power query that combines the translations from the sheets ‚Translation – Tables‘, ‚Translation – Columns‘ and ‚Translation – Measures‘. Update this query and paste the content of the first column into the Advanced Scripting window of Tabular Editor and your translations are done 🙂

Download

You can download my Excel file here.

Known Limitations

If your data model changes – e.g. you add measures and now also want to translate these – then reloading the tables, columns and measures can lead to the fact that the translations already made are no longer in the correct row.

Video

Cheers from Germany,

Lars

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag How to speed up metadata translations in Power BI erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Als Abonnent meines Newsletters erhältst Du die Beispieldateien zu den Beiträgen dazu. Hier geht’s zum Abonnement des Newsletters!

Wieso eine Kalendertabelle?

Falls Du Dir die Frage stellst, wozu Du eine solche Tabelle überhaupt benötigst und was die Folgen sein könnten, wenn Du sie nicht (so) in Dein Datenmodell integrierst, lies bitte meine zweiteilige Reihe zu Kalendertabellen in Power BI und Power Pivot. Danach solltest Du ein Verständnis dafür haben, warum Du sie benötigst.

Meine Kalendertabellenfunktion

Um nicht in jedem Projekt wieder mit der Erstellung einer neuen Kalendertabelle starten zu müssen, habe ich mir die am häufigsten auftretenden Business-Anforderungen an eine Kalendertabelle in einer entsprechenden M-Funktion gekapselt. Ich behaupte nicht, dass diese Funktion für jedes Projekt ausreichend ist. Aber sie bietet auf jeden Fall einen sehr guten Startpunkt und kann durch Dich natürlich entsprechend erweitert werden, wenn der Bedarf bestehen sollte. In den allermeisten meiner Projekte war die Funktion jedoch vollkommen ausreichend.

Falls Du wissen möchtest, wie Du eine Funktion in Power BI wiederverwendest, findest Du hier eine kurze Anleitung dazu. Als nächstes möchte ich ein paar Worte zu den Parametern dieser Funktion verlieren.

Parameter

Um die Kalendertabelle erstellen zu können, benötigt meine Funktion ein paar wenige Parameter. Diese unterscheiden sich in notwendige und optionale Parameter.

Notwendige Parameter

In meiner oben erwähnten Reihe zu Kalendertabellen in Power BI habe ich detailliert die Ansprüche an eine solche Tabelle herausgearbeitet. Kurz zusammengefasst benötigt eine Kalendertabelle zwingend eine Spalte vom Typ Datum, die lückenlos – möglichst für komplette Jahre – genau einen Eintrag pro Kalendertag aufweist. Dies berücksichtigt meine Funktion und benötigt daher das StartJahr. Da sich Kalendertabellen bei fortschreitenden Jahren in der Regel an diese anpassen sollen, fragt der zweite Parameter JahreInDieZukunft danach, wie viele Jahre die Kalendertabelle – ausgehend vom Kalenderjahr des heutigen Tages – in die Zukunft gehen soll. Falls Dein Datenmodell also Budgetwerte für die kommenden 3 Jahre beinhaltet, sollte dieser Parameter 3 lauten. Beide Parameter werden als Ganzzahl übergeben. Hieraus wird eine Tabelle erzeugt, die vom 1. Januar des Startjahres bis zum 31. Dezember des Endjahres (=aktuelles Jahr + JahreInDieZukunft) geht.

Neben diesen beiden notwendigen Parametern, kann meine Funktion 2 weitere Parameter verarbeiten, die für die Funktionsweise jedoch nicht essentiell sind, weil sie nicht in jedem Projekt benötigt werden.

Optionale Parameter

Die optionalen Parameter sind für Sonderfälle gedacht, die nicht in jedem Projekt eine Rolle spielen. Hierbei handelt es sich um die Möglichkeit die sog. Culture von Deutsch auf eine andere Sprache zu ändern und ein eventuell vom Kalenderjahr abweichendes Geschäftsjahr zu berücksichtigen.

Culture (optional)

In der Programmiersprache M gibt es diverse Funktionen, die einen Parameter Culture akzeptieren. Für meine Kalendertabelle ist das für Textspalten sinnvoll. So kann ich über die Auswahl der Culture „en-US“ definieren, dass Tagesnamen und Monatsnamen auf Englisch abgebildet werden und nicht auf Deutsch. Meine Funktion bietet die Möglichkeit zwischen Deutsch („de-de“), Englisch („en-US“), Französisch („fr-FR“) und Spanisch („es-ES“) zu wählen. Die Integration weiterer Sprachen ist auf Basis der hier abgebildeten Auflistung von Cultures jedoch problemlos möglich. Wichtig ist es an dieser Stelle zu bemerken, dass sich die Culture lediglich auf den Inhalt der Spalten, nicht aber auf die Spaltenüberschriften auswirkt. Eine Mehrsprachigkeit meines Datenmodells kann ich hierüber nicht erzielen.

StartFiskaljahr (optional)

Nicht jedes Geschäftsjahr beginnt mit dem 01. Januar. Bei Microsoft ist der Geschäftsjahresanfang beispielsweise der 01. Juli eines Jahres. Dies führt dazu, dass der Januar des Jahres 2021 , der 7. Monat im Geschäftsjahr 2020 von Microsoft ist, obwohl es sich ja um das Kalenderjahr 2021 handelt. Sofern ich diese Logik in einem Kundenprojekt benötigt, kann ich den Startmonat des Geschäftsjahres mit angeben und bekomme ausschließlich dann weitere Spalten in meiner Kalendertabelle hinzugefügt, die diese Logik integrieren.

Solche Logiken können beispielsweise nützlich für die Sortierung von Monatsnamen in Slicern oder anderen Visualisierungen sein (man würde im genannten Fall vermutlich wollen, dass der erste Monat im Slicer der Juli ist und der letzte der Juni). Aber natürlich auch für die Nutzung in Time-Intelligence-Funktionen in DAX kann eine solche Tabelle sehr nützlich sein.

Erläuterungen zu den verschiedenen Spalten

Alle Spalten innerhalb der Tabelle habe ich – zumindest für meinen Begriff – sprechend benannt. Erklärungsbedürftig könnten dennoch die Spalten mit den Suffixen “ #“ und speziell „Key #“ sein.

“ #“-Spalten

Alle Spalten, die eine Raute „#“ aufweisen, sind nummerische Spalten. Der Unterschied zwischen den Spalten „Quartal“ und „Quartal #“ ist, dass das Quartal mit „Q1“ bis „Q4“ vom Typ Text ist und, die Spalte „Quartal #“ mit 1 bis 4 vom Typ Zahl ist. Nummerische Spalten können zum Rechnen in DAX-Ausdrücken benutzt werden, aber auch, um andere Textspalten danach zu sortieren. Hierfür stelle ich weiter unten ein C#-Skript zur Verfügung, das Du mit dem externen Tool Tabular Editor nutzen kannst, um Dir das Leben zu erleichtern.

„Key #“-Spalten

Time-Intelligence-Funktionalitäten sind eine geniale Sache in DAX. Einfach TOTALYTD() zu nutzen, um zur Laufzeit einen Year-to-date-Wert zu kalkulieren, ist großartig. Manchmal muss ich jedoch eigene TI-Funktionen in DAX schreiben, weil die Standardfunktionen das so nicht anbieten. Dies trifft beispielsweise zu, wenn ich mit Iso-Kalenderwochen arbeite. Um hier auch jahresübergreifend auf Vorwochen zugreifen zu können, gibt es die Spalte „IsoKWKey“, mit der z. B. folgendes Measure möglich wäre:

Umsatz Vorwoche =
CALCULATE (
    SUM ( Fact[Umsatz] ),
    FILTER (
        ALL ( Kalender ),
        Kalender[IsoKWKey]
            = MAX ( Kalender[IsoKWKey] ) – 1
    )
)

Diese „Key #“-Spalten sollten dem Berichtsersteller eher vorenthalten werden, weil es rein technische Spalten für die Erstellung von Measures oder das Sortieren von Textspalten sind.

„Relative #“-Spalten

Häufig wird in Projekte gefordert, einen Filtern in einen Bericht einzubauen, der dafür sorgt, dass mir alle Daten immer für den aktuellen Tag, die aktuelle Woche, den aktuellen Monat, das aktuelle Jahr usw. angezeigt werden, sobald die Daten aktualisiert sind. Marcus Wegener gab mir den Tipp, hier doch relative Spalten einzubauen, die mich auch den gestrigen Tag ([Relativer Tag #] = -1) oder das vorletzte Quartal ([Relatives Quartal #] = -2) auswählen lassen. Der folgende Screenshot zeigt, dass der 12.09.2022 der heutige Tag ist (an diesem aktualisiere ich diesen Artikel) und davon ausgehend die Vergangenheit mit negativen Zahlen und die Zukunft mit positiven Zahlen gekennzeichnet ist.

Ein C#-Skript für Tabular Editor zur automatischen Integration der Kalendertabelle ins Datenmodell

Um das Sortieren von Textspalten, das Ausblenden von Key-Spalten und das Nicht-Aggregieren von nummerischen Spalten nicht von Hand einstellen zu müssen, habe ich ein Skript geschrieben, dass dies in Tabular Editor für Dich automatisiert umsetzt.

Wie Du das Skript nutzen kannst, zeige ich Dir in meine Erklärvideo.

Mein Erklärvideo

Ich hoffe meine Tabelle ist Dir eine Hilfe. Wenn Du weitere Ideen hast, die in diese Tabelle integriert werden sollten, schick mir gerne eine Mail und ich sehe, was ich tun kann 😉

Bis zum nächsten Mal und denk dran: Sharing is caring. Wenn Dir der Beitrag gefallen hat, dann teile ihn gerne. Falls Du Anmerkungen hast, schreibe gerne einen Kommentar, oder schicke mir eine Mail an lars@ssbi-blog.de

Viele Grüße aus Hamburg,

Lars

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Meine projekterprobte Kalendertabelle für Power BI und Power Pivot erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Als Abonnent meines Newsletters erhältst Du die Beispieldateien zu den Beiträgen dazu. Hier geht’s zum Abonnement des Newsletters!

Die Datenquelle

Um die Feiertage je Bundesland zu ermitteln, bediene ich mich der Dienste der Website https://www.arbeitstage.org/. Neben Feiertagen liefert diese Website auch Arbeitstage und Ferientage je Bundesland. Die Feiertage werden seit dem Jahr 2000 dokumentiert. Ein sehr nützlicher Dienst, den ich prima mit Power Query automatisiert auslesen kann.

Die Funktion

Um die Web-Abfrage nicht jedes Mal von Hand erstellen zu müssen, habe ich eine Funktion geschrieben, der lediglich das gewünschte Kalenderjahr als Parameter übergeben werden muss. Das Ergebnis ist dann eine Tabelle mit allen deutschen Bundesländern und den dazugehörigen Feiertagen. Ich bin mir sehr wohl bewußt darüber, dass es innerhalb Deutschlands Feiertage gibt, die sich nicht nur je Bundesland unterscheiden, sondern auch innerhalb eines Bundeslandes je Region verschieden sein können. Dem wird hier nicht Rechnung getragen.

Falls Du wissen möchtest, wie Du meine M-Funktionen in Deinen Projekten wiederverwenden kannst, schau bitte hier nach. Sofern Du diese Lösung für Qlik benötigst, findest Du eine entsprechende Lösung bei meinem Kollegen Mathias Schreiber (nein, wir sind nicht verwandt :-))

Bis zum nächsten Mal und denk dran: Sharing is caring. Wenn Dir der Beitrag gefallen hat, dann teile ihn gerne. Falls Du Anmerkungen hast, schreibe gerne einen Kommentar, oder schicke mir eine Mail an lars@ssbi-blog.de

Viele Grüße aus Hamburg,

Lars

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Automatisch alle deutschen Feiertage je Bundesland ermitteln erschien zuerst auf THE SELF-SERVICE-BI BLOG.

When I work with customers‘ pbix files, I often deal with files with several hundred measures. At the beginning I like to get an overview which of these measures might not be used at all and could possibly be removed. For this purpose, I have developed a method to locate these measures, which I would like to share in this article. Warning: Please note that this method does not consider the measures used in the Filter Pane! So before you delete a seemingly unused measure, please check if it was used in the Pane filter. 

You can download my report file at the end of this post. The download does not require a password. If you are still asked for your OneDrive password, change your browser to Edge.

The definition of unused measures

Unused Measures are Measures that are neither used in any visualization in the .pbix file nor referenced in other Measures, calculated columns or calculated tables! So how can I identify those Measures? Let’s find the answer together…

Gather the necessary information

To find the unused measures, I need the following information:

• A list of all existing measures in the .pbix file,
• A list of the measures used in the visualizations within the .pbix file
• A list of measures referenced by other measures, calculated columns and/or calculated tables.

The logic is the following: When I remove from the all measures list those measures that are used in visualizations, I have those measures that are not used in visualizations. But they can still be referenced in other calculations (and therefore cannot be removed). So, if I hold against the list of all referencing calculations here, I finally get the measures that are not used within the .pbix file.

Retrieve a list of all measures

Since Power BI Desktop runs an instance of SQL Server Analysis Services Tabular in the background, I can use a DMV (Data Management View) to get information about my data model. You can use Power Query to gather this information using the following single line of code:

= OleDb.Query("Provider=MSOLAP.8;Data Source=localhost:61200;Update Isolation Level=2", "SELECT * FROM $SYSTEM.MDSCHEMA_MEASURES")

The result looks like this:

Be aware, that the number 61200 has to be changed in your code, as this is the process ID of the instance of Analysis Services running on your machine. The easiest way to find this number on your machine is to run DAX Studio (download it here) and connect it to your (already opened) pbix file. When you are connected, you find the desired process number in the bottom line, as you can see here:

Now that we have a list of all measures, let’s find those measures, that are used in report pages.

Retrieve a list of Measures, used in report pages in Power BI Desktop

Since May 2019 Power BI Desktop has been equipped with the extremely useful „Performance Analyzer„. This tool helps to find starting points for the optimization of slow reports. But this tool also helps me to identify those measures that are actually used on report pages. Follow these steps:

1. Create a blank page
2. Go to View → Performance Analzer and make the pane visible
3. Click on Start recording
4. Then select each page, one after another and wait until the visuals are fully loaded
5. Press Stop
6. Export the JSON file

The JSON file contains all DAX queries, generated to update the visuals when selecting the page. If a measure is used in a visual, it is represented in the DAX query and I can extract that information from the JSON file. Of course I use Power Query to do that job for me and the result looks like this:

Intermediate result

With the retrieval of all measures and the JSON file, with all measures used in visuals, I can now make a comparison and determine which measures are not used in visuals. So far, so good. However, just because a measure is not used directly in a visual, it is not automatically unused. It can be referenced in other measures, calculated columns, or calculated tables. Therefore I would like to check whether these now determined measures are really completely unused before I decide how I want to proceed with them…

Retrieve a list of calculation dependencies

The DMV, which I used for the retrieval of all existing measures, is by far not the only one available. Another useful DMV I will use to determine the measures referenced by other measures, calculated columns, or calculated tables is the following: $SYSTEM.discover_calc_dependency (see documentation of this DMV here).

I can again use Power Query to retrieve the results of this DMV like so:

= OleDb.Query("Provider=MSOLAP.8;Data Source=localhost:61200;Update Isolation Level=2", "SELECT * FROM $SYSTEM.discover_calc_dependency")

Again, the process id 61200 has to be changed to find the Analysis Services instance on your machine.

The result looks like this:

This DMV returns a clear picture of the interdependencies of calculations. For me this DMV answers the question in which measures, calculated columns and/or calculated tables my measure is referenced. If a measure is not used in any visualization and does not appear in the calculation dependencies, it is unused.

The final table

With all this information, I can now create the following table, which tells me whether a measure is used in report pages and whether it is referenced in any way:

The screenshot shows in line 5 that the measure _Distinct_Medals is not used in visuals, but is at least referenced by other measures, calculated columns and/or tables. The measure „Not_used_anywhere“ is neither referenced nor used in visuals.

Download and usage of my Measure Analysis pbix file

I loaded all the described data from DMVs and the JSON export file into a pbix file and added a (very small, but helpful) report. Admittedly, I didn’t take any trouble with the optical design. I’ll leave that to you 😉

You can download the report file here.

Open the file and edit two parameters:

• the process ID of the Analysis Services instance
• the path and name of the exported JSON file (Make sure that your string does not contain quotation marks at the beginning and at the end)

After you have clicked OK, you will see the following message in the upper part of the report page:

Click on „Apply changes“ and click on „Run“ in the following dialog, to allow the run of the DMV MDSCHEMA_MEASURES:

Then you will be asked to enter your credentials. Use „Windows“ and „Use my current credentials“:

After you have entered your credentials, Power Query prompts you to determine the privacy levels for the data source. Since in this particular case the communication between this PBIX file and the Analysis Services instance is behind the file to be analyzed, you can safely click on „Ignore Privacy Levels…“:

Click on „Apply changes“ and click on „Run“ in the following dialog, to allow the run of the DMV :

After the model refreshed, you can use the following report:

Here is a short description of the report:

• Column1: Table name and Measure name.
• Column2: If the measure was stored in a folder, you can read it here.
• Column3: DAX-Expression of the measure
• Column4: Is the measure used in a visual, somewhere in this pbix file?
• Column5: Is this measure referenced by any measure, calculated column/ table in this pbix file?

I hope that this manual will help you to bring even more order into your data models 🙂

Greetings from Germany,

Lars

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag How to identify Measures not used in your pbix file erschien zuerst auf THE SELF-SERVICE-BI BLOG.

This post is not new. I published the first version on how to create your own Power Query Editor already in November 2015 on my old blog www.powerbi-usergroup.de. Many things changed since then. First: I changed my blog and created THE SELF-SERVICE-BI BLOG. Second: Many of the details I showed in my older post to create your own editor for Power Query with Notepad++ didn’t work anymore. Several circumstances had changed, so I had to change the post as well. Now let’s go. Get your Power Query Editor 😉

Hello Power Query enthusiasts,

many of you know that Power Query is an amazing tool for data import and data transformation. It is powerful an easy to use. But there is always a BUT. It is a pain to write custom M code. The Power Query Advanced Editor comes without intellisense (auto completion), no parameter hints, no syntax highlighting, no help texts, which explain what the functions do, no nothing. The fact, that M is case sensitive doesn’t make it easier at all.

In 2015 I read the following article, written by Matt Masson. Matt is a Senior Program Manager at Microsoft and member of the Power BI Developer Team. He showed how to create an editor for Power Query with Notepad++. At that time I did not even know that it was possible to create a custom language in Notepad++. Thanks a lot Matt 🙂

Matt’s tool already had intellisense and syntax highlighting. What I was still missing was parameter hints and help texts. The number of Power Query functions are getting more every month and I am always looking for the right function for my specific problem. This is why I was investigating a bit and found a solution, which I hope will be helping others as well.

I use my editor mainly in two scenarios:

Scenario 1: Finding the right function for my problem

Using the editor makes it much easier to find the function that fits your needs. Especially the help texts help you to get more familiar with the M language.

Scenario 2: Taking a look at M code with highlighted keywords and comments

Syntax highlighting helps to keep (or get) an overview over your M code. Commenting becomes more important, the longer and complex your M code gets.

If you are dealing with these scenarios as well and you find my solution interesting, please read further and learn how to get it. It is completely FREE and will take your M Code to the next level 🙂

Let’s see how to get there.

What you need to do to get your Power Query Editor

Creating your own M editor in Notepad++ is not complicated and can be seperated in the following steps:

1. Download Notepad++
2. Creating Keywords highlighting via the GUI of Notepad++
3. Adding parameter hints and help texts by using a specific XML file

I will guide to create your editor. Stay tuned 🙂

1. Download Notepad++

Of cause you need to download the free tool Notepad++ (e. g. from here).  I installed the first version („Take this one if you have no idea which one you should take„) on my machine.

2. Creating Keywords highlighting via the GUI of Notepad++

After you installed the software you need to do some modification in Notepad++. Go to Language and choose Define your language…

The form for defining the user defined language opens. Choose Create New… and give your language a name. I called it M.

Now you have to define special keywords and their styles. Go to tab Keywords Lists and fill the first group with all the functions from Power Query. (I provide this list for you at the very end of this article. Go there and click the link list of functions for keywords highlighting). Mark everything in Excel (ctrl + a), then copy (ctrl + c), move to 1st Group in Notepad++ and paste all the function into that box (ctrl + v). The result looks like this:

Then press Styler and style the keywords as you like it. I decide turn all my function keywords in deep blue and bold letter.

Take care also to select the check box for prefix mode. That way your keyword only get styled, when it is used as a prefix. And now comes one of the most important steps: Don’t ignore case 😉

After we have defined all functions as keywords, we need to add some more keywords. The list of keywords is not complete. Feel free to add specific keywords and adjust the styles as you like it.

For your convenience copy the following words into the groups:

Group 2: let in

Group 3: each and as error true false is meta not or section shared type

Group 4: if then else

Group 5: try otherwise

Group 6: #binary #date #datetime #datetimezone #duration #infinity #nan #sections #shared #table #time ; Because the elements in the 6th group are used like function, take care to activate Prefix mode.

Now we’re coming to comments:

Use Styler in the same way as you did it before. I choose deep green as color for comments. To select Allow folding of comments does exactly what it says. It allows you to fold comments together, if you want to focus on the source code only.

The final step is to define the delimitors. Select the operators and deliminators tab.

For your convenience copy it from here:

Operators1:  „>, ; = & ( ) [ ] { } @ ! ? => .. … = < > <> + = * / <= >=</ #

Operators2:   and or not

There is no save button. So just click the cross in the upper right corner to close the dialog.

Adding styles by pushing the button Stylers is recommended… I suggest to use red color for Operators.

Now my code already has intellisense and highlights keywords. But I am still missing parameter hints and help texts.

3. Adding parameter hints and help texts by using a specific XML file

Adding parameter hints and help texts is easy for you. I already created the necessary XML file for you. At the very end of this article you find several links to download several files. I provide two files for auto completion and help texts: One in German and one in English. Download one of the following two files English auto completion file or German auto completion file from the very end of this article and put it into your APIs folder of Notepad++. On my machine I find it under …

C:\Program Files (x86)\Notepad++\plugins\APIs

Now restart your Notepad++, press ctrl+n for a new window and choose “M” as your language (as you can see in the following screenshot).

Now have fun writing M-statements much easier than before  😉

TAKE CARE: The name of the new language and the name of the XML file has to be the same. If you decide to use something different from M, keep this in mind. 

After each update of Power BI Desktop I will provide you with new files at the end of this article. Then just do 2 things:

• Download the List of functions for Keywords highlightings. In Notepadd++ go to Language –> Define your language. Then go to tab Keywords Lists, delete all old Keywords from 1st group and put in the new Keywords from the List of functions for Keywords highlightings.

  

• Download the XML file again and replace the old file (in folder …plugin\APIs\) by the new. That’s it.

See you next time and keep in mind: Sharing is caring. If you liked this article, feel free to share it

Greets from Hamburg,

Lars

Download files

8th of August 2018

This update contains 2 new functions:

• Cdm.MapToEntity()
• Python.Execute()

List of functions for Keywords highlighting

English auto completion file

German auto completion file

Attention: If these links prompt you to log in with your Microsoft account, please try Microsoft Edge. OneDrive is a bit bitchy at the moment, although I have released the link for everyone (without the need to log in).

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Get your own Power Query Editor using Notepad++ erschien zuerst auf THE SELF-SERVICE-BI BLOG.