You can download all code samples from here. If you already have my Power Query editor for Notepad++ (or want to build it) you can open the file in Notepad++. Otherwise open it in a simple text editor and paste it into the Advanced Editor of Power Query or Power BI Desktop. I will refer more frequently to the Microsoft Power Query for Excel Formula Language Specification. You can download it here.

What is a documentation and why do I need one?

If you have already written your own custom functions in M, you surely know the value of a well-documented function. If not, take a look at the documentation of List.Sum():

By typing = List.Sum into the formula bar of a Power Query query you get the official documentation of this native M function. This documentation can provide the following information:

• Name of the function
• function description
• the function parameters, including their names, data types and if they are optional or not
• the syntax of the function and the data type of the returned value
• an example on how to use the function

This information about the function structure and its use makes it much easier for the user to find the right one with currently more than 630 functions. It would therefore be very useful to be able to add such a documentation to a custom function. I’ll show you how to do that.

My tiny custom M function

The following custom function is the one to be documented in this post:

This function does the following: The function takes the two parameters date1 and date2 (both of type date) and creates a list of date values, starting with date1, up to and including date2.

I would like to add documentation for this function so that other users can use it more easily. This can also be very helpful for myself if I have written a lot of own functions. To add documentation to this function, I need to modify the metadata of the function. That’s why I would like to take a brief look at the subject of metadata.

Metadata

Metadata is additional data for a specific value, stored in a so called metadata record. Metadata is a large subject area and requires its own post (which I will write in near future). You can find an introduction to this topic under point 1.7 in the Power Query Formula Language Specification. Nevertheless, I would like to briefly discuss some of the key features here.

Metadata in general

As already mentioned, metadata is additional information that can be assigned to values (records, tables, etc.). These are stored in a single record. If no metadata is stored, the metadata record is empty. The stored metadata can be accessed with the function Value.Metadata(). An example certainly makes this more vivid:

This example shows the following steps:

1. The initial situation: The base table with column Row, which contains the row numbers and column Values, which contains sample values.
2. In this step I create a new column that contains the values, but also the row number that is stored within the metadata, by using the key word meta, followed by the metadata record.
3. I delete the column Row, so that only the column Value + Metadata remains.
4. I use the formula Value.Metadata([#"Value + Metadata"])[Row]to retrieve the row number information from the metadata.

The functions metadata

You can add pretty much anything you want to the metadata of your function, but there are some pretty interesting key words, that you should know. These key words will be displayed by Power Query in the function documentation and they are the following:

• Documentation.Name
• Documentation.LongDescription
• Documentation.Description
• Documentation.Examples

Keep that in mind: If you define Documentation.Description and Documentation.LongDescription, there will only be shown the LongDescription.

There are two versions of defining and adding metadata to a custom function, that I know about. I will start with the more common one.

Defining and adding metadata to the custom function – Version 1

If you search in forums or read blogs on this topic, you will most likely come across this version. I show them for the sake of completeness, because I prefer version number 2.

Metadata definition

As I mentioned before, metadata is stored in a record, so we have to define a record.

This record has the following fields:

• Documentation.Name of type text,
• Documentation.Description of type text,
• Documentation.Example of type list. Type list is necessary, because you can save more than one example. This list is a list of records and the record’s fields are:
  • Description of type text; usually stores the same information as Documentation.Description;
  • Code of type text; here you can show how the usage of the function looks like;
  • Result of type text; Here you can show how an example return value of the function could look like.

My next task is to add this metadata to the function.

Adding metadata to the function

Now, that I have defined the metadata for my custom function, I want to add them to the function.

Therefore I do the following steps:

1. I wrap my original function in a further let-expression. Why do I do that? This gets important in step 3, where I want to overwrite the functions metadata. Therefore I need „access“ to the function itself. A characteristic feature of let-expression is that after that in all variables can be accessed, that are located between the let and the in. For detailed information about this behaviour, please read the following series of post, regarding the Environment concept in M.
2. In this step I put in the metadata, which I already defined in my metadata record Documentation_Metadata. I removed the complete definition from this screenshot, to make it less complex. You will see the complete code at the end of this post.
3. This step overwrites the metadata of my custom function fn with the newly defined metadata record Documentation_Metadata. Let us consider the function from the inside out.
   • Value.Type(fn)returns function, because the type of the custom function fn is function.
   • Value.ReplaceMetadata()replaces the input’s metadata information. The input is function and I replace the metadata of this type by my record Documentation_Metadata. The result is a type function with a new metadata record. This is important for the next step.
   • Value.ReplaceType()takes the function fn as first parameter and replaces the old type function with the new type function, which now has the metadata record inside.

Now that I have completed all the necessary steps, let’s take a look at the final result for this post.

The final result

I have taken all these steps to ensure that my custom function is adequately documented both for myself and for third parties. The following screenshot shows the result of my work and the transition from source code to help texts in Power Query.

In my next post I will show the version 2, my preferred variant to add a documentation to my custom functions.

Regards from Germany,

Lars

I write my posts for you, the reader. Please take a minute to help me write my posts as well as possible. Thank you

[yasr_visitor_multiset setid=2]

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Writing documentation for custom M-functions, Part1 erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Die persönliche Power BI Journey von Miguel Escobar

Miguel ist ein ehemaliger Microsoft MVP aus Panama City, Panama, der Gitarren und Datenanalyse liebt. Er ist Berater und Trainer für kostengünstige Business Intelligence-Lösungen. Zusammen mit MVP Ken Puls verfasste er das Buch „M is for Data Monkey„. Beide führen Power Query Trainings auf der ganzen Welt über www.powerquery.training und in Persona durch. Miguels Blog findest Du unter https://www.poweredsolutions.co/blog/.

Hi Miguel,

es ist Dezember und ich hoffe, du bist schon in Weihnachtsstimmung?! Ich danke Dir, dass Du an meinem Projekt teilnimmst, um Power BI und seine Vorteile noch populärer zu machen. Ich möchte Deine Erfahrungen mit dem Erlernen von Power BI aus einer Excel-Perspektive teilen und bin an den Vorteilen interessiert, die Power BI für Deine tägliche Arbeit mit sich gebracht hat. Los geht’s

Lars: Kannst Du Dich erinnern, wann Du zum ersten Mal von Power BI/ Power Excel Add-Ins gehört hast? Wie bist Du mit Power BI in Kontakt gekommen und warum dachtest Du, dass es etwas ist, das Du lernen solltest?

Miguel: Ich glaube, es war Mitte 2011, als ich dank eines YouTube-Videos von Bill „MrExcel“ Jelen das erste Mal von PowerPivot erfuhr. Ich fand es faszinierend, weil ich so tat, als wäre ich MacGyver mit meinen Excel-Dateien und Pivot-Tabellen, und immer versuchte, Excel über seine Grenzen hinaus zu bringen und nie das zu erreichen, was ich wollte… bis ich PowerPivot entdeckte. Später in diesem Jahr nahm ich an dem PowerPivot-Workshop teil, den Marco & Alberto geleitet haben, und dort habe ich die Reise offiziell begonnen. Zwei Jahre später gab ich meinen Job auf, den ich hatte, was für manche wahrscheinlich ein Traumjob war, und gründete meine Firma Powered Solutions, die heute ein Microsoft-Partner ist, der sich auf Power BI spezialisiert hat.

Lars: Es gab diesen kürzlich erschienenen Zeitungsartikel im Wall Street Journal, in dem es hieß: „Hört auf Excel zu nutzen„. Adobes Finanzchef (Mark Garrett) wird wie folgt zitiert: „Ich möchte nicht, dass die Finanzplaner ihre Zeit damit verbringen, Daten zu importieren und zu exportieren und zu manipulieren, ich möchte, dass sie sich auf das konzentrieren, was uns die Daten sagen“,… Er arbeitet daran, Excel aus diesem Prozess herauszuschneiden, sagte er. Wie ist Deine Wahrnehmung: Ist das Wissen über die Power Tools in Excel schon weit genug verbreitet, denn Mark Garrett scheint noch nie von den Power Tools in Excel gehört zu haben.

Miguel: Ich kann nachvollziehen, woher manche Leute kommen, wenn sie unter anderem sagen: „Ich will nicht, dass die Leute Excel benutzen“, denn manchmal beziehen sie sich nicht auf die Analytik, sondern auf die Datenplattform und das Datenmanagement. Sieh …sie beziehen sich nicht auf Analytik (Power Pivot und Pivot Tabellen), Datenvorbereitung (Power Query) oder Datenvisualisierung (Pivot Tabellen, Charts, etc.), sondern eher auf Datenmanagement (Datenbank-Engine, Sicherheit, Front-End App und mehr). Manche Leute benutzen Excel buchstäblich als Datenbank (ich war einer von ihnen!) und wenn sie sich darauf beziehen, kann ich verstehen, warum sie nicht wollen, dass die Leute Excel dafür benutzen. Dies ist ein stichhaltiger Punkt, den sie auf Dinge hinweisen, für die Sie Excel nicht verwenden sollten:

„Vor einem Jahr verbrachte Mr. Bells Team Stunden damit, hunderte von Excel-Tabellen an regionale und Unit-Leiter zu verteilen, die jeden Monat für die Planung und Leistungsverfolgung der 415 US-Restaurants des Unternehmens verwendet wurden, sagte er. Jetzt dauert der gleiche Vorgang nur noch Minuten.“

Du weißt, was sie stattdessen nehmen sollten? PowerApps für ihre Front-End-Anwendung und eine Cloud-Datenbank (wie SQL Azure), so dass sie jederzeit und überall auf die Daten zugreifen können. Nun, von diesem Artikel, wissen wir nicht, wie viel Brian Jones (MSFT) mit dem Autor (Tatyana Shumsky) über Power Query und Power Pivot geplaudert hat, aber es ist traurig zu sehen, dass der Artikel nicht einmal anerkennt, dass es sich um eines der besten Werkzeuge in seiner Kategorie weltweit handelt – zweifellos. Der Artikel ist auch ziemlich vage über die Dinge, die sie sagen, wie: „Excel war einfach nicht dafür ausgelegt, einige der schweren Aufgaben zu erledigen, die Unternehmen im Finanzbereich zu bewältigen haben“. Worauf beziehen sie sich genau, wenn sie von schweren Aufgaben sprechen? Ist es Data Analytics? PowerPivot gehört zu den Besten seiner Klasse. Ist es Data Prep? Du wirst im Moment kein besseres und benutzerfreundlicheres Tool als Power Query auf der Welt finden. Ist es Datenvisualisierung? Wenn Du die Dinge wirklich auf die nächste Stufe bringen musst, dann kannst Du von Excel auf Power BI upgraden. Dies beweist nur, dass das Wissen über die Power Tools bei weitem nicht da ist, wo es sein sollte, und Microsoft ist sich dessen bewusst. Es klingt einfach bizarr, dass der Autor die Informationen über die Power Tools von Brian Jones nicht erhalten hat.

Lars: Wenn Du eine Power BI-Lösung für einen Kunden erstellst, tust Du dies primär in Excel (mit den Power Add-Ins), oder eher in Power BI Desktop? Gibt es einen Trend, den Du in der Vergangenheit erkennen konntest?

Miguel: Die Dinge haben sich im vergangenen Jahr oder so verändert. Jetzt geht es vor allem um Fragen zu Power BI Desktop, aber vorher war alles in Excel. Dies liegt daran, wie sehr sich Power BI von seiner V1 (Power BI in Office auf SharePoint Online) auf die neueste Version geändert hat, die wir heute kennen und lieben.

Lars: Ich erinnere mich an eine Situation mit einem Kunden, der viel mit CSV-Importen gearbeitet hat. Ich habe ihm gezeigt, wie man 100 CSV-Dateien in 60 Sekunden in Excel importiert und er war begeistert. Kannst Du Dich an so einen Power BI Schlüsselmoment erinnern, den Du mit uns teilen kannst?

Miguel: Ich hatte einen Moment mit Power Pivot vor ein paar Jahren mit einer Datei, die Rob Collie mit mir geteilt hat. Diese Datei hatte über 300 Millionen Zeilen von Daten in ungefähr 3 Tabellen. Ich habe diese Excel-Datei auf einer wirklich netten regionalen Konferenz hier in Panama vorgestellt und…yeah. Die Leute dachten zuerst, dass ich lüge, aber dann sahen sie alle Daten und merkten, wie sehr sich Excel verändert hat.

Lars: Ich weiß, dass Du viel mit Custom Data Connectors arbeitest, die im Mai 2017 eingeführt wurden. Diese Konnektoren sind in M programmiert und stehen derzeit nur für Power BI Desktop zur Verfügung. Welche Erfahrungen hast Du bisher mit diesen Konnektoren gemacht und welche Verbesserungsvorschläge hast Du?

Miguel: Custom Connectors sind ziemlich genial! Ich bin zuversichtlich, dass sich die Dinge in naher Zukunft drastisch verbessern werden, aber meine größte Sorge in diesem Moment ist, dass die meisten kundenspezifischen Konnektoren den Endbenutzer dazu zwingen werden, das Data Gateway zu verwenden, um ihre Modelle auf dem Power BI Service aktualisieren zu können. Ich habe meine Vorschläge dazu mit dem Power Query-Team geäußert, so dass die Konnektoren, die keiner besonderen Behandlung bedürfen, über den Office Store erworben und im Power BI Service aktualisiert werden können, ohne dass ein Data Gateway erforderlich ist. Auf diese Weise benötigen Sie kein Data Gateway, um z.B. Daten von diesem Konnektor zu aktualisieren.

Authentifizierung von Custom Connectors, die eine besondere Behandlung erfordern: OAuth 2, ODBC, OLEDB, etc.

Lars: Du und Ken habt gerade Euren Power Query Online-Kurs veröffentlicht. Würdest Du dem Leser etwas darüber erzählen?

Miguel: Kurz gesagt, dies ist der beste Kurs, den wir in unserem ganzen Leben geschaffen haben. Hoher Produktionswert und noch bessere und einzigartige Inhalte, die wir noch nie zuvor geteilt haben. Wenn Du auf der Suche nach dem besten Kurs auf dem Markt für Power Query bist, dann bist Du hier genau richtig.

Lars: Bis vor einigen Jahren habe ich hauptsächlich an Reporting-Lösungen mit Excel gearbeitet und in der Vergangenheit viel in VBA (Visual Basic for Applications) programmiert. Seitdem Power BI verfügbar ist, musste ich nur sehr wenige Zeilen VBA schreiben. Habst Du ähnliche Beobachtungen gemacht?

Miguel: Ich schätze, man könnte sagen, dass ich zu den „millennials“ gehöre, die nie versucht haben, VBA zu erlernen. Ich erinnere mich daran, dass ich darüber nachgedacht habe, 2011 etwas über VBA zu lernen, als ich Probleme damit hatte, wie langsam und langweilig die Dinge in Excel waren, aber dann bemerkte ich, dass VBA keine Webstory hatte. Der VBA-Code, den ich erstellen würde, würde nur auf meinem Desktop funktionieren, und ich wurde hauptsächlich von Lösungen angezogen, die skalierbar sind, wie z.B. Power Query und Power Pivot, die auf so etwas wie SQL Server Analysis Services skalieren können, oder wie Dein M-Code jetzt auf einen tatsächlichen benutzerdefinierten Connector skaliert werden kann, der später in Microsoft Flow, PowerApps und einigen anderen Diensten verwendet werden kann.

Lars: Wenn du nach einem neuen Feature in Power BI fragen könntest (was jeder über ideas.powerbi.com kann), was wäre das?

Miguel: Ich habe das Gefühl, dass Power BI sich endlich in einem Stadium befindet, in dem es innovativ sein kann und nicht versuchen muss, das Aufholspiel zu spielen, also würde ich gerne die Dinge sehen, die das Microsoft Research-Team in seinem Tresorraum hat und diese in die Power Query-Erfahrung einfließen lassen. Möglicherweise eine KI (Anm.: KI = Künstliche Intelligenz) Weise, dass es einen Scan auf Deinen Daten durchführen kann, Muster finden und Dir Vorschläge machen kann, wie diese Daten transformiert oder einfach nur bereinigt werden können. Wenn Du mit der Erstellung Deiner Lösung fertig bist, kannst Du vielleicht auf einen Knopf (den Optimierungsknopf) klicken und Power Query wird einen noch optimaleren Weg finden, um Deine gewünschte Ausgabe dank seiner KI zu erreichen. Vielleicht ein neuer, optimierter On-Memory-Caching-Algorithmus, damit die Dinge schneller laufen können.

Lars: Könntest Du 3 Dinge nennen, die Power BI zu einem großartigen Produkt machen?

Miguel: 

• Benutzerfreundlich – Power Query ist der Beweis dafür, dass Microsoft eine wirklich schöne Benutzeroberfläche und noch bessere UX (anm.: UX = User Experience = Benutzerfreundlichkeit) erzeugen kann.
• Effektiv – Du kannst Dinge in Sekundenschnelle erledigen.
• Hochgradig anpassbar – etwas verändert? Du kannst jeden Teil Deiner Lösung modifizieren und die neue Lösung in wenigen Sekunden oder Minuten in Betrieb nehmen.

Miguel, danke, dass Du Deine Geschichte mit uns teilst und danke für die großartigen Power Query-Kurse, die Du und Ken kreiert habt. Frohe Weihnachten und einen guten Rutsch ins neue Jahr!

Um mit Miguel in Kontakt zu treten, nutzen Sie bitte die folgende Website.

The personal Power BI journey of Miguel Escobar

Miguel is a former Microsoft MVP from Panama City, Panama who loves Guitars and Data Analytics. He is a consultant and trainer for cost-effective Business Intelligence solutions. Together with MVP Ken Puls he authored the book „M is for Data Monkey„. Both are running Power Query Trainings all over the world via www.powerquery.training and in persona. You can find Miguel’s blog at https://www.poweredsolutions.co/blog/.

Hi Miguel,

it’s December and I hope you’re already in Christmas mood?! Thank you for participating in my project to make Power BI and its benefits even more popular.

I would like to share your experience of learning Power BI from an Excel perspective and I am interested in the benefits Power BI has brought to your daily work. Let’s go

Lars: Can you remember, when you first heard about Power BI/ Power Excel Add-Ins? How did you get in contact with Power BI and why did you think it’s something you should learn?

Miguel: I believe it was in mid-2011 when I first found out about PowerPivot thanks to a YouTube video from Bill ‘MrExcel’ Jelen. I found it fascinating because I was pretending to be MacGyver with my Excel Workbooks and pivot tables, trying to push Excel beyond its limits and never reaching what I wanted…until I discovered PowerPivot. Later that year I took the PowerPivot workshop that Marco & Alberto ran and that’s where I formally started the journey. Two years later I resigned to the job that I had, what was probably a dream job to some people, and started my company Powered Solutions which is, nowadays, a Microsoft Partner specialized in Power BI.

Lars: There was this recent newspaper article in the Wall Street Journal that said „Stop Using Excel„. Adobe’s finance chief (Mark Garrett) is quoted as follows: „I don’t want financial planning people spending their time importing and exporting and manipulating data, I want them to focus on what is the data telling us, … He is working on cutting Excel out of this process, he said.“ How is your perception: Is the knowledge about Power tools in Excel already widespread enough, because Mark Garrett seems to have never heard of the Power tools in Excel.

Miguel: I can understand where some people are coming from when they say something among the lines of: “I don’t want people to use Excel”, because, at times, they are not referring to the Analytics side of things, but rather the Data Platform and Data Management side of things. See…they are not referring to Analytics (Power Pivot and Pivot Tables), Data Prep (Power Query) or Data Visualization (Pivot Tables, Charts, etc), but rather to Data Management (a database engine, security, front-end app and more). Some people literally use Excel as a Database (I was one of them!) and, if they refer to that, I can understand why they don’t want people to use Excel for that. This is a valid point that they make on things that you shouldn’t use Excel for:

“A year ago, Mr. Bell’s team spent hours distributing hundreds of Excel spreadsheets to regional and unit leaders each month for planning and performance tracking of the company’s 415 U.S. restaurants, he said. Now the same process takes minutes.”

You know what they should be using instead? PowerApps for their Front-end application and a cloud database (like SQL Azure) so they can access the data from anywhere always. Now, from this article, we don’t know how much Brian Jones (MSFT) chatted with the writer (Tatyana Shumsky) about Power Query and Power Pivot, but it’s sad to see that the article doesn’t even acknowledge that these are ones of the best tools in their category worldwide – hands down. The article is also pretty vague on the things that they say like:

“Excel just wasn’t designed to do some of the heavy lifting that companies need to do in finance,”

What exactly are they referring to when they say heavy lifting? Is it Data Analytics? PowerPivot is one of the best in its class. Is it Data Prep? You won’t find a better and more user-friendly tool than Power Query in the world at this moment. Is it Data Visualization? If you really need to take things to the next level, then you can upgrade from Excel to Power BI. This just proves that the knowledge of the Power tools is nowhere near where it should be, and Microsoft is aware of that. It just sounds bizarre that the writer didn’t get the information about the Power Tools from Brian Jones.

Lars: When you create a Power BI solution for a customer, do you do this primarily in Excel (with the Power add-ins), or rather in Power BI Desktop? Was there a trend for you to recognize in the past?

Miguel: Things have changed in the past year or so. Now it’s primarily Power BI Desktop related questions, but before it was all within Excel. This is because of how much Power BI has changes from its v1 (Power BI with Office on SharePoint Online) to the latest version that we know and love today.

Lars: I can remember a situation with a customer who worked a lot with csv imports. I showed him how to import 100 csv files into Excel in 60 seconds and he was thrilled. Can you remember such a Power BI key moment that you can share with us?

Miguel: I had a moment with Power Pivot a few years ago with a file that Rob Collie shared with me. This file had over 300M rows of data cross 3 tables or so. I showcased this Excel file at a really nice regional conference here in Panama and…yeah. People thought that I was lying at first, but then they saw all the data and realized how much Excel has changed.

Lars: I know you are working with Custom Data Connectors a lot, which were introduced in May 2017. These connectors are programmed in M and they are only available for Power BI Desktop yet. What is your experience with these connectors so far and what suggestions would you have with regard to improvements?

Miguel: Custom Connectors are pretty awesome! I’m confident that things will improve dramatically in the near future, but my biggest concern at this moment is that most of the custom connectors will require the end user to use the Data Gateway to be able to refresh their models on the Power BI Service. I’ve voiced my suggestions with the Power Query team about this, so the connectors that don’t need any special handling can be acquired through the office store and be refreshed on the Power BI Service without the need for a Data Gateway. That way you won’t need a Data Gateway to refresh data from this connector for example.

Authentications of Custom Connectors that require special handling: OAuth 2, ODBC, OLEDB, etc

Lars: You and Ken just released your now Power Query online course. Would you tell the reader something about it?

Miguel: In short, this is the best course that we’ve created in our entire lives. High production value and even better and unique content that we’ve never shared before. If you’re looking for the best course in the market about Power Query, then this is it.

Lars: Until a few years ago, I mainly worked on reporting solutions with Excel and programmed a lot in VBA (Visual Basic for Applications) in the past. Since Power BI is available, I have only had to write very few lines of VBA. Did you make similar observations?

Miguel: I guess that you could say that I’m one of those millennials that never even tried learning VBA. I remember thinking about learning about VBA in 2011 when I was having issues with how slow and tedious things were in Excel, but then I noticed that VBA did not have a web story. The VBA code that I’d create would only work on my desktop, and I’ve been mainly attracted to solutions that can scale up like how Power Query and Power Pivot can scale up to something like SQL Server Analysis Services, or how your M code can now scale up to an actual custom connector that can be later used in Microsoft Flow, PowerApps and some other services.

Lars: If you could ask for a new feature in Power BI (what everyone can via ideas.powerbi.com) what would that be?

Miguel: I feel like Power BI is finally in a stage where it can innovate and not try to play the ‘catching-up’ game, so I’d like to see the things that the Microsoft Research team has inside their vault and have those put inside the Power Query experience. Perhaps an AI way that it can do a scan on your data, find patterns and provide you with suggestions on how that data can be transformed or simply cleaned. Perhaps once you finish creating your solution, you can click a button (the optimize button) and Power Query will figure out an even more optimal way to reach your desired output thanks to its AI. Perhaps a new an optimized on-memory caching algorithm so things can run faster.

Lars: Could you name 3 things about Power BI, which make it a great product?

Miguel: 

• User-friendly – Power Query is the proof that Microsoft can create a really nice UI and even better UX.
• Effective – you can get things done in a matter of seconds
• Highly customizable – something changed? You can modify any part of your solution and have the new solution up and running in just a few seconds or minutes.

Miguel, thank you for sharing your story and for the great Power Query courses you and Ken have created. Have a merry Christmas and a happy new year!

To get in touch with Miguel, please use the following website.

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Die persönliche Power BI Journey von Miguel Escobar (in English as well) erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Die persönliche Power BI Journey von Marco Russo

Marco ist seit 2009 MVP für Data Platform, aus Turin, Italien. Er ist Business Intelligence Berater und Mentor und spricht regelmäßig auf Konferenzen wie TechEd und PASS Summit. Zusammen mit Alberto Ferrari gründete er SQLBI, die weltweit beste Ressource für tabellarische Datenmodellierung mit Power Pivot, Power BI und SQL Server Analysis Services Tabular und der Sprache DAX.

Hallo Marco,

ich freue mich sehr, dass mein Projekt ständig wächst. Vielen Dank für Deine Teilnahme. Die letzten Jahre der Nutzung von Power BI haben mich überzeugt, dass es ein erstaunliches Produkt ist, das jede Mühe wert ist, es zu erlernen. Meine Idee mit diesem Beitrag ist, Deine Geschichte als Business Intelligence-Experte zu teilen, der zum Power BI-Experten wurde und wie es Dein Berufsleben verändert hat. Los geht‘s

Lars: Kannst Du Dich daran erinnern, wann Du das erste Mal von Power BI/ Power Excel Add-Ins gehört hast? Wie bist Du mit Power BI in Berührung gekommen?

Marco: Ich habe die erste Version von Power Pivot im August 2009 benutzt. Damals hieß sie Gemini, und ich wusste nicht sofort, was auf lange Sicht dessen Wirkung sein würde. Aber auf dem PASS Summit in Seattle im selben Jahr, als ich mit Leuten des Entwicklungsteams sprach, wurde mir klar, dass es etwas Großes war.

Ich hörte von Power BI im Jahr 2014, es war die natürliche Evolution von Power Pivot, aber meine Sorge war die Geschwindigkeit der Veröffentlichung. Als sie mir sagten: „Wir werden jeden Monat eine neue Version veröffentlichen“, sagte ich: „Ich werde es erst nach einem Jahr glauben, dass ihr das jeden Monat tun werdet“. Ich war skeptisch, aber es hat gut funktioniert!

Lars: DAX sieht auf den ersten Blick einfach aus, vor allem weil die Syntax der Excel-Sprache sehr nahe ist. Aber die ganze Evaluierungskontext-Sache ist viel schwieriger zu verstehen. Zusätzlich muss man vor dem Schreiben der ersten Zeile DAX, die Daten modellieren. Hältst Du es für realistisch, dass viele Analysten, die heute täglich mit Excel arbeiten, in naher Zukunft eigene Datenmodelle erstellen und DAX-Measures schreiben werden? Oder anders ausgedrückt: Glaubst Du, dass der Begriff Self-Service BI hauptsächlich Marketing ist?

Marco: Ich würde die Antworten trennen. Wenn man 1984 gefragt hätte, ob es realistisch sei, dass jede Person in der Buchhaltung eine Tabellenkalkulation benutzen würde, hätte man ein großes „Nein“ gehört. Heute ist es für uns selbstverständlich, dass wir auf dem Handy eine Tabellenkalkulation ansehen und bearbeiten können. Verschiedene Benutzer haben unterschiedliche Grade von Kenntnissen über die benötigte Formelsprache, aber jeder kann einfache Formeln erstellen.

In bestimmten Job-Rollen sind tiefe Kenntnisse der Excel-Features Voraussetzung. Wenn eine Tabelle nicht ausreicht, was sind dann die Alternativen? Das Erstellen eines semantischen Modells ist ein mächtiges Werkzeug, aber es erfordert Fähigkeiten, die wir immer noch DBAs oder BI-Entwicklern zuschreiben (z.B. Datenmodellierung). Aber viele Nutzer können lernen, was es bedarf viele Tabellen zu handhaben und sie können dies im Verlauf der Zeit verfeinern.

Betrachten sich Anwender, die Excel-Makros schreiben, als „Entwickler“? Nein. Aber sie schreiben Code. Genauso erstellen Power-BI-Anwender Datenmodelle. Wenn Sie Daten analysieren müssen, ist in 10 Jahren Datenmodellierung eine erforderliche Fähigkeit, zumindest dessen Grundlagen.

Was ist mit Self-Service BI? Nenne es Marketing, aber wir brauchen immer eine „Vision“, eine Roadmap. Ich glaube nicht, dass 100% der Benutzer, die Daten verarbeiten, Modelle erstellen, nur weil sie ein Self-Service-BI-Tool besitzen. Aber es ist eine Tatsache, dass viele Benutzer ihre eigenen Berichte erstellen, eine kleinere Zahl von Benutzern ihre Berechnungen anpassen und eine Nische von ihnen semantische Modelle erstellen. Sie alle verwenden „self-service BI“ oder wie auch immer man es nennen mag, auf verschiedenen Ebenen. Genauso wie es viele verschiedene Excel-Nutzer gibt.

Lars: Im April 2017 wurden in Power BI Desktop Quick Measures eingeführt, die das Erstellen von Measures vereinfachen sollen. Bist Du der Meinung, dass Quick Measures ein geeigneter Weg sind, um die Komplexität der Sprache DAX zu überwinden?

Marco: Ich habe hier widersprüchliche Gefühle. Ich verstehe den Zweck von Quick Measures. Ich mag dessen aktuelle Implementierung nicht. Es gibt zu viele Einschränkungen, die Workarounds könnten die Berechnungen kaputt machen (z. B. „Autom. Datum/Uhrzeit“ zu aktivieren, wenn Du eine benutzerdefinierte Datumstabelle hast und Quick Measures über Datumswerte nutzen willst).

Es ist ein Feature, das dem gelegentlichen Benutzer helfen könnte, aber es ist nicht genug für fortgeschrittenere Benutzer. Ich weiß, dass Microsoft daran arbeitet, aber ich würde einen völlig anderen Ansatz vorziehen.Ein DAX-Measure ist einfacher, wenn das Datenmodell gut aufgebaut ist. Wenn man versucht, ein schlechtes Datenmodell zu umgehen, erhöhen das die Komplexität des benötigten DAX-Codes.

Eine viel bessere Lösung wäre eine Interaktion zwischen Datenmodell und DAX-Measure, die es erlaubt, beide Teile des Problems via Wizards/ Vorlagen zu berücksichtigen, definiert, um die gleichen Probleme zu lösen, die Quick Measures zu lösen versuchen. Den Nutzer zu befähigen, gängige Kalkulationen auf eine einfach und sichere Weise zu schreiben. So kann man Quick Measures betrachten, aber sie erhöhen nicht die Produktivität fortgeschrittener Benutzer und lösen nicht alle Probleme für Newbies. In diesem Bereich gibt es viel zu tun.

Lars: Alberto und Du habt auf SQLBI viele Angebote für alle, die sich mit tabellarischer Datenmodellierung und DAX vertraut machen wollen. Von Büchern, über Präsenzschulungen bis hin zu Videokursen. Kannst Du dem Leser etwas darüber sagen? Vom Einsteiger bis zum Profi: Mit welchem Eurer Produkte soll ich beginnen und aufhören?

Marco: Unsere Mission ist es, Wissen zu vermitteln und die Einführung einer neuen Technologie zu beschleunigen. Wir bieten Bücher, Videokurse, Klassenraumkurse, Konferenzen und Beratung an. Diese Dienstleistungen bieten wir auf unserer Website www.sqlbi.com an, auf der wir kostenlose Artikel, Whitepaper und Tools produzieren. Außerdem bieten wir einen kostenlosen Videokurs Introduction to DAX an, der unser Vorschlag ist, um mit dem Erlernen von DAX zu beginnen. Der Weg zum Erlernen von DAX erfordert auch einige Erfahrung in der Datenmodellierung. Wir haben eine spezielle Webseite, die den Lernweg in Abhängigkeit von den verwendeten Produkten vorschlägt. Wir werden diese Seite in der neuen Website aktualisieren und verbessern, die vor Ende 2017 fertig sein wird.

Lars: Was ist aus Deiner Berufserfahrung als Trainer der häufigste Fehler, den Studenten machen, wenn sie DAX lernen? Kannst Du uns sagen, wie man das vermeiden kann?

Marco: Der häufigste Fehler ist der Versuch, durch Beispiele zu lernen. Die einzige Komplexität von DAX besteht darin, dass es einige abstrakte Konzepte gibt, die in dieser Sprache einzigartig sind und in keiner anderen Sprache existieren.

Der Begriff des „filter context“ und der „context transition“ ist eine brillante Lösung für ein komplexes Problem. Grundsätzlich ist es einfach zu erklären und zu lernen, aber es braucht Zeit, um es zu verdauen, weil es anders ist als alles andere, was man bereits kennt. Ich habe sehr kluge Entwickler und erfahrene BI-Entwickler gesehen, die den gleichen Fehler gemacht haben.

Du sparst viel Zeit, wenn Du akzeptierst, dass es ein neues Konzept geben könnte, das Du noch nie zuvor gesehen hast. Ein ähnliches Problem habe ich bei der Einführung der objektorientierten Programmierung gesehen. Einige Entwickler, die ein neues Konzept mit der alten Syntax erklären wollten, hatten Probleme. Es gab etwas „Verstecktes“, das nicht so funktionierte, wie sie es erwartet hatten. Wenn du einmal akzeptiert hast, dass es etwas Neues zu lernen gibt, kannst du loslegen.

Lars: Meiner Erfahrung nach lehnen viele Kunden die Cloud als Ort für ihre Geschäftsdaten ab. Zumindest in Deutschland ist das ein großes Thema. Aber die gemeinsame Nutzung von Daten mit Power BI erfordert Power BI Report Server, was ziemlich teuer ist. Wie gehen Deine Kunden in der Regel mit dem Cloud-Thema um und wie handhabst Du das?

Marco: Ich bin in einer verzerrten Position. Meine Kunden rufen uns an, weil sie bereits Analysis Services oder Power BI einsetzen. In der Regel nehme ich nicht an der Vorverkaufsdiskussion teil, bei der es um die Wahlmöglichkeiten zwischen on premise und Cloud-Optionen geht. Ich weiß, dass es Unternehmen gibt, die Daten on premise behalten wollen, und Unternehmen, die in die Cloud wollen.

Meiner Ansicht nach ist dies so, dass auf lange Sicht alle Unternehmen in die Cloud gehen werden, mit kleinen Ausnahmen: Militär und bestimmte Regierungsbehörden. Diese Ausnahmen führen wahrscheinlich dieselben Cloud-Technologien vor Ort in einer kontrollierten und isolierten Umgebung ein. Außerhalb dieser Ausnahmen stellt sich nicht die Frage, ob, sondern wann. Der Grund ist ein guter: Geld. Die Verwaltung des gleichen Services in der Cloud ist kostengünstiger, sobald Sie die Total Cost of Ownership berechnen. Die Zeit für die Cloud-Akzeptanz wird je nach Markt, Kultur, Politik, Gesetzen, Bandbreite, Fähigkeiten und wahrscheinlich noch viel mehr variieren. Aber das wird geschehen. Aus dem gleichen Grund, warum Unternehmen kein eigenes Betriebssystem mehr entwickeln, keinen eigenen Compiler, kein eigenes ERP und so weiter.

Aus der kurzen Geschichte der Informatik können wir lernen, dass das, was in einem Jahrzehnt unmöglich schien, ein paar Jahre später völlig überholt war. Ich sehe, dass die Technologie-Akzeptanz in Europa einen viel konservativeren Ansatz verfolgt als auf anderen Kontinenten. Aber ich sehe keine einzige Technologie, die in den Vereinigten Staaten, aber nicht in Europa (vielleicht Jahre später) übernommen wurde. Europa hat das Kabelfernsehen übersprungen, um direkt zum Satellitenfernsehen zu gehen. Aber es ist wahrscheinlich die Ausnahme, die die Regel bestätigt.

Lars: Mit SQLBI habt Ihr vor einiger Zeit OKViz  gegründet und stellt Eure eigenen Visualisierungen zur Verfügung. Wie kritisch für den Erfolg von Power BI ist die Tatsache, dass die Visualisierungen Open Source sind und von jedem, der dazu technisch in der Lage ist, entwickelt werden können?

Marco: Mit OKViz haben wir eine Marke für „custom visualizations“ geschaffen. Bis heute ist es ein „reines Startup“, weil es Kosten verursacht, ohne Einnahmen zu generieren. Der Marketplace ist noch nicht fertig, die Plattform ist noch nicht fertig, und „custom visuals“ sind gegenwärtig Bürger zweiter Klasse. Das wird sich hoffentlich ändern, und OKViz kann die Produktion von „custom visuals“ steigern, sobald die Voraussetzungen für ein nachhaltiges Wirtschaftsmodell gegeben sind.

Im Moment sind „custom visuals“ ein wichtiges Werkzeug für den Erfolg von Power BI, aber im Hinblick auf die reale Akzeptanz werden native Visualisierungen viel häufiger verwendet. Die größten Herausforderungen sind Versionierung, Support und automatische Updates. Es ist unglaublich schwierig, eine stabile Plattform für „custom visuals“ in einer Umgebung zu schaffen, die sich jeden Monat weiterentwickelt. Wir können die Fehler leicht sehen, aber nicht die Menge der versteckten Arbeit, um das aufrechtzuerhalten.

Ich bin optimistisch, wenn es um „custom visuals“ in Power BI geht, falls es einen echten Marketplace geben wird. Ich bin skeptisch, wenn es darum geht jemanden zu befähigen, „custom visuals“ zu erstellen. Wir werden niemals sehen, dass Power BI-Nutzer Visualisierungen schreiben, so wie ein Excel-Nutzer ein Makro schreibt. Möglich ist es, einen existierenden Entwickler in die Lage zu versetzen, „custom visuals“ für Power BI zu erstellen. Open Source ist ein sehr relativer Vorteil. Die gesamte Plattform ist nicht Open Source, man kann den Code der Plattform nicht erweitern, man kann lediglich andere „custom visuals“ kopieren und anpassen. Native Visualisierungen werden ohne die „custom visuals“-Plattform geschrieben, so dass man keine „custom visuals“ aus nativen Visualisierungen ableiten kann.

Um es kurz zu wiederholen: Ich glaube, dass „custom visuals“ extrem wichtig sind, und wir haben viel in sie investiert. Allerdings würde ich „custom visuals“ nicht als etwas verkaufen, das jeder Power-BI-Nutzer an jede spezifische Anforderung anpassen kann. Die Lernkurve zum Schreiben von „custom visuals“ ist nicht so schnell.

Lars: Wenn du nach einem neuen Feature in Power BI fragen könntest (was jeder über ideas.powerbi.com kann), was wäre das?

Marco: Meine Nummer eins ist, die API zu Power BI Desktop zu öffnen. Ich bitte Euch hierfür um Eure Stimme: https://ideas.powerbi.com/forums/265200-power-bi-ideas/suggestions/7345565-power-bi-designer-api. Dieses Feature würde die Erstellung vieler neuer Tools und Lösungen ermöglichen.

Lars: Könntest Du 3 Dinge nennen, die Power BI zu einem großartigen Produkt machen?

Marco:

• Freier Zugang zu fast allen Funktionen, um einen Proof of Concept zu starten.
• Integration zwischen Query Editor (M), Datenmodell (DAX) und Visualisierung.
• Rechenleistung der Engine: Es ist sehr schwer, etwas schnelleres auf dem Markt zu finden.

Marco, ich danke Dir, Alberto, Daniele und all deinen Kollegen hinter den Kulissen für die tollen Beiträge, Bücher, Produkte und Community-Arbeit. Ich weiß, es gibt viele Leute (einschließlich mir selbst), die sehr dankbar sind für all die Arbeit, die Ihr leistet. Um mit Marco in Kontakt zu treten, nutzt bitte die folgende Website.

The personal Power BI journey of Marco Russo

Marco is a MVP for Data Platform since 2009 from Torino, Italy. He is a Business Intelligence consultant and mentor and speaks regularly at conferences such as TechEd and PASS Summit. Together with Alberto Ferrari he founded SQLBI, indisputable the world’s best resource for tabular Data Modeling with Power Pivot, Power BI and SQL Server Analysis Services Tabular and the DAX language.

Hello Marco,

I am very happy, that my project is constantly growing. Thanks a lot for participating. The last years of using Power BI convinced me, this is an amazing product, worth any effort learning it. My idea with this post is, to share your story as a Business Intelligence expert, who became a Power BI expert and how it changed your professional life. Let’s go

Lars: Can you remember, when you first heard about Power BI/ Power Excel Add-Ins? How did you get in contact with Power BI?

Marco: I used the first version of Power Pivot in August 2009. It was called Gemini at that time, and I didn’t realize immediately what would have been its impact in the long term. But at PASS Summit in Seattle the same year, talking with people of the development team, I realized that it was something big.

I heard about Power BI in 2014, it was the natural evolution of Power Pivot, but my concern was the speed of release. When they told “we will release a new version every month” I said, “I will believe it only after one year you will do that every month”. I was skeptical, but it worked well!

Lars: DAX looks easy at first sight, especially because the syntax is close to the Excel language. But the whole evaluation context thing is a lot harder to understand. Additionally, before you write your first line of DAX, you have to model your data. Do you think it is realistic, that many analysts, who are now doing their daily work with Excel, will create their own data models and write DAX measures in near future? Or in other words: Do you think the term Self-Service BI is mainly marketing?

Marco: I would separate the answers. If you asked in 1984 whether it was realistic that every person in accounting would use a spreadsheet, you would have heard a big “no”. Today we take for granted that on a mobile phone we can view and edit a spreadsheet. Different users have different degrees of knowledge of the formula language required, but anyone can create simple formulas.

In certain job roles, a deep knowledge of Excel features is a requirement. Now, when a table is not enough, what are the alternatives? Creating a semantic model is a powerful tool, but it requires skills that we still think are for DBAs or BI Developers (e.g. data modeling). But many users can learn what they need to manage multiple tables, and they can refine that over time.

Do users who write Excel macros consider themselves “developer”? No. But they write code. Thus, Power BI users create data models. If you need to analyze data, in 10 years data modeling will be a required skill, at least for the basics.

What about self-service BI? Call it marketing, but we always need a “vision”, a roadmap. I don’t think that 100% of users consuming data will create models just because they have a self-service BI tool. But it’s a matter of fact that many users create their own reports, a smaller number of users customize calculations, and a niche of them create semantic models. They are all using “self-service BI” or whatever other name you use, at different levels. Just like there are many different types of Excel users.

Lars: Quick measures were introduced in Power BI Desktop in April 2017 and aim to simplify the creation of measures. Do you think Quick Measures are a proper way to overcome the complexity of the DAX language?

Marco: I have conflicting feelings here. I understand the purpose of Quick Measures. I don’t like its current implementation. There are too many limitations, the workarounds could break the calculations (e.g. enabling auto Date/Time when you have a custom Date table just to use Quick Measures over dates).

It is a feature that could help the occasional user, but they are not enough for more advanced ones. I know that Microsoft is working on that, but I would prefer a completely different approach. A DAX measure is simpler if the data model is well designed. Trying to work around a bad data model just increase the complexity of the DAX code required.

A much better solution would be an interaction between data model and DAX measure that allow to consider both parts of the problem to wizards/templates defined to solve the very same problems that the Quick Measures try to solve. Enabling user to write common calculations in an easy and safe way. Thus, you can look at Quick Measures, but they are not increasing productivity of advanced users, and don’t solve all the problems to newbies. There is a lot of work to do in that area.

Lars: Alberto and you have many offers for people willing to learn tabular Data Modeling and DAX at SQLBI. From books, to in-persona trainings and video courses. Can you tell the reader something about that? From newbie to professional: With which of your products should I start and end?

Marco: Our mission is to transfer knowledge and accelerate the adoption of a new technology. We do that providing books, video courses, classroom courses, conferences, and consulting. We offer these services on our website, www.sqlbi.com, which hosts our production of free articles, whitepapers, and tools. We also have a free video course, Introduction to DAX, which is our suggestion to start learning DAX. The road to learn DAX also require some data modeling experience. We have a dedicated web page that suggest the learning path depending on the products used. We will update and improve that page in the new website that will be ready before the end of 2017.

Lars: From your professional experience as a trainer, what is the most common mistake, students make when learning DAX? Can you tell us how to avoid that?

Marco: The most common mistake is trying to learn by example. The only complexity of the DAX is that there are a few abstract concepts that are unique to this language and do not exists in any other one.

The notion of filter context and context transition is a brilliant solution to a complex problem. Basically, it is simple to explain and to learn, but it takes time to digest because it is different from everything else you already know. I have seen very smart developers and seasoned BI developers doing the same mistake.

You will save a lot of time if you accept that there could be a new concept that you have never seen before. I have seen a similar issue with the introduction of object oriented programming. Some developers who wanted to explain a new concept using the old syntax were in trouble. There was something “hidden” that was not working as they expect. Once you accept that there could be something new to learn, you are good to go.

Lars: In my experience many customers are refusing the cloud as the place for their business data. At least in Germany that’s a big issue. But sharing data with Power BI on premise, requires Power BI Report Server, which is pretty expensive. How do your clients usually deal with the cloud topic and how do you handle that?

Marco: I am in a biased position. My customers call us because they already adopted Analysis Services or Power BI. Usually, I do not participate to the presales discussion involving choices between on-premises and cloud options. I know that there are companies that want to keep data on premises, and companies that want to go to the cloud.

My point of view about this is that in the long run, all the companies will go to the cloud, with small exceptions: military and certain government agencies. These exceptions will probably run the same cloud technologies on-premises in a controlled and isolated environment. Outside these exceptions, the question is not if but when. The reason is a good one: money. Managing the same service at scale in the cloud is less expensive, once you compute the total cost of ownership. The time for the cloud adoption will vary based on differences in markets, culture, policy, laws, bandwidth, skills, and probably much else. But this will happen. For the same reason why companies no longer develop their own operating system, their own compiler, their own ERP, and so on.

We can learn from the short history of computer science that what seemed impossible to change in a decade, was completely outdated a few years later. I see that technology adoption in Europe has a much more conservative approach than in other continents. But I do not see a single technology that has been adopted in United States but not in Europe (maybe years later). Well, Europe skipped cable TV going straight to satellite TV. But it is probably the exception that proves the rule.

Lars: With SQLBI you founded OKViz some time ago and provide your own custom visualizations. How critical to Power BI’s success is the fact that the visualizations are open source and can be developed from everybody who is technically capable?

Marco: With OKViz, we created a brand for custom visualizations. As of today, it is a “pure startup”, because it has costs without producing any revenue. The marketplace is not ready, the platform is not ready, and custom visuals are second class citizen by now. Hopefully this will change, and OKViz will be able to increase the production of custom visuals once there will be the conditions for a sustainable economic model.

At the moment, custom visuals are an important tool for Power BI success, but in terms of real adoption, native visualizations are much more used. The biggest challenges are versioning, support, and automatic updates. Creating a stable platform for custom visuals in an environment that evolves every month is incredibly hard. We can easily see the bugs, but not the amount of hidden work to sustain that.

I am optimist for custom visuals in Power BI if this will create a true marketplace. I am skeptical about enabling anyone to create custom visuals. We will never see Power BI users writing visualizations just as an Excel user writes a macro. What is possible is enabling an existing developer to create custom visuals for Power BI. The open source is a very relative advantage. The entire platform is not open source, you cannot extend the code of the platform, you can just copy and adapt other custom visuals. Native visuals are written without using the custom visuals platform, so you cannot derive custom visuals from native visuals.

To recap: I believe custom visuals are extremely important, and we invested a lot on them. However, I would not sell custom visual as something that any Power BI user can adapt according to any specific requirement. Learning curve to write custom visuals is not so quick.

Lars: If you could ask for a new feature in Power BI (what everyone can via ideas.powerbi.com) what would that be?

Marco: My number one is opening API to interact with Power BI Desktop. Let me ask the vote for this: https://ideas.powerbi.com/forums/265200-power-bi-ideas/suggestions/7345565-power-bi-designer-api

This feature would enable the creation of many new tools and solutions.

Lars: Could you name 3 things about Power BI, which make it a great product?

Marco:

• Free access to almost all of the features to start a proof of concept.
• Integration between Query Editor (M), data model (DAX) and visualization.
• Computing power of the engine: it is very hard to find something faster on the market.

Marco, thank you, Alberto, Daniele and all your colleagues behind the scenes, for all the great posts, books, products and community work. I know, there are many people out there (including myself) who are very thankful for all the work you do. To get in touch with Marco, please use the following website.

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Die persönliche Power BI Journey von Marco Russo (in English as well) erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Als Abonnent meines Newsletters erhältst Du die Beispieldateien zu den Beiträgen dazu. Hier geht’s zum Abonnement des Newsletters!

Warum der Aktualisierungszeitpunkt wichtig ist

„Sag mal, weißt Du wann das Dashboard zuletzt aktualisiert wurde? Ich bin mir nicht sicher, ob die Daten schon aktuell sind!“ Diese Frage sollte kein Nutzer eines Dashboards stellen müssen. Es ist wichtig, dass noch vor der Analyse der visualisierten Daten klar ist, dass die Daten aktuell sind.

Warum der Datenstand wichtig ist

Unabhängig von der letzten Aktualisierung des Dashboards, kann es sein, dass die Datenquelle, auf der mein Dashboard beruht, noch nicht aktuell ist. Viele Dashboards, die ich gesehen habe, basieren auf Exceltabellen, die teilweise manuell befüllt werden. Hier kann es immer sein, dass ich versehentlich Altdaten importiere, weil die neuen Daten in der Exceldatei noch nicht gepflegt wurden.

So hast du den Aktualisierungszeitpunkt immer im Blick

Den Aktualisierungsstand der Power BI Desktop-Datei im Blick zu haben, bedeutet zu wissen, wann zuletzt der Aktualisieren-Knopf gedrückt wurde:

Ich zeige Dir jetzt eine Möglichkeit, sich diesen Zeitpunkt der Datenaktualisierung zu merken.

Den Aktualisierungszeitpunkt über eine Abfrage ermitteln

Wenn der Aktualisieren-Knopf gedrückt wird, werden vor dem Refresh des Datenmodells alle Abfragen (Power Query) aktualisiert. Diesen Umstand kann ich nutzen und erstelle eine entsprechende Abfrage, die sich den Aktualisierungszeitpunkt merkt.  Ich füge folgende M-Formel in eine leere Abfrage ein und vergebe einen sprechenden Namen, in meinem Falle LetzteAktualisierung:

Dies hat zur Folge, dass dem Datenmodell eine weitere Tabelle LetzteAktualisierung hinzugefügt wird. Diese Tabelle beinhaltet eine einzige Spalte mit einem einzigen Wert: Dem letzten Aktualisierungszeitpunkt

Wichtig ist hierbei, dass diese Tabelle als sogenannte disconnected Table, also ohne jede Verknüpfung im Datenmodell existiert:

Zu diesem Zeitpunkt habe ich den letzten Aktualisierungszeitpunkt in einer Tabelle gespeichert. Nun möchte ich diesen in meinem Dashboard für den Endnutzer ausgeben.

Den gespeicherten Aktualisierungszeitpunkt im Dashboard ausweisen

Damit der Endnutzer auf den ersten Blick nachvollziehen kann, wann das Dashboard zuletzt aktualisiert wurde, muss diese Information in das Dashboard integriert werden. Hierfür schreibe ich ein DAX-Measure, welches mich die Information in eine Zeichenkette integrieren und zudem das Format des Aktualisierungszeitpunktes beeinflussen lässt:

Aktualisierungszeitpunkt =
„letzte Aktualisierung: „
& FORMAT ( VALUES ( LetzteAktualisierung[LetzteAktualisierung] ); „DD.MM.YYYY hh:mm“ )

Im Dashboard sieht das ganze dann wie folgt aus:

Mit jeder Aktualisierung des Datenmodells wird auch diese Information auf den neuesten Stand gebracht.

Den Aktualisierungszeitpunkt einfrieren

Manchmal ist es wünschenswert, trotz Aktualisierung den ausgewiesenen Aktualisierungszeitpunkt nicht zu verändern. Wenn ich beispielsweise der Entwickler des Datenmodells bin und technische Änderungen im Importprozess durchführen und testen muss, dann kann es sein, dass ich den ausgewiesenen Aktualisierungszeitpunkt auf dem alten Stand belassen möchte. Dies ist relativ einfach möglich, indem ich die entsprechende Abfrage von der Berichtsaktualisierung ausnehme:

Auf diese Weise kann ich Aktualisierungen vornehmen, ohne dass sich der ausgewiesenen Zeitpunkt ändert. Ich sollte dann vor dem Veröffentlichen der PBIX-Datei diesen Zustand wieder zurücksetzen, damit bei der nächsten Aktualisierung der Zeitpunkt wieder aktuell ist.

So hast du den Datenstand immer im Blick

Die Datenstände lassen sich den Faktentabellen entnehmen, also jenen Tabellen, die die Bewegungsdaten beinhalten. Wenn in einer Faktentabelle, die die Umsätze eines Unternehmens beinhaltet, der letzte Eintrag am 16.08.2017 gemacht wurde, dann ist der Datenstand der 16.08.2017. Genau diese Information soll, ebenso wie die letzte Aktualisierung des Datenmodells, in das Dashboard einfließen.

Das Ziel besteht darin, das Datum des letzten Eintrags in der Faktentabelle auszulesen. Unter der Maßgabe, dass meine Faktentabelle Umsaetze eine Spalte Datum beinhaltet, könnte ein sinnvolles Measure wie folgt aussehen:

letzterUmsatz_V1 =
„letzter Umsatz: „ & FORMAT ( MAX ( Umsaetze[Datum] ); „DD.MM.YYYY“ )

Diese Formel funktioniert, ist aber vom Datums-Slicer abhängig. Pro gewähltem Jahr wird der höchste, in der Faktentabelle vorhandene Datumswert ausgewiesen. Da in 2015 keine Werte vorhanden sind, liefert das Measure blank zurück und weist kein Datum aus.

Ich möchte jedoch, unabhängig von der getätigten Slicer-Selektion, das Datum des zuletzt eingespielten Umsatzes wissen. Daher muss ich die Formel adaptieren. Wenn es darum geht, den gewählten Filter (also den Filterkontext) zu ignorieren, fällt mir als erstes die Funktion ALL() ein. Die angepasste Formel sieht dementsprechend wie folgt aus:

letzterUmsatz_V2 =
„letzter Umsatz: „ & FORMAT ( MAX ( ALL ( Umsaetze[Datum] ) ); „DD.MM.YYYY“ )

Diese Formel wirft leider den folgenden Fehler aus:

Da ALL() eine Tabellenfunktion ist, gibt ALL ( Umsaetze[Datum] ) eine Tabelle zurück, auch wenn diese nur eine einzige Spalte beinhaltet. Die Funktion MAX() erwartet jedoch keine Tabelle, sondern eine Spalte als Kriterium. Daher nutze ich eine ähnliche Funktion: MAXX(). MAXX() erwartet zwei Parameter:

• eine Tabelle (ALL() kann hier also als Parameter genutzt werden) und
• einen Ausdruck, über den das Maximum ermittelt werden soll: meine Datumsspalte in der Umsatztabelle!

Das finale DAX-Measure sieht wie folgt aus:

letzterUmsatz_final =
„letzter Umsatz: „
& FORMAT ( MAXX ( ALL ( Umsaetze[Datum] ); Umsaetze[Datum] ); „DD.MM.YYYY“ )

Damit kann ich nun im Dashboard sowohl die letzte Aktualisierung, als auch den aktuellen Datenstand auf den ersten Blick erkennen.

Diese beiden Informationen solltest Du an einer sinnvollen Stelle in Deinem Dasboard platzieren. Auf diese Weise herrscht für Deine Kunden/ Nutzer nie wieder Unklarheit über den Datenstand und die Datenaktualisierung

Bis zum nächsten Mal und denk dran: Sharing is caring. Wenn Dir der Beitrag gefallen hat, dann teile ihn gerne

Viele Grüße aus Hamburg,

Lars

P.S. Ich habe alle DAX-Statements in diesem Beitrag mit folgendem Tool aufbereitet:

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Den Daten- und Aktualisierungsstand in Power BI immer im Blick erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Chris ist seit 2006 Most Valuable Professional (MVP) für Data Platform, aus Buckinghamshire, Großbritannien. Er ist ein unabhängiger Berater, spezialisiert auf komplexes MDX, Analysis Services Cube Design und Analysis Services Performance Probleme. Chris betreibt einen exzellenten Blog, der sich hauptsächlich mit Analysis Services und Power Query beschäftigt: http://blog.crossjoin.co.uk. Er ist Co-Autor mehrerer Bücher zu Analysis Services und er hat das erste Buch zu Power Query geschrieben, das Du hier bestellen kannst.

Hallo Chris,

danke, dass Du an meinem kleinen Projekt teilnimmst. Die letzten Jahre, die ich Power BI genutzt habe, haben mich überzeugt, dass dies ein großartiges Produkt ist und jeden Aufwand wert, es zu erlernen. Meine Idee mit diesem Beitrag ist es, Deine Geschichte als Business Intelligence Experte zu teilen, der zu einem Power BI Experten wurde und wie dies Dein berufliches Leben verändert hat. Los geht’s.

Lars: Kannst Du Dich daran erinnern, wann Du das erste Mal über Power BI/ Power Excel Add-Ins gehört hast? Wie bist Du mit Power BI in Berührung gekommen?

Chris: Ich kann mich nicht genau daran erinnern, wann ich das erste Mal von Power Pivot gehört habe. Ich erinnere mich daran, Gerüchte darüber gehört zu haben, ein paar Monate bevor es angekündigt wurde und dann habe ich detailliertere Informationen unter NDA darüber vom SSAS-Team erhalten, weil ich MVP war (und noch immer bin). Ich war nicht gerade glücklich: als eine „old school“ Corporate BI, SSAS Multidimensional und MDX Person, hatte ich realisiert, dass dies im Begriff war meine Welt zu zerstören. Wie auch immer, ich habe meine Meinung seitdem geändert und habe mich angepasst

Anmerkung von Lars: NDA = Non Disclosure Agreement = Verschwiegenheitsvereinbarung

Lars: Du bist ein Business Intelligence Experte, der für gewöhnlich Corporate BI Lösungen baut. Warum hast Du Dich während der letzten Jahre so stark auf Power Query fokussiert?

Chris: Das ist eine gute Frage! Ich denke, es liegt daran, dass es ein wirklich, wirklich cooles Stück Software ist. Aus der Sicht eines Bloggers, kann ich nur über Dinge schreiben, die mich interessieren und ich finde Power Query sehr interessant, auch wenn ich nicht weiß wieso (im Gegensatz dazu fand ich DAX nie so interessant, weshalb ich darüber auch nicht so viel schreibe). Ich hatte auch das Gefühl, gleich als ich es sah, dass es etwas war, das viele Leute sehr nützlich finden würden und dass das Entwickler-Team einen außerordentlichen Job bei dessen Erstellung gemacht hatte. Es ist eines dieser Tools, in das sich Leute gleich verlieben, sobald sie es benutzen. Ich habe sogar gehört, dass es als „das Beste, was Microsoft in den letzten 10 Jahren rausgebracht hat“ bezeichnet wurde.

Lars: Ich habe auf Deinem Bog gelesen, dass Power Query kein echtes ETL-Tool ist und wahrscheinlich auch nie werden wird. Kannst Du erklären, woran es Power Query fehlt, um ein ETL-Tool zu sein, und warum Du denkst, dass es nie eins sein wird?

Chris: Ich schätze das hängt davon ab, wie man ein “echtes“ ETL-Tool definiert. Power Query ist ein Tool um Daten in Excel, Power BI und nun in den Common Data Service zu bekommen, aber (noch) nirgendwo anders hin. Zudem ist es ein Tool, das mehr für den Endnutzer, als für den IT-Professional gedacht ist. Ich denke, ein „echtes“ ETL-Tool sollte fähig sein, Daten in viele Zielorte zu laden und in vielen Formaten und ich denke, „echte“ ETL-Tools sollten nur für IT-Professionals sein. Ich meine nicht, dass Power Query nicht nützlich ist – das ist es – und ich möchte auch nicht sagen, dass es nur ein Spielzeug ist. Es ist etwas Ähnliches wie ein ETL-Tool, aber nicht das gleiche. Und wer weiß, vielleicht entwickelt es sich in der Zukunft zu einem echten ETL-Tool…?

Lars: Du bietest IT-Schulungen für den gesamten Microsoft BI stack an, über Deine zweite Website http://technitrain.com/. Kannst Du uns darüber etwas erzählen?

Chris: Die meiste meiner Zeit verbringe ich mit der Beratung für Power BI und SSAS (siehe hier: www.crossjoin.co.uk), aber vor ein paar Jahren entschied ich mich dafür auch mehr Schulungen zu geben. Nachdem ich gesehen hatte, wie populär Konferenzen wie SQLBits geworden waren, realisierte ich, dass es viel Bedarf für fortgeschrittenere SQL Server und Microsoft BI Schulungen gab,  dem die traditionellen Schulungsunternehmen und Microsoft-Zertifizierungen nicht Rechnung trugen, also gründete ich Technitrain, um diesen Bedarf zu decken. Dies lässt mich selbst öffentliche Kurse zu Themen wie Power BI, SSAS und MDX geben, mit denen ich mich auskenne und ich kann zudem Kurse von anderen Leuten veranstalten, die ich bewundere, wie Marco Russo, Alberto Ferrari, Andy Leonard and Rafal Lukawiecki, dann zu anderen Microsoft BI und SQL Server bezogenen Themen.

Lars: Wenn ein Power Query-Nutzer fortgeschrittenes Wissen im Umgang mit der Nutzeroberfläche (GUI) hat und jetzt tiefer in die Sprache M rein möchte: Welchen Rat hast Du dies zu tun? Hast du ein paar Tipps, wie man fundamentale Fehler vermeidet?

Chris: Es gibt eine Menge Videos im Internet, die Du sehen kannst um eine Einführung in die Sprache M zu erhalten, wie dieses hier von mir: https://skillsmatter.com/skillscasts/8039-introduction-to-m-in-power-bi. Es ist wichtig sich zu merken, dass es nur in besonderen Szenarien notwendig ist, M-Code manuell zu schreiben und die restliche Zeit die Nutzeroberfläche des Abfrage-Editors den M-Code generieren zu lassen. Ich mache das andauernd: Ich schreibe ein paar Zeilen M im Erweiterten Editor (z. B. um mich mit einem Web Service zu verbinden) und dann generiere ich den Rest der Abfrage, indem ich Knöpfe in der Menüleiste klicke. Es ist ein viel schnellerer Weg des Arbeitens, besonders weil der Erweiterte Editor so „basic“ ist.

Lars: Im Mai 2017 hat Microsoft Custom Data Connector (CDCs) für Power BI angekündigt. Auf Deinem Blog (link) bezeichnest Du dies als “das Größte, was Power BI seit langem passiert ist”. Siehst Du diesen Bereich als einen zukünftigen Markt für Entwickler? Glaubst Du, dass CDCs in Zukunft verkauft werden könnten?

Chris: Ja, ich sehe das als großen Zukunftsmarkt für Entwickler, besonders dann, wenn Excel die Custom Data Connectors ebenfalls unterstützt. Es gibt so viele nützliche Daten da draußen, die über APIs verfügbar sind, die der Durchschnitts-„Information worker“ gerne nutzen würde, aber nicht erreichen kann, weil er keine Programmierkenntnisse hat. Die Anzahl der zugreifbaren Datenquellen zu erweitern wird für Power BI und Excel zudem ein großer Vorteil gegenüber anderen, konkurrierenden BI-Tools sein. Ich denke, wir werden ein paar Custom Data Connectors sehen, die verkauft werden, ja, aber ich denke, dass die Mehrheit kostenlos sein wird und ich denke zudem, dass „third party“ Softwareanbieter für ihre Plattformen Custom Data Connectors erstellen werden, um ihren Kunden zu ermöglichen, BI und Reporting in Power BI und Excel zu machen, anstatt die Zeit zu investieren ihre eigenen BI Features zu bauen.

Lars: Welche Erfahrung hast Du bzgl. des Bekanntheitsgrades von Power BI in der UK gemacht? Hast Du Kunden, die explizit nach Lösungen mit Power BI fragen, oder haben sie ein Problem und Du musst Power BI erst als Tool der Wahl vorschlagen?

Chris: Es gibt ein hohes Maß an Bekanntheit von Power BI in UK: jeder, der sich bzgl. Hilfe an mich wendet, nutzt bereits Power BI. Microsoft hat einen tollen Job in der Vermarktung gemacht, unterstützt durch die Power BI-Community, aber der wirkliche Hauptgrund, warum es so populär ist, ist dass die Leute es sich herunterladen und einfach ausprobieren können und so selbst sehen können, wie gut es ist.

Lars: Wenn Du nach einem Feature für Power BI fragen könntest (und das kann jedermann unter  ideas.powerbi.com), welches würde das sein?

Chris: Intellisense und andere Entwickler-freundliche Features im M Erweiterter Editor-Fenster! Dies wurde uns seit langem versprochen, aber wurde immer noch nicht geliefert. M Code für Custom Data Connectors in Visual Studio zu schreiben, erinnert mich daran, wie schmerzhaft es ist den Erweiterten Editor zu nutzen.

Lars: Könntest Du 3 Dinge nennen, die Power BI zu einem großartigen Produkt machen?

Chris: Das sind keine Features des Produktes, aber dies sind meiner Meinung nach die Top 3:

1. Die Art auf die das Entwickler-Team auf das Feedback seiner Kunden hört, wenn sie darüber entscheiden, welche neuen Features zu implementieren sind.
2. Die Power BI-Community, was bedeutet, dass wenn du ein Problem hast, es sehr wahrscheinlich ist, dass Du die Lösung irgendwo im Internet, in einem Blog-Beitrag, in einem Forum oder einem Video findest.
3. Der Preis – auch wenn sich eine Menge Leute darüber beschweren und ich denke, dass Microsofts aktueller Wechsel mit Premium hätte besser gehandhabt werden können, denke ich, dass Power BI ein unglaublich gutes Preis-Leistungsverhältnis hat.

Chris, vielen Dank für all die großartigen Beiträge auf Deinem Blog, die mir während der letzten Jahre so viel Zeit gespart haben und danke für die Beantwortung all meiner Fragen

Um Chris zu kontaktieren, findest Du hier seine Kontaktinformationen.

The personal Power BI journey of Chris Webb

Chris is an MVP for Data Platform since 2006 from Buckinghamshire, Great Britain. He is an independent consultant specialising in complex MDX, Analysis Services cube design and Analysis Services query performance problems. Chris runs an excellent blog, mainly dedicated to Microsoft Analysis Services and Power Query: http://blog.crossjoin.co.uk. He has co-authored a couple of books regarding Microsoft Analysis Services and has written the first Power Query related book, which you can order here.

Hello Chris,

thanks for participating in my little project. The last years of using Power BI convinced me, this is an amazing product, worth any effort learning it. My idea with this post is, to share your story as a Business Intelligence expert, who became a Power BI expert and how it changed your professional life. Let’s go

Lars: Can you remember, when you first heard about Power BI/ Power Excel Add-Ins? How did you get in contact with Power BI?

Chris: I can’t remember exactly when I first heard about Power Pivot. I remember hearing rumours about it a few months before it was announced, and then I received more detailed information under NDA from the SSAS team because I was (and still am) an MVP. I was not very happy: as an old school corporate BI, SSAS Multidimensional and MDX person, I realised this was going to disrupt my world. However I have changed my mind since then and moved with the times

Lars: You are a Business Intelligence expert, used to create Enterprise BI solutions. Why did you focus so much on Power Query, during the last years?

Chris: That’s a good question! I think it’s because it’s just a really, really cool piece of software. From the point of view of being a blogger, I can only write about subjects that I’m interested in, and I find Power Query very interesting although I don’t know why (in contrast I never found DAX all that interesting, which is why I don’t write about it as much). I also felt that, as soon as I saw it, that it was something that a lot of people would find very useful, and that the dev team had done an exceptional job building it. It’s one of those tools that people fall in love with as soon as they use it; I’ve even heard it called “the best thing to come out of Microsoft in the last ten years”.

Lars: I read on your blog, that Power Query is no real ETL tool, and probably will never be. Can you explain, what Power Query is missing from being an ETL tool and why you think, it will never be one?

Chris: I guess it depends on how you define what a ‘real’ ETL tool is. Power Query is a tool for getting data into Excel, Power BI and now the Common Data Service, but nowhere else (yet). Also, it’s a tool aimed more at end users rather than IT professionals. I think a ‘real’ ETL tool should be able to load data to many destinations and in many formats, and I think of ‘real’ ETL tools as being for IT professionals only. I don’t mean to say that Power Query is not useful though – it is – and I don’t want to suggest that it’s just a toy. It’s something similar to an ETL tool but not the same thing. And who knows, maybe it will evolve into a real ETL tool in the future…?

Lars: You are offering IT trainings for the complete Microsoft BI stack, via your second website http://technitrain.com/. Can you tell us something about it?

Chris: Most of my time is spent doing Power BI and SSAS consultancy (see www.crossjoin.co.uk) but a few years ago I decided I wanted to start doing more training too. After seeing how popular conferences like SQLBits were becoming, I realized there was a lot of demand for more advanced SQL Server and Microsoft BI classroom training that the traditional training companies and Microsoft certifications were not meeting, so I set up Technitrain to meet that need. It lets me run public courses on subjects like Power BI, SSAS and MDX that I know about and I also host courses by other people I admire such as Marco Russo, Alberto Ferrari, Andy Leonard and Rafal Lukawiecki on other Microsoft BI and SQL Server-related topics.

Lars: If a Power Query user has advanced knowledge in using the user interface, and now wants to get deeper into the M language: What is your advice how to do that? Do you have some hints, to avoid fundamental mistakes?

Chris: There are lots of videos on the internet that you can watch to get an introduction to the M language, such as this one by me: https://skillsmatter.com/skillscasts/8039-introduction-to-m-in-power-bi . The important thing to remember is that you only need to write M code manually in certain scenarios and the rest of the time you can let the Query Editor user interface generate the code for you. I do this all the time: write a few lines of M in the Advanced Editor (for example to connect to a web service) then generate the rest of the query by clicking buttons on the ribbon. It’s a much quicker way of working, especially because the Advanced Editor is so basic.

Lars: In May 2017 Microsoft announced Custom data connectors (CDCs) for Power BI. On your blog (link) you named this “the biggest thing that’s happened to Power BI in a long time”. Do you see that field as a future market for developers? Do you think CDCs will be for sale one day?

Chris: Yes, I see this as a big future market for developers, especially when Excel supports custom data connectors as well. There is so much useful data out there available through APIs that your average information worker would like to use but cannot access because they don’t have coding skills. Expanding the number of data sources that can be accessed will also give Power BI and Excel a big advantage over other competing BI tools. I think we will see some custom data connectors available for sale, yes, but I think that the majority will be free and I also think that third party software vendors will want to build custom data connectors for their platforms to allow their customers to do BI and reporting in Power BI and Excel rather than spend time building their own BI features.

Lars: What is your experience with the awareness level of Power BI in the UK? Do you have customers, explicitly asking for solution with Power BI, or do they have a problem, and you have to suggest Power BI as the tool of choice?

Chris: There is a lot of awareness of Power BI in the UK: everyone who approaches me for help is already using Power BI. Microsoft has done a great job of marketing it, helped by the Power BI community, but really the main reason it’s so popular is that people can download it and try it out so easily, and they can see for themselves how good it is.

Lars: If you could ask for a new feature in Power BI (what everyone can via ideas.powerbi.com) what would that be?

Chris: Intellisense and other developer-friendly features in the M Advanced Editor window! This has been promised for a long time, but it still hasn’t been delivered. Writing M code in Visual Studio for custom data connectors reminds me how painful it is to use the Advanced Editor.

Lars: Could you name 3 things about Power BI, which make it a great product?

Chris: These aren’t features of the product, but they are the top three things in my opinion:

1. The way the development team listens to feedback from its customers when deciding what new features to implement
2. The Power BI community, which means that when you have a problem it is much more likely that you can find the answer to it somewhere on the internet, in a blog post, on a forum or in a video
3. The price – even though a lot of people complain about it, and I think Microsoft’s recent changes with Premium could have been handled better, I think Power BI is incredibly good value for money.

Chris, thanks so much for all the great posts on your blog, which saved me so much time during the last years and thanks for answering all my questions

To get in touch with Chris, find his contact details here.

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Die persönliche Power BI Journey von Chris Webb (in English as well) erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Power Pivot/ Power BI vs. Access: Der erste Eindruck

Wieso entsteht bei Power Pivot- und Power BI-Lernenden der Eindruck, es wäre das gleiche wie Access, oder gar ein Ersatz dafür. Der Grund hierfür liegt in den Diagrammsichten beider Programme. In die jeweilige Diagrammsicht gelangt man wie folgt:

• Power Pivot: Im Power Pivot-Fenster befindlich auf Startseite → Diagrammsicht (Punkt 1 im Screenshot) klicken, bzw. das Icon für die Diagrammsicht in der unteren rechten Ecke (Punkt 2 im Screenshot) klicken.
• Access: Über den Reiter Diagrammtools → Beziehungen (Punkt 3 im Screenshot) gehen.

Der folgende Screenshot zeigt die Diagrammsichten beider Programme (oben Power Pivot, unten Access), bei unterschiedlichen Datenmodellen.

Zu sehen sind jeweils mehrere Tabellen, die durch Beziehungen miteinander verknüpft sind. Genau diese Ähnlichkeit in der Optik des Datenmodells, sorgt häufig für den Irrglauben es würde sich um austauschbare Technologien handeln. Warum dies nicht so ist, werde ich im weiteren Beitrag erläutern.

Die Veränderbarkeit der Daten

Access und Power Pivot/ Power BI weisen sehr viele technologische und konzeptionelle Unterschiede auf. Angefangen bei den unterschiedlichen Datenbank-Engines , die im Hintergrund ihre Arbeit verrichten, über die beiden Abfrage-/ bzw. Programmiersprachen SQL und DAX, hin zu hochgradig normalisierten bzw. denormalisierten Modellierungsansätzen.

Der für mich an dieser Stelle jedoch wesentlichste Unterschied (im Hinblick auf die Ersetzbarkeit von Access durch Power Pivot) zwischen beiden Datenbanksystemen ist die Veränderbarkeit der Daten. Während Daten, die sich in einer Access-Datenbank befinden, leicht – beispielsweise über die Nutzung eines Formulars – durch den Anwender verändert werden können, so ist dies mit Daten, die sich in einem Power Pivot-/ Power BI-Datenmodell befinden nicht möglich. Dies liegt an den unterschiedlichen Einsatzbereichen beider Datenbanktypen.

Access, als transaktionsorientierte, relationale Datenbank

Microsoft Access ist eine relationale Desktop-Datenbank. Sinn und Zweck einer solchen Datenbank ist das Erfassen aktueller, geschäftsrelevanter Daten. Dies kann dazu führen, dass nicht mehr aktuelle Daten aktualisiert, d. h. überschrieben werden, oder sogar gelöscht werden müssen.

Ein klassisches Beispiel hierfür ist eine Kundendatenbank, die beispielsweise durch Mitarbeiter mit Kundenkontakt (z. B. Kunden-Call-Center) gepflegt wird. Ist der Kunde neu, so wird ein neuer Datensatz im System gepflegt. Hat der Kunde bereits einen Account (d. h. einen Eintrag in der Kundentabelle) und ändert seinen Wohnsitz, so wird die bisherige Adresse in der Access-Datenbank mit der nun aktuellen Adresse überschrieben. Kündigt dieser Kunde und wünscht die Entfernung seiner Daten aus dem System, so werden die Kundendaten aus der Datenbank gelöscht. Man kann also sagen, dass eine relationale Datenbank operative Systeme in Unternehmen (z. B. Logistiksysteme, Finanzbuchhaltungssysteme, etc.) unterstützt, indem sie die relevanten Daten speichert und ggf. ändert oder löscht.

Power Pivot/ Power BI, als analyseorientierte, tabellarische Datenbank

Power Pivot/ Power BI ist im Gegensatz zu Access keine transaktionsorientierte Datenbank. Ganz im Gegenteil: In Power Pivot/ Power BI selbst werden keine Daten erfasst. Stattdessen werden Daten aus externen Systemen (häufig relationale Datenbanken, wie Access) importiert. Daten, die einmal in Power Pivot geladen wurden, können nicht mehr verändert werden. Natürlich bin ich in der Lage, in Power Pivot/ Power BI via DAX berechnete Spalten zu erzeugen und somit die bestehenden Daten anzureichern. Die bestehenden Daten selbst kann ich jedoch nicht verändern. Erst mit einem erneuten Refresh des Power Pivot-/ Power BI-Datenmodells, der die angebundenen Datenquellen (z. B. csv-Dateien, Excel-Dateien, andere Datenbanken, etc.) erneut importiert, können die Daten im Datenmodell geändert werden.

Diese Erkenntnis verwirrt viele Excelnutzer zu Beginn. Sowohl in Excel-, als auch in Access-Tabellen lassen sich Werte manuell ändern. In Power Pivot/ Power BI jedoch nicht. Hierbei handelt es sich jedoch keineswegs um einen Fehler. Die Aufgabe von Power Pivot/ Power BI ist es, große und komplexe Daten auf vielfältige Art und Weise und in hoher Geschwindigkeit für Analysen bereitzustellen. Die Richtigkeit der Daten muss hierbei unbedingt in der Datenbasis sichergestellt werden, d. h. in den importierten csv-Dateien, Excel-Dateien und Datenbanken. Nur so kann ich gewährleisten, dass verschiedene unternehmensweite Analysen, alle mit denselben Daten arbeiten.

Zusammenfassung zur Veränderbarkeit von Daten

Access (und auch andere relationale Datenbanken) erfasst, ändert und löscht Daten und unterstützt somit operative Systeme in Unternehmen. Power Pivot/ Power BI importiert Daten aus externen Systemen wie Access-Datenbanken und speichert diese unveränderbar ab und stellt leistungsfähige Werzeuge zu deren Analyse bereit. Auf diesem Wege kann sichergestellt werden, dass Analysen, die mit diesen Daten betrieben werden, auf den originalen Quelldaten aufsetzen und somit unternehmensweit zu gleichen Ergebnissen führen.

Und welches Datenbanksystem ist nun besser?

Die Antwort ist einfach: Keines ist besser, oder schlechter. Sie sind verschieden, spezialisiert und haben unterschiedliche Einsatzbereiche. Somit haben beide ihre Berechtigung und keines wird das andere ablösen.

Falls Dich dieser Artikel interessiert hat, interessiert dich bestimmt auch mein Newsletter: Hier geht’s zum Abonnement meines kostenlosen Newsletters!

Bis zum nächsten Mal und denk dran: Sharing is caring. Wenn Dir der Beitrag gefallen hat, dann teile ihn gerne

Viele Grüße aus Hamburg,

Lars

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Warum Power Pivot niemals MS Access ersetzen wird erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Reza ist seit 2011 ein Most Valuable Professional (MVP) für SQL Server, aus dem schönen Auckland, Neu Seeland. Er ist Autor, Trainer und Berater für BI und führt seinen BI bezogenen Blog auf www.radacad.com/blog. Reza spricht auf Konferenzen wie dem PASS Summit, Business Analytics, Microsoft Ignites, Microsoft Data Insights Summit, SQLNexus und vielen anderen Konferenzen auf der ganzen Welt. Er ist Autor des Buches Power BI from Rookie to Rock Star (Buch und Kurs).

Zusammen mit seiner Frau Leila Etaati führt er sein eigenes Beratungsunternehmen mit dem Namen RADACAD.

Hallo Reza,

ich freue mich sehr, dass Du Dich an meinem kleinen Projekt beteiligst, vielen Dank Ich weiß, dass Power BI ein großartiges Produkt ist und jeden Aufwand wert, es zu erlernen. Meine Intention mit diesem Beitrag ist es, Deine Geschichte als SQL Server Experte zu teilen, der zu einem Power BI Experten wurde und wie das Dein berufliches Leben verändert hat. Auf geht’s.

Lars: Kannst Du Dich daran erinnern, wann Du das erste Mal über Power BI/ Power Excel Add-Ins gehört hast? Wie bist Du mit Power BI in Berührung gekommen?

Reza: Ich habe mein technisches Leben vor vielen Jahren als SQL Server und .NET-Entwickler begonnen. Dann habe ich sehr schnell meine Leidenschaft mehr auf der Daten-Seite der Dinge entdeckt. Alles was mit Daten zu tun hatte, wie Datenbank-Design, Bewegung von Daten,  Modellierung, Abfragen und diese Dinge. Nach ein paar Jahren habe ich mich dann für Business Intelligence interessiert (das muss so um 2002 gewesen sein). Ich hatte begonnen mit dem BI Toolset des Microsoft SQL Servers zu arbeiten, das waren damals DTS und ein wenig Analysis Services. Ich habe viele Jahre mit SSIS gearbeitet, nachdem diese herausgekommen waren, ich habe ein Buch über SSIS geschrieben und ein Buch über die gesamte Microsoft BI Suite. Um das Jahr 2010 herum, habe ich hier und da über das Power Pivot Add-In für Excel gehört und fand es sehr nützlich und interessant. Das war der Beginn meines Power BI-Lebens. Ich habe damit viel gearbeitet und danach kamen weiteren Komponenten eine nach der anderen hinzu. So kam Power Query (zu Beginn Data Explorer genannt) in 2013 hinzu, welches meine Lieblingskomponente für Power BI war (und auch jetzt noch). Ich habe viele Blog-Beiträge darüber geschrieben und auch über anderen Power BI Add-In Technologien. Als im Juli 2015 die Ankündigung für Power BI Desktop rauskam, beinhaltete das alle Komponenten, mit denen ich seit Jahren gearbeitet hatte. Um es kurz zu machen müsste ich sagen, dass ich mit Power BI gearbeitet habe, bevor es als Power BI bekannt wurde.

Lars: Du bist SQL Server Experte, der Enterprise Business Intelligence Lösungen erstellt. Auch, wenn die Power BI Plattform immer mehr die Lücke zwischen Self Service BI und Enterprise BI schließt, war Power BI ganz zu Anfang ein Self Service BI Tool. Warum hast Du Dich damit beschäftigt?

Reza: Du hebst genau das Richtige hervor. Das ist der Grund, warum Power BI derzeit so populär ist. Vor dem Zeitalter der Self-Service BI Tools, sah die Geschichte noch ganz anders aus. Hier ist ein Beispiel: einige Business Analysten hatten die Notwendigkeit, dass ihre Daten analysiert wurden, aber weil es noch kein Tool dafür gab (außer Excel und ein paar anderer Tools), baten sie ihr IT-Team, oder manchmal das BI-Team, die Analyse für sie zu machen. Sie sagten häufig, dies sind Berichte und Dashboards die wir brauchen, bitte baut sie uns. Dann begann das IT- oder BI-Team die Anforderungen zu ermitteln und Phasen des Projektes zu erstellen (manchmal mit eigenen Ressourcen, manchmal nutzten sie einen Anbieter oder eine Beratung dafür). Der BI-Teil des Projektes war für gewöhnlich lang und zeitintensiv. Häufig kostete es ein Jahr oder länger um ein Ergebnis zu erzielen. Da klaffte eine große Lücke zwischen Nachfrage und Lieferung. Die Business Analysten hatten nach dem Bericht vor einem Jahr gefragt und nun ist er fertig. Wie auch immer, die Nutzer benötigen diesen nun nicht mehr, die Anforderung bestand seit einem Jahr. Jetzt will der Nutzer etwas Anderes und das bedeutet ein weiteres Jahr. Das war wie eine nicht endende Schleife. Self-Service hat diese Lücke ausgefüllt. Mit Power BI kann jeder Business Analyst anfangen das Tool einzusetzen um etwas zu bauen, mit dem er wenigstens anfangen kann zu analysieren. Aus meiner Sicht ist dies der Richtige Weg für BI. BI bedeutet, Nutzern zu helfen effektive Entscheidungen zu richtigen Zeit zu treffen.

Lars: Siehst Du Power BI als Ergänzung, oder als Ersatz für die traditionellen SQL Server Analysis Services?

Reza: Wenn wir auf Power Pivot, Power BI Modelling, oder auf die xVelocity Engine von Power BI schauen, dann handelt es sich dabei um nichts anderes als SQL Server Analysis Services Tabular. Es ist also dieselbe Engine. Es ist eine sehr mächtige Engine, die Daten-Modellierern hilft zu erstellen, was sie wollen. In früheren Stadien der Engine, war diese nicht so mächtig und es war klar, dass die Engine hinter Multi-Dimensional besser war. Aber heutzutage kann man viele erfolgreiche Implementierungen von Power Pivot, SSAS Tabular, oder Power BI finden. Ich sage nicht, dass dies ein Ersatz für SSAS. Wir werden weiterhin Unternehmen haben, die on-premise Lösungen brauchen und SSAS (tabular oder dimensional) ist für sie die beste Lösung. Was ich meine ist, dass Power BI für sie mehr eine Ergänzung ist. Es macht die gesamte Architektur der Microsoft BI Suite stabiler. Es geht nicht mehr nur um SSAS und on-premise, jetzt haben wir auch noch eine Cloud-Lösung.

Lars: Welcher Teil von Power BI (ETL – Power Query, Daten-Modellierung – Power Pivot, Datenvisualisierung) ist für Dich der faszinierendste und warum?

Reza: Meine Lieblingskomponente ist (und war auch immer) Power Query. Unter jeglicher BI Technologie sind meine Favoriten immer diejenigen Technologien, die damit zu tun haben, Daten zu bewegen. Im SQL Server BI Toolset war SSIS mein Favorit, in den Azure Technologien ist es Azure Data Factory. Und jetzt in Power BI ist Power Query die Komponente, die ich favorisiere. Wenn ich etwas Freizeit habe, dann wirst Du mich dabei sehen, wie ich etwas mit Power Query mache

Lars: Du gibst online Trainings für Power BI via radacad.com überall auf der Welt und das zusammen mit Deiner Frau Leila Etaati, in englischer Sprache. Bitte erzähle dem Leser etwas darüber.

Reza: Es sind online-, in-Persona und Video-Trainings. Details zu unseren Kursen sind unter http://learn.radacad.com verfügbar. Dies ist unser beliebtester Kurs, und ich bin froh sagen zu können, dass dies der umfassendste Power BI-Kurs auf der Welt ist.  Er hat viele Module, beginnend bei den Basics, über mittlere Schwierigkeit bis hin zu fortgeschrittenen Reihen. Hier sind nur einige der Module:

1. Power BI Essentials
2. Advanced Data Transformation with Power Query
3. Advanced Data Modeling and DAX
4. Data Visualization
5. Architecture, Gateway, Security and Administration
6. Power BI for Developers
7. Advanced Analytics with Power BI

Einige Leute registrieren sich nur für das erste Modul (welches ein Einsteiger-Level aller Komponenten beinhaltet) und es vermittelt ein gutes Verständnis um ihr erstes Dashboard zu bauen. Einige Leute nehmen an unseren fortgeschrittenen Kursen teil (wie Power Query, DAX oder Advanced Analytics).  Jeder unserer fortgeschrittenen Kurse kann für sich selbst zwischen einem und drei Tagen dauern. So ist Power BI from Rookie to Rock Start wie eine Universität in der Nussschale. Dieser Kurs läßt Nutzer/ Entwickler ganz am Anfang beginnen und am Ende sind sie Rock Stars in Power BI. Leila und ich geben diese Kurse überall auf der Welt. Während der letzten Monate hatten wir mehr als 1.500 Studenten in diesem Kurs. Wir geben diese Kurse in vielen Ländern, so z. B. in den USA, Kanada, Australien, Neuseeland, Ländern in Europa, Asien und anderen Großstädten in der Welt. Leila fokussiert sich dabei auf den Advanced Analytics-Teil, dort liegt ihre Expertise, sie hat einen PhD auf diesem Gebiet (Anm. Lars: PhD = Doktorgrad) und schreibt und spricht viel zu diesem Thema. Leilas Einsatz kommt für gewöhnlich, wenn Power BI mit R und Machine Learning kombiniert wird. Sie unterrichtet, Power BI zu nutzen und mit Technologien wie R und Azure Machine Learning zu kombinieren, um predictive analytics, prescriptive und descriptive Analysis zu erstellen. Ihre Kurse auf diesem Gebiet dauern manchmal länger als 5 Tage.

Ich konzentriere mich hauptsächlich auf alles, was damit nichts zu tun hat . Wir bieten diese Trainings auch online (geleitet durch den Referenten) an. Online und geführt durch den Referenten meint, dass sich der Student mit uns via GoToMeeting verbindet, damit volle Interaktion bzgl. Video und Audio möglich ist und wir bieten diesen Kurs in seiner Zeitzone an. Die Zeitzonen aller Städte der Welt sind bereits abgedeckt. Und schließlich haben wir unsere Kurse noch im Video-Trainings-Format. Details zu unseren Kursen gibt es hier: http://learn.radacad.com.

Lars: Aus meiner Erfahrung heraus, sehen IT-Abteilungen ein Spannungsfeld, wenn es um Self-Service BI geht. Es gibt anderen Abteilungen (z. B. Finance) die Möglichkeit BI-Lösungen selbst zu entwickeln. Dies kann zu verschiedenen Problemen führen, wenn die technischen Fähigkeiten nicht in notwendigem Maße vorhanden sind. Auf der anderen Seite, wenn die technischen Fähigkeiten vorhanden sind, dann sichert dies, dass der Entwickler der Tools auch gleichzeitig die Richtigkeit der Berichte beurteilen kann. Welche Erfahrungen hast Du mit diesem Spannungsfeld und wie konntest Du dies lösen, wenn Du mit Kunden gearbeitet hast?

Reza: IT-Abteilungen sehen Power BI für gewöhnlich als Konkurrenten an. Sie sehen in Power BI ein Tool, dass ihren Platz im Unternehmen einnimmt. Vor Power BI waren sie diejenigen, die das Reporting und die Analysen gemacht haben. Aus den verschiedenen Abteilungen des Unternehmens kamen die Leute zu ihnen und haben nach BI-Lösungen gefragt. Mit Power BI macht dies jetzt jeder selbst. Das ist der Grund, warum viele IT-Abteilungen dagegen sind. Wie auch immer, dies bedeutet nicht, dass Power BI ein Ersatz für sie ist. Es könnte ein Ersatz für Ihre Position sein. BI-Entwickler können jetzt in verschiedenen Abteilungen arbeiten und ihnen dabei helfen, Power BI zu nutzen, um zu erreichen was sie wollen. Anstelle von mehrmonatigen BI-Projekten, können sie das jetzt innerhalb einer Woche, weniger Tage oder sogar weniger Stunden erreichen. Eine verlässliche Power BI-Lösung zu bauen benötigt immer noch einiges an Verständnis für die Entwicklung, und anständige Modellierungs-Fähigkeiten. Dies ist dann der Bereich, in welchem die BI- und IT-Entwickler tätig werden können.

Lars: Welchen Tipp würdest Du Power BI-Neulingen geben, die tiefer in dieses weite Thema vordringen wollen?

Reza: Ich erwähne das immer in Kursen. Power BI sieht einfach aus, aber das ist es nicht. Um ein anständiges und stabiles Modell zu bauen, muss man die Prinzipien im Detail erlernen. Man muss best practises lernen und in einige Bereiche tief einsteigen. Power BI ist in den richtigen Händen sehr mächtig. Also stelle sicher, dass Du die richtigen Hände bist. Es ist nicht so, dass Du modellierst, weil Du einige Visualisierungen und Kalkulationen erstellst. Es gibt da viele Aspekte und Details. Ich rate ihnen dann, so viel Zeit wie möglich (oder sogar noch mehr) zu nutzen, um mit Power BI zu arbeiten. Lies Artikel, besuche Kurse, lies Bücher. Sie müssen Power BI auf einem fortgeschrittenen Level erlernen um sicherzustellen, dass die Performance ihrer Lösung möglichst gut ist und es sich um ein robustes Stück Arbeit handelt. Das erfordert viel Einsatz, besonders, wenn man ein Neuling ist. Wie auch immer, alles beginnt mit dem ersten Schritt, danach macht man den zweiten und schließlich kommt einer nach dem anderen. Höre auf diesem Weg nie auf zu lernen.

Lars: Erzähle uns etwas über den kostenloses Power BI-Buch und Deinen Newsletter.

Reza: Ich habe viele technische Beiträge auf meinem Blog (http://radacad.com/blog) über Power BI geschrieben. Zu der Zeit, die ich erwähnte, wurde es nicht Power BI genannt . Ich habe über alle Aspekte davon geschrieben. Basics, Abfragen, Modellierung und DAX, Visualisierungen, Administration, Architektur… Dies ist die umfassendste Quelle, die für jedermann kostenlos verfügbar ist. Ich nutze sie ebenso als den Hauptteil meiner Kursmaterialien. Ich dachte, die Leute hätten einen großen Vorteil dadurch, wenn sie dies als Buch in ihrem Regal stehen haben könnten. Ich habe dann diese Beiträge zusammengepackt, habe sie ein wenig aufpoliert und habe sie dann als kostenloses PDF Buch veröffentlicht. Es sind bereits über 1.000 Seiten. Es ist ein kostenloses Buch und wurde bis jetzt mehr als 10.000 Mal heruntergeladen. Hier ist der Link: http://www.radacad.com/online-book-power-bi-from-rookie-to-rockstar. Ich habe es kostenlos gemacht, weil der Inhalt meines Blogs ebenfalls kostenlos ist. Ich möchte der Power BI Community helfen einfacher darüber zu lernen und das aus einer verlässlichen Quelle. Wie auch immer, falls Leute daran interessiert sind, tiefgreifend darüber zu lernen, stehen ihnen meine Kurse immer zur Verfügung (http://learn.radacad.com). Wie Du schon erwähntest, haben wir auch einen Newsletter. Er kann kostenlos abonniert werden. Man kann ihn auf unserer Website abonnieren (http://radacad.com). Jede Woche erhält man unsere neuen Blog-Beiträge, Ankündigungen über Produkte und man erhält viele kostenlose Informationen aus der Welt des Power BI.

Lars: Wenn Du nach einem Feature für Power BI fragen könntest, welches würde das sein?

Reza: Für mich wäre das nicht nur eins. Wenn ich Power BI unterrichte, bekomme ich viele großartige Ideen von Studenten, und ich ermutige sie immer ihre Idee auf der User Voice-Website zu platzieren. Ich vote auch häufig für sie, wenn ich sie für nützlich halte. Idee bzgl. Visualisierungen, Modellierung, Abfragen, Desktop Tool, Service und vieles mehr. Die Features, die wir heute in Power BI sehen, waren irgendwann mal Ideen. Ich bin selbst nicht so ein „Ideen-Mensch“, aber ich bewundere und unterstütze alle Leute, die mit ihren fantastischen Ideen kommen.

Lars: Könntest Du 3 Dinge nennen, die Power BI zu einem großartigen Produkt machen?

Power BI wurde auf atemberaubenden Bausteinen erbaut, deshalb ist es nicht wie andere Tools. Es verblasst nicht, es ist direkt vor Deinem Gesicht und wird jeden Monat mächtiger. Hier kommen die meiner Meinung nach 3 besten Dinge von Power BI:

1. Die Engines, auf denen Power BI erbaut wurde, sind in sich tolle Produkte. Power Query für Daten-Transformationen, xVelocity und DAX für die Modellierung und ausgezeichnete Visualisierungskomponenten sind alle für sich schon klasse und die Kombination dieser drei macht Power BI zu einem Tool, das mit keinem anderen Tool auf dem Markt vergleichbar ist.
2. Das Power BI Team von Microsoft. Microsoft verwendet eine Menge Zeit, Ressourcen und Energie darauf, dieses Tool zum Besten auf dem Markt zu machen (was es bereits ist). Jeden Monat ein neues Update von Power BI Desktop und der Power BI Website. Viele guter Dokumentationen des Tools, eine Website zum Vorschlagen neuer Ideen (user’s idea). Power BI ist soweit eines der besten Produkte von Microsoft und wir haben Glück, dass sie es auf diese großartige Weise unterstützen. Die Geschwindigkeit an Updates ist etwas, das man bei keinem anderen Produkt auf dieser Welt sieht.
3. Die Power BI Community. Es gibt viele Techniker aus der Community, die helfen mehr Dokumentationen zu erstellen, sie veröffentlichen best practises, sprechen auf Konferenzen und in User Groups über diese Technologien. Die Community ist die Stimme von Power BI.

Reza, vielen Dank für Deine tolle Community-Arbeit und dafür, dass Du mein kleines Projekt unterstützt, um Power BI sogar noch berühmter zu machen.

Du kannst zu Reza über sein Kontaktformular und über seine Website http://radacad.com Kontakt aufnehmen.

Reza: Danke Lars, für die Gelegenheit. Ich weiß das sehr zu schätzen und ich danke DIR für den tollen Job, den Du für die Community machst. Ich freue mich, in diese Arbeit involviert zu sein (auch wenn es sich nur um ein kleines Interview handelt).

The personal Power BI journey of Reza Rad

Reza is a Most Valuable Professional (MVP) for SQL Server since 2011 from beautiful Auckland, New Zealand. He is Author, Trainer, Speaker and Consultant for BI, running his BI dedicated Blog on Reza speaks in conferences such as PASS Summit, Business Analytics, Microsoft Ignites, Microsoft Data Insights Summit, SQLNexus, and many other conference around the world. He is author of Power BI from Rookie to Rock Star (book, and course).

Together with his wife Leila Etaati he runs his own Consulting company named RADACAD.

Hello Reza,

I am very happy you participate in my little project, thanks a lot J . I know, that Power BI is an amazing set of tools, worth any effort learning it. My idea with this post is, to share your story as an SQL Server expert, who became a Power BI expert and how it changed your professional life. Let’s go.

Lars: Can you remember, when you first heard about Power BI/ Power Excel Add-Ins? How did you get in contact with Power BI?

Reza: I have started my technical life as a SQL Server and .NET developer many years ago. Then very quickly I found my passion more in the data side of things. Anything related to data, such as Database design, data movement, modeling, querying and things like that. After couple of years, I’ve found my interest in Business Intelligence side of thing (I can tell this was about year 2002 or something like that). I started working with BI toolset of Microsoft SQL Server, which was at that time DTS and some Analysis Services. I’ve been working for many years with SSIS after it become available, I’ve written a book about SSIS, and a book about the whole Microsoft BI suite. About year 2010 I’ve been heard here and there about Power Pivot add-in for Excel, and found it very useful and interesting. That was what I’d say my start of Power BI life. I’ve been working a lot with that, and then other components came one by one after that. Such as Power Query (named Data Explorer at early stages) which came in 2013, was (and still is) my favorite  component for Power BI. I have written a lot of blog posts about it, and other Power BI add-in technologies. When the announcement of July 2015 for the new Power BI Desktop came out. It was all components that I’ve worked with for some years. So, in short answer I should say I’ve worked with Power BI before it become known as Power BI.

Lars: You are an SQL Server expert, used to create Enterprise Business Intelligence solutions. Even though the Power BI Platform is recently more and more closing the gap between Self Service BI and Enterprise BI, Power BI in the very beginning was a Self-Service BI tool. Why did you start dealing with it?

Reza: You pointed out exactly the right spot. That is the reason why Power BI is so popular now. Before the age of Self-Service BI tools, story was total different. Here is an example: some business analysts felt the need to have their data to be analyzed, but because there was no tool for them to use (except Excel and few other tools), they asked their IT team or sometimes BI team to do the analysis for them. They often asked that these are reports and dashboards we need, please build these for us. Then IT or BI team started requirement gathering, and build phase of the project (sometimes they did that in-house, sometimes they got a vendor or consultancy to do that). The BI piece of work usually was long and time consuming. Often it took a year or more to get to a result. That was a big gap between demand and supply. Business analysts asked for the report a year ago, and now the report is ready. However, the user doesn’t need it anymore, it was a year ago that requirement exists. Now user wants something else, and that means another year again. This was like a not-ending loop. Self-Service BI filled that gap. With Power BI every business analyst can start leveraging the tool to build at least something that they can start analyzing today. This in my point of view is the right path for BI. BI meant to help users to make effective decisions at the right time.

Lars: Do you see Power BI as a companion or a replacement of traditional SQL Server Analysis Services?

Reza: If we look at Power Pivot, Power BI Modeling, or xVelocity engine of Power BI, it is nothing more than a SQL Server Analysis Services Tabular. So, it is the same engine. It is a powerful engine that helps data modelers to build what they want. At early stages of this engine, it wasn’t that much power full, and it was clear that Multi-dimensional modeling engine is better. But these days; you can find many successful implementations of Power Pivot, SSAS Tabular, or Power BI. I’m not saying this is the replacement for SSAS. We still have some companies that needs their on-premises solution, and SSAS (tabular or dimensional) is the best model engine for them. What I’m saying is that Power BI is more like a companion. This make the whole architecture of Microsoft BI Suite more robust. It is not just about SSAS and on-premises anymore, now we have a cloud solution too.

Lars: Which part of Power BI (ETL – Power Query, Data modeling – Power Pivot, Data Visualization) is most fascinating for you and why?

Reza: My favorite component is (and always have been) Power Query. Amongst all BI technologies my favorite is always technologies related to data movement.  With SQL Server BI tool set, SSIS was my favorite, in Azure Technologies Azure Data Factory is. Now in Power BI, Power Query is the component I love. If I found some spare time, you will see me doing something with Power Query

Lars: You are running online classes for Power BI via radacad.com all over the world, together with your wife Leila Etaati, in English. Please tell the reader something about it.

Reza: It is online, in-person, and video training. Details of our courses is all available at http://learn.radacad.com. This course is our most popular course, and I’m glad to say that this is the most comprehensive Power BI course in the world. It has many modules, starting from basic, and continuing in intermediate and advanced series. Here is just some of its modules;

1. Power BI Essentials
2. Advanced Data Transformation with Power Query
3. Advanced Data Modeling and DAX
4. Data Visualization
5. Architecture, Gateway, Security and Administration
6. Power BI for Developers
7. Advanced Analytics with Power BI

Some people register only for first module (which is a beginner level of all components) and it gives them good understanding to build their first dashboard. Some people attend in our advanced training courses (such as Power Query, DAX or Advanced Analytics). Each of advanced training courses also might take between 1 to 3 days itself. So, Power BI from Rookie to Rock Star is like a university in nutshell. It gets users/developers to start from beginner and end up with being Rock Stars of Power BI. Leila and I teach this course all around the world. In just past few months we’ve had 1500+ students for this course. We delivered training in many countries such as USA, Canada, Australia, New Zealand, Europe countries, Asia and major cities in the world.

Leila is mainly focused on Advanced Analytics training part of it, this part is her expertise, she has a PhD on this subject, and write and speak about it a lot. Leila’s area usually comes when Power BI combines with R and Machine Learning. She teaches how to use Power BI combined with technologies such as R, and Azure Machine learning to do predictive analytics, prescriptive, and descriptive analysis. Her courses on this area are sometimes 5+ days long.

I am mainly focused on everything but that part . We also deliver these trainings online (instructor led) too. Online instructor led means students connect with us through GoToMeeting with full interaction of video and audio and we will deliver the course in their time zones. Time zone for all cities in the world is already covered. And finally, we do have these courses in video training format too. Details of our courses is all available at http://learn.radacad.com

Lars: In my experience IT departments tend to see an area of conflicts, when it comes to self-service BI. It gives the other departments (e.g. Finance) the opportunity to develop BI solutions on their own. This can cause different problems, when the technical skills are not on a necessary level. On the other hand, when the technical skills are at hand, this ensures, that the developer of the tools can judge the correctness of the reports himself. What is your experience with this are of conflicts and how could you solve this when dealing with customers?

Reza: IT Departments usually see Power BI as a competitor to themselves. They look at Power BI like a tool that take their place in the company. Before Power BI, they have been the person who did the reporting, and analysis. Everyone from different departments of the company came to them and asked for BI solution. Now with Power BI everyone does it themselves. So, that’s why many IT departments are still against it. However, the fact is Power BI is not replacement for them. It might be a replacement for their positions. BI Developers now can work in different departments and help that department to leverage Power BI to gain what they want. Instead of multi-month BI project, they can achieve it in a week or few days or even few hours. Building a reliable Power BI solution still needs some development understanding, and proper modeling skills. This is then the area where BI developers and IT developers will take place.

Lars: Which hint would you give a Power BI newbie, who wants to dig deeper into this wide topic?

Reza: I always mention it in my courses. Power BI looks easy, but it is not. To build a proper and robust model, you need to learn principles in details. You need to learn best practices and deep dive into some areas. Power BI is powerful in the right hand. So, make sure you be the right hand for it. It is not just creating some visualizations and calculations that makes you model. There are many aspects and details about it. I suggest them to spend as much as time they can (and even more) to work with Power BI. Read articles, attend courses, read books. They need to learn Power BI in an advanced level to make sure performance of their solution is best and it is a robust piece of work. This is a lot to take in specially when they are newbie. However, everything starts with first step, after that you take the second step, and then it comes one after each other eventually. Never stop learning in this path.

Lars: Tell us something about your free Power BI book and your newsletter.

Reza: I have written many technical articles in my blog (http://radacad.com/blog) about Power BI. From the time that I’ve mentioned it was not named as Power BI . I’ve written about all aspects of it; Basics, Querying, Modeling and DAX, visualization, Administration, Architecture… This is the most comprehensive resource available for free for everyone to read. I use these as the main parts of my training course materials as well. I thought people will get a lot of benefit to have this as a book in their bookshelf. Then I packed the set of blog posts together, did some polishing and published it as a free PDF book. It is 1000+ pages already. This is free book, and till now more than 10K downloaded, here is the link: http://www.radacad.com/online-book-power-bi-from-rookie-to-rockstar.

I’ve created to book free, because the content of my blog is free as well. I want to help the Power BI community to learn about it easier, and from a reliable source. However, if people are interested to learn these deep in dive my training courses are always available for them too (http://learn.radacad.com).

As you mentioned we do also have a newsletter. It is free to join. You can join from our website (http://radacad.com). Every week you will receive our new blog posts, announcement about the products, and you will be notified with many free information about the world of Power BI.

Lars: If you could ask for a new feature in Power BI (what everyone can via ideas.powerbi.com) what would that be?

Reza: For me that won’t be one. When I teach Power BI I get many awesome ideas from students, and I always encourage them to place their ideas in user’s voice website. I often vote for them too when I see those very useful. Ideas about visualization, modelling, querying, Desktop tool, service, and much more. These features that today we see in Power BI has been an idea at some stage. I’m not that much of an idea person myself, but I admire all people who comes with their fantastic ideas and support them all

Lars: Could you name 3 things that make Power BI a great product?

Reza: Power BI built on top of stunning building blocks, that is why it is not like other tools. It is not fading away, it is right in front of your face, and more powerful every single month! Here is what I think is the 3 best things about it:

• Engines that Power BI built on top of it, are great products themselves. Power Query for data transformation, xVelocity and DAX for Modeling, and superb visualization component are all great by themselves, and combination of these three makes Power BI a tool which is not comparable with any other tools in the market.
• Power BI team in Microsoft. Microsoft is spending a lot of time, resources, and energy to make this tool the best in the market (which is already). Every month a new update in Power BI Desktop, and Power BI website. A lot of good documentation about the tool, websites for user’s ideas. Power BI is one of the best products of Microsoft so far, and we are fortunate that they are supporting it in that awesome way. The speed of updates is something that you don’t see in any other products in the world.
• Power BI Community. There are many community technicians who helps more documentation, publishing best practices, speaking about this technology in conferences, and user groups. Community is the voice of Power BI.

Reza, thanks a lot for your great community work and supporting my little project to make Power BI even more famous.  

You can get in touch with Reza, using his contact form on http://radacad.com.

Reza: Thanks Lars for the opportunity. I appreciate it, and thank YOU for the great job you are doing for the community. I’m glad that I’m involved in this work (even as small as just being interviewed).

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Die persönliche Power BI Journey von Reza Rad (in English as well) erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Als Abonnent meines Newsletters erhältst Du die Beispieldateien zu den Beiträgen dazu. Hier geht’s zum Abonnement des Newsletters!

Die Problemstellung: Aufbau von Strukturtabelle und Anfügetabellen weichen voneinander ab

Aus meiner täglichen Arbeit kenne ich es, dass Daten von verschiedenen Personen zugeliefert werden, um dann zu einer einheitlichen Datenbasis aufbereitet zu werden. Hierfür definiert man zuvor mit diesen Personen ein einheitliches Format für die Daten und erwartet bei Zulieferung der Daten eben dieses Format vorzufinden. Das klappt in der Realität leider nicht immer. Daher wäre es sinnvoll all jene Spalten der zugelieferten Daten dynamisch zu entfernen, die in der Strukturtabelle nicht vorkommen. Die Strukturtabelle definiert dann also nicht mehr nur die Reihenfolge der enthaltenen Spalten, sondern bestimmt gleichzeitig die erlaubten Spalten aller Anfügetabellen.

Nehmen wir das folgende Szenario: Die Strukturtabelle (linke Abbildung) definiert, dass die finale Tabelle die Spalten A, B, C und D in exakt dieser Reihenfolge haben soll. Die finale Tabelle (rechte Abbildung), die aus den Anfügungen aller anderen Tabellen entsteht, weist die Spalten A, B, C und D in eben dieser Reihenfolge aus. Zusätzlich existiert jedoch auch Spalte E, die in einer der Datenzulieferungen vorhanden war, für mich aber vollkommen uninteressant ist.

Schauen wir uns hierzu einmal an, was passiert, wenn ich über die Nutzeroberfläche (GUI) in Power Query manuell eine Spalte entfernen.

Die ungeliebte Lösung: Ungewünschte Spalten manuell entfernen

Um die ungewünschte Spalte E zu entfernen, kann ich mit der rechten Maustaste auf den Spaltenkopf der Spalte E klicken und entfernen auswählen (linke Abbildung).

Daraufhin wird die Funktion Table.RemoveColumns() eingefügt, die in ihrem zweiten Parameter {„E“} definiert, dass die Spalte E immer entfernt werden soll. Diese Lösung hat jedoch zwei gravierende Nachteile, auf die ich hier kurz eingehen möchte.

Was ist, wenn die Spalte E mal nicht mehr mitgeliefert wird?

Wenn aus einem unerfindlichen Grund die Spalte E, so unerwünscht sie für unsere finale Tabelle auch sein mag, auf einmal nicht mehr mitgeliefert wird, dann greift meine eingebaute Entfernung der Spalte E ins Leere. Dies führt zu folgender Fehlermeldung:

In meiner Abfrage hatte ich fest verankert, dass die Spalte E immer entfernt werden soll. Kommt diese Spalte aber auf einmal nicht mehr vor, so sucht mein Skript dennoch nach Spalte E um diese zu entfernen. Da es diese Spalte nicht finden kann, erhalte ich diese Fehlermeldung. Es gibt über den dritten Parameter dieser Funktion eine Möglichkeit, dieses Probmem zu heilen. Dies soll hier jetzt jedoch nicht Thema sein. Mit unserer entgültigen Lösung, werden wir dieser Problematik auf einem anderen Wege beikommen.

Was ist, wenn eine neue ungewünschte Spalte hinzukommt?

Nehmen wir nun den Fall, dass Spalte E auch weiterhin vorhanden sein wird, aber durchaus auch andere Spalten von Zeit zu Zeit hinzukommen. Beispielsweise könnte es ja sein, dass die Datenzulieferungen die Spalte X und Z enthalten. Wenn ich definieren möchte, welche Spalten alle nicht in der finalen Tabelle zugelassen sind, führt dies zu einem unendlichen Spiel. Drehen wir den Spieß an dieser Stelle doch einmal um: Ich definiere jetzt nicht, welche Spalten entfernt werden sollen, sondern welche Spalten bestehen bleiben sollen.

So definiert Du, welche Spalten bestehen bleiben sollen

Anstatt in der finalen Tabelle zu definieren, welche Spalten stets zu entfernen sind, ist es deutlich sinnhafter diejenigen Spalten zu definierren, die bestehen bleiben sollen. Hierzu markiere ich die gewünschten Spalten A, B, C und D und führe mit der Maus einen Rechtsklick in einer der markierten Spalten aus. Anschließend wähle ich Andere Spalten entfernen aus dem Menü aus (linke Abbildung).

Als Ergebnis erahlte ich die Funktion Table.SelectColumns(), die über ihr zweites Argument {„A“, „B“, „C“, „D“} die gültigen Spalten definiert. An dieser Stelle habe ich schon mal eine ganze Menge erreicht:

• Ich habe nun definiert, dass nur die Spalten A, B, C und D als gültige Spalten bestehen bleiben dürfen
• Alle Spalten, die nicht die Bezeichnung A, B, C, oder D haben, werden nun automatisch aus der finalen Tabelle entfernt.

Das ist schon mal sehr dynamisch. Fehlt aus meiner Sicht nur noch eines: Ich hatte die Strukturtabelle ursprünglich dafür erstellt, um die Reihenfolge der Spalte meiner finalen Tabelle zu definieren. Schön wäre es doch jetzt, wenn hierüber nicht nur die Reihenfolge der Spalten definiert würde, sondern auch gleich die erlaubten Spalten mitgegeben würde. In meinem Beispiel hieße das, dass durch die in der Strukturtabelle enthaltenen Spalten A, B, C und D auch gleich festgelegt ist, dass in der finalen Tabelle nur diese vier Spalten erlaubt sind. Sofern wir die Strukturtabelle jedoch um eine Spalte X erweitern, wäre auch automatisch diese Spalte X in der finalen Tabelle erlaubt. Schauen wir uns das einmal im Detail an.

Die anpassungfähige Lösung: So passen sich die Anfügetabellen automatisch der Strukturtabelle an

Ich hatte im vorherigen Beispiel durch die Nutzung der Power Query GUI bereits auf die Funktion Table.SelectColumns zugegriffen. Diese sieht im Detail wie folgt aus:

Table.SelectColumns(table as table, columns as any, optinal missingFiled as nullable number)

Hier kurz zu den Parametern der Funktion:

• table: Die Funktion setzt auf einer bestehenden Tabelle (zumeist dem letzte Schritt in der aktuellen Abfrage) auf und selektiert von dieser definierte Spalten
• columns: Hier werden die Spalten definiert, die weiterhin bestehen bleiben sollen. Dass dieses Argument vom Typ any ist, ist super, denn damit werden wir gleich arbeiten
• missingField: Dies ist ein optionaler Parameter. Er muss also nicht gesetzt werden. Er definiert, wie damit umgegangen werden soll, falls die entsprechende Spalte nicht vorhanden ist.

Der Hilfetext zu dieser Funktion lautet: Diese Funktion gibt eine Tabelle zurück, die nur die angegebenen Spalten beinhaltet. Da das zweite Argument columns vom Typ any ist, heißt dies, dass wir hier auch eine Liste von Spalten übergeben können. Diese Liste hatten wir im vorherigen Beispiel fix mit {„A“, „B“, „C“, „D“} definiert. Bevor ich dies dynamisieren kann, muss ich mir die Frage stellen, welche Liste von Spalten hier eigentlich interessant wäre? Die Antwort lautet: Die Spaltenbezeichnungen unserer Strukturtabelle!

Mit dynamischen Listen zur flexiblen Sollstruktur

Um eine dynamische Liste von Spaltenüberschriften der Strukturtabelle (die sich mit verändert, wenn sich der Aufbau meiner Strukturtabelle verändert) zu erzeugen, erstelle ich mit einem Rechtsklick auf die Abfrage zunächst einen Verweis auf die Strukturtabelle.

Nachdem ich den Verweis erstellt habe, lautet die Formel in der neuen Abfrage = tblSoll_Struktur (rechte Abbildung).

Dies hat zur Folge, dass jede Änderung, die ich in der Strukturtabelle vornehme auch automatisch die Struktur der neu erstellten Tabelle beeinflusst. Da ich eine Liste mit den Spaltenbeschriftungen haben möchte, nutze ich die Funktion Table.ColumnNames(), so dass das Ergebnis wie folgt aussieht:

Ich benenne diese Abfrage sogleich um in Liste_BezeichnungSollSpalten (Schritt 2), was zur Umbenennung in Schritt 3 führt. Was habe ich jetzt erreicht? Jetzt habe ich eine Liste mit Spaltenbezeichnungen der Strukturtabelle, die sich automatisch an Veränderungen in der Strukturtabelle anpasst.

Diese dynamische Liste kann ich nun in der finalen Tabelle wie folgt nutzen.

Geschafft, von nun an ist es egal welchen Aufbau die Strukturtabelle hat: Ausschließlich die in ihr enthaltenen Spalten werden auch von den Anfügetabellen übernommen. Ändere ich also das Layout der Strukturtabelle derart, dass auch eine Spalte E enthalten ist (linke Abbildung), wirkt sich dies auf die Struktur der finalen Tabelle aus (rechte Abbildung).

Und nun wünsche ich Dir viel Spaß beim Experimentieren mit den Anfügeprozessen in Power Query.

Bis zum nächsten Mal und denk dran: Sharing is caring. Wenn Dir der Beitrag gefallen hat, dann teile ihn gerne

Viele Grüße aus Hamburg,

Lars

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Anfügetabellen mit Power Query automatisch an die Strukturtabelle anpassen erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Ken ist ein MVP (für Excel 2006-2016 und jetzt Data Platform) und lebt auf dem wundervollen Vancouver Island, Kanada. Er ist Präsident der Excelguru Consulting Inc. und Blogger auf www.excelguru.ca.

Zusammen mit MVP Miguel Escobar hat er das Fachbuch „M is for Data Monkey“ geschrieben. Beide führen weltweit Power Query Schulungen durch, sowohl online über www.powerquery.training, als auch in persona.

Hallo Ken,

ich freue mich sehr, dass Du bei meinem kleinen Projekt mitmachst  Vielen Dank. Ich bin sehr davon überzeugt, dass Power BI eine geniale Werkzeugsammlung ist bei der sich jeder Aufwand lohnt, sie zu erlernen. Meine Idee mit diesem Beitrag ist es, Deine Geschichte eines Excel-Geeks zu erzählen, der ein Power BI Experte wurde und wie dies Dein berufliches Leben verändert hat.

Lars: Kannst Du Dich erinnern, wann Du zum ersten Mal über Power BI/ die Excel Power-AddIns  gehört hast? Wie bist Du das erste Mal auf Power BI gestoßen?

Ken: Ich habe Power Pivot, Power Map und Power Query bei verschiedenen Microsoft MVP Summits gesehen, als sie noch in der Entwicklung waren. Ich habe damals für ein ziemlich facettenreiches Unternehmen als Controller und Direktor der IT gearbeitet und jedes dieser Tools konnte etwas, das mir half ziemlich große Probleme zu lösen, die ich damals hatte. (Unser Unternehmen hatte viele Daten in einfachen Formaten und diese Tools halfen mir ziemlich coole BI Lösungen in Excel zu bauen und zu aktualisieren.)

Power BI war ein interessantes Teil. Ich bin ganz natürlich dazu übergegangen als es herauskam, weil die dahinterliegenden Tools auf Power Query und Power Pivot basieren. Es war ziemlich einfach zu migrieren und den Nutzen aus einigen anderen coolen Vorteilen zu ziehen – wie die Einfachheit bei der Verteilung von Reports – das war vorher in einer reinen Excel-Umgebung noch schwierig gewesen.

Lars: Du bist ein Excel-Experte, aber Power BI hat, im Vergleich zu Excel, andere Konzepte und Sprachen (DAX und M). Diese zu lernen braucht einiges an Zeit und Aufwand. Wie hast Du gemerkt, dass Power BI/ Power Excel diesen Aufwand wert ist, diese Dinge zu lernen?

Ken: Wenn du die Notwendigkeit hast den Output zu generieren, entwickelst du den Willen zu lernen und widmest dem Zeit. Mit Power Pivot war es der Wunsch das Vorzeichen von positiv zu negativ zu wechseln, aber nur für die obere Hälfte der Pivot (Ich wollte den Umsatz als positive Zahl zeigen, Kosten ebenfalls positive und trotzdem, dass das Netto-Einkommen/ Verlust immer noch funktionierte.) Dies war mit den herkömmlichen berechneten Feldern einer Pivot unmöglich, mit Power Pivot und DAX jedoch machbar. Das war der Katalysator für mich bzgl. DAX, und ich war in der Lage eine Menge mehr Vorteile daraus zu generieren.

Meine Affinität zu Power Query kommt daher, dass ich keine komplizierten DAX Measures schreiben möchte. Ich hatte herausgefunden, dass wenn die Daten ins richtige Format gebracht werden, ich viel einfachere DAX Measures schreiben konnte. Die Herausforderung – als ich mit Power Query begann – war, dass es noch ein sehr junges Produkt war und viele der Knöpfe, die man heute hat, einfach nicht da waren. Um die Dinge zu tun, die ich tun wollte oder mußte, mußte ich die M-Sprache lernen. Das schöne ist, dass jeder Schritt aufgezeichnet wird, ähnlich zu dem, was mit VBA in Excel passiert. Also kannst Du einen Schritt aufzeichnen und ihn anschließend ausarbeiten. M selbst ist eine hässliche Sprache, aber wie mit jeder Programmiersprache ist es nützlich, sie zu kennen.

Davon abgesehen haben Miguel und ich beschlossen, unsere Kräfte zu vereinen und ein Power Query Buch zu schreiben, weil wir das Tool so mochten. Und wenn du dich erstmal dazu verpflichtet hast ein Buch zu schreiben, dann MUSST es lernen!

Lars: Ich bin sicher die Antwort bereits zu kennen, aber welcher Teil von Power BI (Power Query, Power Pivot, Power View/ Daten-Visualisierung) fasziniert Dich am meisten und warum?

Ken: Vor Jahren bei einem MVP Summit, wurden wir gebeten uns vorzustellen und zu erzählen was wir an Excel am meisten mögen. Meine Antwort war:“ Mein Name ist Ken und ich mag alles, was mit „Power“ beginnt, solange es nicht auf „View“ endet. Und der Meinung bin ich noch. Aber entnimm meiner Ablehnung von Power View nicht, dass ich nicht von Datenvisualisierung fasziniert bin.

Power Query und Power Pivot sind zwei meiner Lieblingsteile in Excel, aber sie werden verschieden benutzt, was in Teilen begründet, warum ich sie so mag. Ich mag die Visualisierungen in Power BI, ich glaube einfach, dass Power View sich nie wie ein wahrer Teil von Excel anfühlte – etwas, von dem ich glaube, dass Microsoft dem zustimmte, seitdem es nicht mehr weiterentwickelt wird und nun per Default von der Multifunktionsleiste ausgeblendet ist.

Ich mag Power Query für das Sammeln und Umformen von Daten in schmale, aber lange Tabellen und besonders, dass ich diese Schritte aktualisieren kann. Ich mag Power Pivot wegen dessen Fähigkeit verschiedene Datenquellen zu aggregieren und benutzerdefinierte Formeln für Pivottabellen zu schreiben.

Ich mag Power BI, weil ich hier dieselbe Sprache nutzen kann wie in Power Query, um meine Daten in Form zu bringen, dieselbe Sprache nutzen kann wie in Power Pivot, um meine Daten zu modellieren und anschließend Visualisierungen darauf zu erzeugen und meine Reports sehr einfach über die Cloud und/ oder Handy zu nutzen.

Lars: Du gibst Kurse für Excel und Power BI überall auf der Welt, sowohl vor Ort, als auch online. Kannst Du uns etwas darüber erzählen?

Ken: Absolut. Zunächst musst Du wissen, dass meine Kurse alle auf Englisch stattfinden. Obwohl ich mehrere Programmiersprachen beherrsche, ist die einzige andere „menschliche“ Sprache, die ich spreche, Französisch und das alles andere als gut.

Trotz der Beschränkung auf die englische Sprache, war es mir bisher möglich Kurse in Amsterdam, Australien, den USA und überall in Kanada zu geben. Solange es finanziell für mich Sinn ergibt, gehe ich überall hin, um diese Technologien zu schulen.

Zudem betreibe ich Online Training Projekte. Der bekannteste ist der Power Query Workshop, den ich mit Miguel Escobar gebe. Es ist ein dreitätiger Kurs, der sich komplett auf Power Query fokussiert und ist der tiefgreifenste Power Query Workshop auf dem Planeten. Auf diesen Workshop sind wir ziemlich stolz. Unsere Teilnehmer kommen aus der ganzen Welt und wir kriegen kontinuierlich tolles Feedback bzgl. der Qualität und Tiefe des Kurses.

Lars: Was hast Du beim Unterrichten von Power Query gelernt?

Ken: Demut? Ich lerne alles Mögliche, aber Demut ist sicherlich eines davon. Es gibt nichts was dich so fertig macht wie die letzte Version von Power Query zu schulen, nur um festzustellen, dass sich etwas verändert hat und dein Beispiel kaputt macht.

Lars: Welchen Hinweis würdest Du einem Power Query Anfänger geben, der zu einem Power Query Ninja werden möchte?

Ken: Wir lernen beim Machen. Verwende 15 Minuten am Tag, um Dinge im Power Query Editor auszuprobieren. Greif Dir ein neues Datenset und versuche es zu transformieren. Du wirst überrascht sein was Du in 15 Minuten finden kannst, während Du nur versuchst einen Knopf zu drücken, den Du vorher noch nicht probiert hast. Falls Du dabei lieber geleitet wirst, machst Du keinen Fehler mit meinem Buch http://excelguru.ca/monkey. Es wurde geschrieben, um jemanden, der noch nie mit Power Query zu tun hatte zu einem Punkt zu bringen, an dem er/ sie sich mit diesem Tool wohlfühlt.

Lars: Wenn ich mich richtig an das Datum erinnere, dann haben Miguel und Du Euer zweites Power Query-Buch im Januar dieses Jahres veröffentlicht. Und das ist kostenlos, wenn ich mich für den PowerQuery.Training Newsletter anmelde, richtig?

Ken: Ja, das ist richtig und ja, wir arbeiten gerade an unserer eigenen Serie freier e-Books auf Excelguru.ca. Die Serie hat den Namen „DIY BI Tips, Tricks and Techniques“ und soll aus 4 Büchern mit jeweils 5 Tips bestehen. Das erste Buch fokussiert auf Excel und die nächsten werden Power Query, Power Pivot und Power BI betreffen. Sie werden komplett illustriert sein und einige der Dinge beinhalten, die ich nützlich finde, um „do it yourself Business Intelligence“ zu bauen.

Du kannst es bekommen (und auch die anderen, wenn sie draußen sind), indem Du Dich unter www.excelguru.ca/newsletter für meinen Newsletter anmeldest.

Lars: Wenn Du nach einem neuen Feature für Excel oder Power BI fragen könntest, welches wäre das?

Ken: Großartige Frage. Ich habe tatsächlich eines für beide Fälle, für das ich gerne ein paar Stimmen sammeln würde. Bitte nehmt Euch ein paar Sekunden und helft mir, dafür zu voten, sofern ihr mir zustimmt:

In Excel macht es mich verrückt, dass ich nur so eine kleine Fläche in der Pivot-Feldliste habe, um meine Pivottabelle zu bauen. Bitte helft mir für diese Idee zu voten, damit das Excel-Team das implementiert.

In Power BI ist die traurige Realität, dass wir eine Vielzahl von Daten im PDF-Format bekommen. Man kann auch dafür  voten PDFs als Datenquelle für Power BI und Excel Power Query hinzuzufügen.

Lars: Kannst Du 3 Dinge bzgl. Power BI nennen, die es zu einem großartigen Produkt machen?

Ken: Sicher:

1. Du kannst mit Power BI free (die kostenlose Variante von Power BI) irre viel machen, und musst erst anfangen zu zahlen, wenn du die Aktualisierungen automatisieren möchtest.
2. Monatliche Updates sorgen für eine konstante Entwicklung mit neuen Features und Fehlerbehebungen.
3. Die Möglichkeit auf interaktive Report von unterwegs via Web oder Handy zuzugreifen.

Ken, vielen Dank für Deine großartige Community-Arbeit im Allgemeinen und für das Beantworten meiner Fragen im Besonderen

Ihr könnt mit Ken in Kontakt treten, indem Ihr sein Kontaktformular auf Excelguru.ca nutzt.

The personal Power BI journey of Ken Puls

Ken is an MVP (for Excel 2006-2016 and now Data Platform) and lives on beautiful Vancouver Island, Canada. He is president of Excelguru Consulting Inc. and blogger on www.excelguru.ca.

Together with MVP Miguel Escobar he authored the book „M is for Data Monkey„. Both are running Power Query Trainings all over the world via www.powerquery.training and in persona.

Hello Ken,

I am very happy you participate in my little project, thanks for that  . I am heavily convinced, that Power BI is an amazing set of tools, worth any effort learning it. My idea with this post is, to share your story as an Excel geek, who became a Power BI expert and how it changed your professional life.

Lars: Can you remember, when you first heard about Power BI/ Excel Power-Add-Ins? How did you get in contact with Power BI?

Ken: I actually saw Power Pivot, Power Map and Power Query when they were still in development at Microsoft at various MVP summits. I worked in a pretty diverse company as the Controller and Director of IT, and each did different things that really helped me solve some pretty big challenges I had.  (Our company had lots of data in poor formats, and these tools helped me build pretty cool BI solutions in Excel and refresh them.)

Power BI has been an interesting piece.  I naturally gravitated to it as it came out since the underlying tools are based on Power Query and Power Pivot.  It was pretty easy to make that migration and take advantage of some of the other cool benefits – like ease of report distribution – that had previously been difficult in a pure Excel environment.

Lars: You are an Excel expert, but Power BI has different concepts and different languages (M and DAX) compared to Excel. Learning those takes some time and effort. How did you notice that Power BI/ Power Excel is worth investing your precious time in learning those new things?

Ken:  When you have a need for the output, you generate the will to learn and dedicate the time to it.  With Power Pivot it was the desire to flip the sign from negative to positive, but for only the top half of the Pivot.  (I wanted revenues to show as positive numbers, expenses positive and the net income/loss to still work.)  This was impossible to do with regular calculated fields, but in Power Pivot can be done with DAX.  That was the catalyst for me with DAX, and I’ve been able to get a lot more benefits from it.

My affinity for Power Query actually comes from not wanting to write complicated DAX measures.  I figured out that by reshaping my data into the proper format, that I could write much simpler DAX measures.  The challenge was – when I started with Power Query – it was still very young, and many of the buttons you have today just weren’t there.  In order to do the things I wanted and needed to do, I had to start learning the M language.  The nice thing is that each step gets recorded, similar to what happens with VBA in Excel, so you can record a single step then work it out.  M in particular is an ugly language, but like any programming language it’s useful to know.

Beyond that, Miguel and I decided to join forces and write a Power Query book because we were so in love with the tool.  Once you commit to writing a book… well… you kind of HAVE to learn!

Lars: I am sure I already know the answer, but which Part of Power BI (Power Query, Power Pivot, Power View/ Data Visualization) is most fascinating for you and why?

Ken:  Years ago at an MVP summit, we were asked to introduce ourselves and tell what our favorite part of Excel was.  My answer was “My name is Ken and I love everything that starts with “Power” unless it ends in “View”.  And I still hold to that.

Power Query and Power Pivot are two of my favourite pieces of Excel, but they have different uses, which is part of the reason I love them.  But don’t take my dislike of Power View to mean that I’m not fascinated by data visualizations.   I love the visuals in Power BI, I just don’t beleive that Power View ever felt like a true piece of Excel – somethign that I believe Microsoft agreed with since it’s not being developed further and is now hidden from the Ribbon by default.

So I love Power Query for collecting and reshaing data into narrow but tall data tables, and espeically that I can refresh those steps.  I love Power Pivot for it’s ability to aggregate different data sources and write custom formulas for my Pivot Tables. And I love Power BI because I can use the same languages as Power Query to get and shape my data, the same languages as Power Pivot to model my data, and then build visuals and deploy my reports to the cloud and or mobile phone very easily.

Lars: You run live courses all over the world for Excel and Power BI both live as well as online workshops.  Can you tell us something about them?

Ken: Absolutely. The first thing to know is that my courses are all run in English.  Although I know several programming languages, the only other “human” language I speak is French, and not very well at all.

Despite being restricted to speaking in English, I’ve been able to teach in person courses in Amsterdam, Australia, the USA and all across Canada.  As long as it makes financial sense for the business, I’ll go anywhere in order to teach these technologies!

I also do online training projects.  The most famous of those is the Power Query workshop which I run with Miguel Escobar.  It’s a three day course focused completely on Power Query and is the deepest Power Query workshop on the planet.  We are pretty proud of that workshop.  Our attendees come from around the entire globe, and we constantly get great feedback on the quality and depth of the course.

Lars: What did you learn from teaching Power Query?

Ken:  Humility?  I learn all kinds of things, but humility is certainly one.  There’s nothing to mess you up like teaching using the latest Power Query build, only to find that something was changed and breaks your example!

Lars: Which hint would you give a Power Query newbie, who wants to become a Power Query Ninja?

Ken:  We learn by doing.  Spend 15 minutes per day trying things in the Power Query editor.  Grab a new set of data and try to transform it.  You’ll be surprised what you can find in 15 minutes when you just try clicking some of the buttons that you haven’t tried before.  If you prefer a guided journey, you can’t go wrong with my book:  http://excelguru.ca/monkey.  It’s written to take someone from never having used Power Query before to a place where they are comfortable with the tools.

Lars: If I remember the date correctly, you and Miguel published your second Power Query book in January this year. And that one is for free, if I subscribe to the

Ken:  Yes, that’s correct, and yes, we are currently working on our own free e-Book series at Excelguru.ca as well.  The series is called “DIY BI Tips, Tricks and Techniques” and will feature four e-Books with 5 tips each.  The first book will be focused on Excel, and the next will be on Power Query, Power Pivot and Power BI.   They will be fully illustrated guides on some of the things that I find useful for building “do it yourself business intelligence”.

The first in the series should be published in the first week of April 2017, and you can get it (and the others when released) by signing up for my newsletter at www.excelguru.ca/newsletter.

Lars: If you could ask for a new feature in Excel or Power BI, what would that be?

Ken:  Great question.  I’ve actually got one for each that I’d LOVE to get some votes on!  Please take a second to help me vote these up if you agree:

In Excel it drives me crazy that I have such a small area in the PivotTable field list in order to build my PivotTable.  Please help me vote this idea up so that the Excel team will implement it.

In Power BI, the sad reality is that we get a lot of data sent to us in PDF format.  You can also vote on adding PDF as a data source for Power BI and Power Query in Excel.

Lars: Could you name 3 things about Power BI, that make it a great product?

Ken: Sure:

1. You can do a TON with Power BI for free, and only need to start paying when you want to automate refresh.
2. Monthly updates delivering constant evolution of new features as well as bug fixes.
3. The ability to access interactive reports on the go via web or mobile.

Ken, thanks a lot for your great community work in general and for answering all my questions in particular

You can get in touch with Ken, using his contact form on excelguru.ca

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Die persönliche Power BI Journey von Ken Puls (in English as well) erschien zuerst auf THE SELF-SERVICE-BI BLOG.

Als Abonnent meines Newsletters hast Du Zugriff auf alle jemals erstellten Beispieldatei zu meinen Beiträgen. Solltest Du noch kein Abonnent sein, geht’s hier zum kostenlosen (und jederzeit wieder abbestellbaren) Newsletter. Auf geht’s 🙂

So funktioniert das Anfügen von Daten in Power Query

Die folgenden Tabellen sollen exemplarisch in Power Query zu einer Tabelle konsolidiert werden. Stellen wir uns vor, mir werden regelmäßig Dateien (scheinbar) gleicher Struktur aus anderen Abteilungen zugesandt und meine Aufgabe ist es nun, diese Datenlieferung in eine Tabelle zu konsolidieren und auf dessen Basis weitere Reports zu erstellen.

Der Tabelle Sollstruktur kommt hier eine besondere Bedeutung zu. Wie der Name vermuten läßt, soll die Konsolidierung aller Tabellen die gleiche Struktur aufweisen, wie die Tabelle Sollstruktur. Hierzu später mehr.

Um die Daten in Power Query zu konsolidieren, muss ich zuerst alle Tabellen in Power Query laden. Da sich meine Tabellen in Form von »intelligenten« Tabellen in derselben Exceldatei befinden, in der ich die Power Query Abfrage erstellen möchte, kümmern wir uns zunächst darum, diese auf dem schnellsten Wege in Power Query zu laden.

Der schnellste Weg mehrere »intelligente« Tabellen in Power Query zu laden

Möchte man mehr als eine »intelligente« Tabelle auf einmal aus der akiven Exceldatei in Power Query laden, dann geht dies am schnellsten, indem man die aktuelle Datei als externe Datei betrachtet. Wer hierzu nähere Informationen haben möchte, den verweise ich auf meinen Beitrag Power Query kennt 3 Excel-Objekte: Nutzt du sie richtig?

Der Import wird dann wie folgt eingeleitet.

Wähle ich die aktive Exceldatei als Datenquelle aus, so kann ich u.a. aus allen »intelligenten« Tabellen zum Import auswählen. Damit wird es möglich mehrere Inhalte aus der aktuellen Exceldatei gleichzeitig zu laden.

Über das Aktivieren der Checkbox Mehrere Elemente auswählen (Schritt 1) erhalte ich die Möglichkeit, mehr als nur ein Element gleichzeitig zu bearbeiten. Im Anschluss (Schritt 2) kann dann die Auswahl der entsprechenden Elemente stattfinden. In diesem Beispiel wähle ich alle »intelligenten« Tabellen aus. Diese sind duch das Icon mit der blauen Überschrift gekennzeichnet. Mit dem Betätigen des Knopfes Bearbeiten (Schritt 3) befinden sich alle »intelligenten« Tabellen als separate Abfragen in Power Query.

Nachdem die einzelnen Tabellen an dieser Stelle in Power Query geladen wurden, möchte ich als nächstes auf die Notwendigkeit und die Funktionsweise der Tabelle tblSoll_Struktur eingehen.

Die Tabellenstruktur definieren

Das Anfügen von Abfragen in Power Query funktioniert in 4 einfachen Schritte:

1. Selektion der Abfrage, an welche ich eine oder mehrere andere Abfragen anfügen möchte
2. Betätigung der Schaltfläche Start → Kombinieren → Abfrage anfügen
3. Entscheidung, ob eine, oder mehrere Abfragen angefügt werden sollen
4. Auswahl der anzufügende(n) Abfrage(n) und anschließende Bestätigung mit OK

Die folgende Abbildung visualisiert die vier oben genannten Schritte.

Hierbei ist wichtig zu wissen, dass Power Query die Struktur der ersten Tabelle als eine Art Schablone für den Aufbau der finalen Tabelle nutzt. Nehmen wir den Fall, dass die erste Tabelle (im folgenden Bild grün hinterlegt) die Spalten A, B, C und D hat, so wird die Anfügetabelle (im folgenden Bild orange hinterlegt) mit der Struktur B, A, D und C automatisch ins Format der ersten Tabelle gebracht. Beim Anfügen ist nicht die Reihenfolge der Spalten von Interesse, sondern deren exakte Spaltenbezeichnung.

Aus diesem Grund definiere ich zu Beginn eines solchen Anfügeprozederes gerne eine leere Strukturtabelle, deren einzige Aufgabe es ist, als Schablone für die weiteren angefügten Tabellen zu fungieren. In Excel kann diese Strukturtabelle einfach in einem Excelblatt angelegt und in Power Query geladen werden. Diese Möglichkeit bietet sich in Power BI Desktop natürlich auch, indem ich eine solche Tabelle ebenfalls aus Excel lade. Wer sich eine solche Strukturtabelle jedoch direkt in M schreiben möchte, findet hier den entsprechend anzupassenden M-Code vor:

= Table.FromRecords({[A=null, B=null, C=null, D=null]})

Mir ist in M nicht bekannt, wie ich eine leere Tabelle erzeugen kann. Daher habe ich eine Abfrage mit einem einzigen Datensatz voller NULL-Werte erzeugt, der am Ende der natürlich ausgefiltert werden sollte. Sollte hier jemand einen elegantere Weg kennen: Immer her damit 🙂

Widmen wir uns nun den unterschiedlichen Fällen, die beim Anfügen von Tabellen an die Strukturtabelle vorkommen können.

Tabellen unterschiedlicher Struktur an die Strukturtabelle anfügen

Für das Anfügen von Tabellen gibt es verschiedene Fälle zu unterscheiden, die ich folgend nacheinander darstellen werde.

Tabellen gleicher Struktur anfügen

Dieses Szenario beschreibt den Idealfall. Die Anfügetabelle entspricht exakt dem Aufbau der Strukturtabelle. Nach der Anfügung hat die finale Tabelle exakt den Aufbau der Strukturtabelle.

Tabellen mit anderer Spaltenreihenfolge anfügen

Diesen Fall hatte ich weiter oben schon besprochen. Nicht die Reihenfolge der Spalten ist für das Anfügen interessant, sondern die Bezeichnung der Spalten sorgt dafür, dass das Anfügen fehlerfrei funktioniert. Auch hier entspricht die Struktur der finalen Tabelle der der Strukturtabelle.

Tabellen mit überschüssigen Spalten anfügen

Für den Fall, dass die Anfügetabelle über Spalten verfügt, die in der Strukturtabelle nicht vorhanden sind, werden diese überschüssigen Spalten (in diesem Beispiel Spalte E) der finalen Tabelle hinzugefügt.

Das Ergebnis aus dieser Anfügung wäre also eine Tabelle mit den Spalten A, B, C, D, E. Natürlich kann man diese überschüssige Spalte E manuell entfernen.

Tabellen mit zu wenig Spalten anfügen

Enthält die Anfügetabelle weniger Spalten als die Strukturtabelle, so werden die vorhandenen Spalten an die gleichnamigen Spalten der Strukturtabelle angefügt. Für die nicht vorhandenen Spalten können natürlich keine Daten angefügt werden. Für das folgende Beispiel werden also die Spalten A, B und C der Anfügetabelle an die Strukturtabelle angefügt. Die Werte für Spalte D bleiben für diese Anfügetabelle leer.

Die finale Tabelle

Kommen wir zur finalen Tabelle, in welcher alle zuvor beschriebenen Schritte gemeinsam greifen. Die folgende Abbildung zeigt, wie die Daten zwischen den Tabellen fließen und wie die Struktur der finalen Tabelle aussieht (Zeile Ergebnis).

Die finale Tabelle beinhaltet also die Spalten A, B, C, D und E. Die Strukturtabelle sorgt zwar dafür, dass alle Spalten mit den Bezeichnungen A, B, C und D in exakt dieser Reihenfolge abgebildet werden. Sie kann jedoch nicht dafür sorgen, dass neue, bisher unvorhergesehene Spalten ignoriert werden. Jedenfalls noch nicht… 🙂

In meinem nächsten Beitrag werde ich Euch zeigen, was zu tun ist, damit aus jeder Anfügetabelle ausschließlich die Spaltenbezeichnungen der Strukturtabelle akzeptiert werden, unabhängig davon wie die Strukturtabelle gerade aufgebaut ist. Auf diese Weise reicht es die Strukturtabelle zu definieren. Ständige Prüfungen des Abfrageergebnisses entfallen somit. Bleibt gespannt 🙂

Bis zum nächsten Mal und denk dran: Sharing is caring. Wenn Dir der Beitrag gefallen hat, dann teile ihn gerne

Viele Grüße aus Hamburg,

Lars

Lars Schreiber

Lars ist Berater, Entwickler und Trainer für Microsoft Power BI. Er ist zertifizierter Power BI-Experte und Microsoft Trainer. Für sein Engagement in der internationalen Community wurde Lars seit 2017 jährlich durch Microsoft der MVP-Award verliehen. Lies hier mehr…

ssbi-blog.de

Der Beitrag Unterschiedliche Datenstrukturen mittels Power Query anfügen erschien zuerst auf THE SELF-SERVICE-BI BLOG.