Data Warehouse e Data Lake Flashcards

Question

O que são os esquemas estrela, flocos de neve e constelação na modelagem dimensional?

Answer 1

- Esquema estrela, esquema flocos de neve e esquema constelação são maneiras das tabelas estarem distribuídas na modelagem. - No esquema estrela que é o mais simples, as tabelas de fato contém as chaves para as tabelas de dimensões, similar ao esquema floco de neve, a diferença é que no esquema floco de neve as tabelas de dimensões são normalizadas. - Já o esquema constelação consiste em vários esquemas estrelas juntos onde as tabelas de fato compartilham as tabelas de dimensões.

Answer 2

Answer 3

- Depois da primeira carga as dimensões crescem pouco ((a tabela de fatos é a que mais cresce, mas esta já é bem normalizada. - O espaço economizado é pequeno - A perda de performance por conta das junções extras é grande - Resumindo: em comparação com o esquema estrela, o esquema floco de neve (que tem as tabelas de dimensões normalizadas) é menos claro, tem maior número de tabelas, têm consultas mais complexas e performance inferior.

Answer 4

- Na modelagem tradicional o foco é em representar todos os dados e relacionamentos do negócio com a menor redundância possível (normalização). - Já na modelagem dimensional o foco é em prover um esquema onde os fatos sejam o foco, sendo fato um registro de medidas que ocorre periodicamente. - A partir de um esquema tradicional podem ser criados vários data marts (DM).

Answer 5

- As tabelas de dimensões armazenam as descrições dos objetos do negócio, é nela que os dados em si são armazenados. - Seus campos armazenam as descrições do negócio e definem os rótulos, as restrições e/ou os agrupamentos dos relatórios. - A qualidade de uma tabela de dimensão está diretamente ligada à qualidade dos seus campos

Answer 6

- Os campos devem refletir as terminologias do negócio - Os melhores campos são textuais e categóricos, logo, invés de usar idade e salário, pode-se usar faixa etária e faixa salarial, por exemplo. - Os rótulos dos campos devem ser intuitivos, sem abreviaturas ou termos desnecessariamente complexos. - Não utilizar campos que armazenem valores inteligentes, esses devem ser quebrados de forma intuitiva e seus valores devem ser descrições amigáveis. - Os campos podem ter múltiplas hierarquias implícitas além de outros campos que são usados para definir agrupamentos. Por exemplo, para uma tabela de dimensão de tempo podem existir campos de diversos níveis hierárquicos, como ANO que seria um nível mais alto e DIA que seria um nível mais baixo.

Answer 7

- Granularidade é uma medida que tem relação com o nível de detalhe de uma tabela. - É inversamente proporcional ao nível de detalhe dos dados, ou seja, quanto mais detalhado são os dados, menor é a granularidade. - Em uma tabela de dimensão, o campo de menor hierarquia é o que define o grão da dimensão. - Na tabela de dimensão tempo por exemplo, se só existe um campo para ano então a tabela tem alta granularidade, já se existe campo para hora e segundo a tabela tem baixa granularidade.

Answer 8

- Possuem normalmente muitos campos (dezenas), mas poucos registros (poucos milhares), geralmente o volume de dados de todas as dimensões não chega a 10% do volume de dados do DW. - São normalmente desnormalizadas (estrela-1FN), mas podem ser normalizadas (floco de neve-3FN) - Tem PK simples, sendo elas Surrogate Keys ou seja, chaves artificiais que são geradas automaticamente de maneira incremental sem relação com os outros campos. O uso dessas chaves garantem a estabilidade/neutralidade pois ficam transparentes para os usuários, servindo apenas como ligação entre dimensões e fatos.

Answer 9

- Manter as SK quando houver reprocessamento de ETL - Evitar chaves do tipo data, inteligente ou natural, pois tem tamanhos exagerados e demandam um campo extra para fazer o versionamento. - Usar chave natural apenas para manter o vínculo com a fonte de dados

Answer 10

- Tabelas de fatos são tabelas que armazenam observações ou eventos, geralmente envolvendo medidas registradas em um período de tempo. - São basicamente normalizadas (3FN) - São formadas principalmente por FK e por medidas - Na prática, dificilmente tem PK. Quando for necessário é mais performático utilizar uma SK - Tem muitas linhas, na casa dos M e B que crescem a cada carga. Tem poucas colunas que consistem das FKs para as dimensões e medidas. - Representa cerca de 90% do volume de dados do DW - São equivalentes a relacionamentos n-ários - Podem ser criadas sem medidas (factless fact table), geralmente essas são usadas para registrar a cobertura/abrangência de alguma ação.

Answer 11

- Fato é um registro da tabela de fato - Consiste na interseção entre as FK para as dimensões + medida(s) - As dimensões definem o grão da tabela de fatos

Answer 12

- Medida são campos geralmente numéricos que devem ser continuamente valorados, geralmente são obtidas a partir da medição de alguma variável do negócio. - As medidas podem ser derivadas/calculadas - É aconselhado dar preferência para medidas perfeitamente aditivas (que podem ser utilizadas por group by/sum).

Answer 13

- As medidas também podem ser textuais, geralmente utilizando uma lista de valores, como por exemplo a avaliação de atendimento (‘bom’, ‘ruim’, ‘péssimo’), nesse caso as operações aditivas não são utilizadas. - É aconselhado transformar medidas textuais em descrições das dimensões pois consome menos espaço e fica correlacionadas de forma mais eficaz com os outros campos da dimensão.

Answer 14

- São classificadas em Aditivas, Semi-aditivas ou Não-aditivas - Aditiva -> quando o operador SUM pode ser usado ao longo de todos os campos das dimensões - Semi-aditiva -> quando o operador SUM só pode ser usado ao longo de alguns campos das dimensões - Não-aditiva -> quando o operador SUM não pode ser usado ao longo de todos os campos das dimensões.

Answer 15

Nas aditivas a soma (GROUP BY/ SUM) podem ocorrer por qualquer campo de qualquer dimensão. Geralmente elas quantificam o que ocorre nas transações (valor vendido, valor de custo, quantidade vendida…)

Answer 16

- Nas semi-aditivas a soma (GROUP BY/ SUM) não pode ocorrer por qualquer campo de qualquer dimensão. Geralmente capturam um instante da realidade (quantidade em estoque, saldo em conta…). - Por esse motivo, normalmente só podem ser somadas pelos campos de mais baixa granularidade da dimensão data. - Ex: só faz sentido somar saldo, estoque e funcionário por mês se a TF tiver granularidade mês, pois se a granularidade for dia vai ter soma duplicada. - Para sumarizar por outros campos, deve-se explorar funções de agregação (AVG, MIN, MAX, COUNT).

Answer 17

- Não podem ser somadas por campo algum de qualquer dimensão - Pode-se explorar com funções de agregação como AVG, MIN, MAX, COUNT - Ex: valor unitário, temperatura, precipitação, umidade, ou qualquer indicador calculado a partir de uma razão como percentuais, taxas, coeficientes e índices. - Alternativamente podem ser modeladas como faixa de valores ou categorias em uma dimensão.

Answer 18

As tabelas de fato podem ser de transação (transaction), instantâneo periódico (periodic snapshot) ou instantâneo acumulado (accumulating snapshot)

Answer 19

- Tabela de fatos do tipo transacional é a mais comum, nela a cada carga (mesmo que não seja diária) captura detalhadamente todos os fatos/transações ocorridos. Obs. Não confundir carga com granularidade - A granularidade de cada linha da TF representa, no menor nível de detalhe, um evento ocorrido ou transação realizada. - Em geral, esse tipo de tabela faz uso de medidas aditivas - Ex: TF sobre transações de vendas ou transações de inventário de estoque.

Answer 20

- Na tabela de fato do tipo instantâneo periódico a cada carga (mesmo que seja diária), é capturada apenas uma fotografia do estado atual dos dados. - A granularidade de cada linha da TF registra um status dos fatos em um dado período (diário, semanal, mensal…) - Em geral esse tipo de tabela faz uso de medidas semi-aditivas - Ex: TF sobre inventário básico de produtos.

Answer 21

- Na tabela de fato do tipo instantâneo acumulado a cada carga (mesmo que não seja diária), é registada (insert+updates) múltiplas datas representando estágios diferentes do fato/transação - É semelhante a TF de transação, captura detalhadamente todos os fatos/transações ocorridos, mas considera os diferentes estágios do fato sem ter que aumentar a quantidade de linhas da TF. - A granularidade de cada linha da TF representa, no menor nível de detalhe, um evento ocorrido ou transação realizada ao longo de diferentes momentos/estágios temporais. - Cada linha da TF sofrerá N-1 atualizações (updates) até o fato/transação ser registrado por completo (N=qnt de datas) - Em geral esse tipo de tabela faz uso de medidas aditivas - Ex: TF com data de recebimento, data de inspeção, data de venda e data de transporte.

Answer 22

- Em uma TF de transação e instantâneo acumulado normalmente são esparsas. Ex: em vendas nem todo produto é vendido diariamente - Em uma TF de instantâneo periódico normalmente é densa. Ex: Em estoque, mesmo que um produto não seja vendido, sua quantidade disponível é registrada (uma linha para cada produto).

Answer 23

- Período de Tempo: T: Um ponto no tempo, IP: Regular intervalos pré-definidos, IA: Indeterminado normalmente de curta duração. - Grão: T: Uma linha por transação, IP: Uma linha por período, IA: Uma linha por tempo de vida. - Cargas: T: Insert, IP: Insert, IA: Insert e Update. - Atualizações: T: Raramente, IP: Raramente, IA: Constante. - Dimensão Data/Tempo: T: Data da transação, IP: Data do final do período, IA: Várias datas para várias etapas. - Fatos: T: Registrados por transação, IP: Registrados por intervalos pré-definidos no tempo, IA: Registrados ao longo de uma linha de tempo finita.

Answer 24

- A matriz de barramento é uma matriz que mostra as interseções entre as tabelas de dimensão e os subprocessos do negócio (tabelas de fato). - Provê uma visão global e integrada do DW e facilita o seu desenvolvimento incremental a partir de dimensões e fatos conformados. - É necessária pois construir o DW em uma única etapa é muito custoso e arriscado, mas construir como peças isoladas pode comprometer a visão integrada, logo, usando a matriz de barramento tem-se uma visão mais geral do compartilhamento das tabelas de dimensões entre os negócios. - Serve como uma ferramenta para criar, documentar e comunicar o projeto do DW. - Na matriz de barramento as linhas são as TFs do DW e as colunas são as dimensões conformadas

Answer 25

- Permite que diferentes DMs possam ser implementados por equipes diferentes em momentos diferentes. - Permite que diferentes DMs possam ser conectados, provendo uma visão integrada de todo DW - Permite o compartilhamento de um conjunto de dimensões conformada “conformed dimensions” - Todos os processos da organização criarão uma família de modelos dimensionais que compartilham um conjunto de dimensões comuns e conformadas. - Permite visualizar imediat amente as dimensões que merecem uma atenção especial (prioridade) dada a sua participação em várias TFs

Answer 26

Uma Dimensão Conformada (também chamada de Dimensão Compartilhada ou Dimensão Mestre) é uma dimensão que possui o mesmo significado para todas as Tabelas Fato que podem fazer junção à mesma.

Answer 27

- Podem ser replicadas ou um subconjunto da dimensão mais detalhada - Podem ser incompletas como umas única tabela física ou como cópias sincronizadas (no mesmo ETL) - Seus campos devem ser consistentes (i.e. mesmos nomes, tipos, tamanhos, valores, …) - Devem ser construídas de forma sincronizada na área de preparo dos dados (data staging area) - São essenciais para a concepção de DM “integráveis” - Exigem muita coordenação de execução - Permitem combinar em um único relatório/consulta as medições de desempenho de processos diferentes

Answer 28

- Não são facilmente/perfeitamente integrados - Não permitem análises através de diferentes tabelas de fatos - Podem produzir relatórios com rótulos e/ou agrupamentos inconsistentes

Answer 29

- No caso da nova dimensão ser criada com atributos já existentes na antiga e a granularidade ser menor, deve-se criar uma nova pk - No caso da nova dimensão ser criada com novos atributos mas com a granularidade igual deve-se manter a PK. (Ex: se alguns atributos só fazem sentido em algumas TF, deve-se criar uma nova dimensão idêntica a original e adicionar os atributos específicos na nova dimensão) - A dimensão Data pode ser um caso particular onde com granularidade diferente e atributos que já existem a PK seria a mesma. (Ex: TF venda em “dia” e TF estoque em “mês”, nesse caso cria-se uma nova dimensão Data a partir da dimensão original, exclui-se os atributos sem sentido (e.g., flag de feriado, fim de semana…) e faz-se a nova PK = a PK da data do primeiro/último dia do mês)

Answer 30

- A gestão das dimensões conformadas é atribuída a um grupo chamado de autoridade da dimensão. - Este grupo é responsável por definir, manter e publicar uma dimensão particular, ou seus subconjuntos para todos os clientes de DM que dela necessitam. - Modificações em atributos existentes ou a adição de novos atributos devem ser revistos com todas as equipes de DM

Answer 31

- Fatos conformados são fatos que são os mesmos para diferentes DMs - Em geral, as medidas da tabela de fatos não estão duplicadas em vários DM - Se uma medida existe em mais de um DM, então seu nome, tipo, unidade e cálculo devem ser o mesmo. - Se é impossível conformar algumas medidas, então seus nomes devem ser diferentes para deixar claro que são medidas diferentes e evitar erros. (e.g. ValorEmReal e ValorEmDolar; Qtd_kg e Qtd_t)

Answer 32

As fases do projeto dimensional são 4: - 1 Selecionar o processo de negócio - 2 Declarar o grão - 3 Identificar as dimensões - 4 Identificar as medidas

Answer 33

- A primeira fase do projeto dimensional é selecionar o processo de negócio de será modelado - Lembrando que processos são atividades realizadas em organizações (Ex: vendas, compras de matéria prima, pedidos, expedições, faturamento, inventário, contas a pagar/receber) - Obs. Processos são diferentes dos departamentos da organização, um departamento pode ter vários processos e um processo pode estar ligado a diferentes departamentos. - Deve-se responder qual é o processo mais crítico e viável.

Answer 34

- A segunda fase do projeto dimensional é declarar o grão, que é o nível de detalhe da tabela de fatos, ou seja, é especificar o que uma linha da TF representa. (Ex: uma linha de um cupom fiscal, um cartão de embarque individual ou um nível diário de estoque de cada produto) - Deve-se responder o que deve descrever uma linha na TF? - Pode-se descobrir nos passos 3 ou 4 que o grão não está adequado, nesse caso deve-se retornar a esse passo.

Answer 35

- A terceira fase do projeto dimensional é identificar as dimensões. - Deve-se responder: Como o pessoal do negócio descreve os dados do processo de negócio? (Ex. data, produto, cliente, tipo de transação, status do pedido) - Se o grão é bem definido, as dimensões são facilmente identificadas. - A partir da escolha das dimensões, defini-se seus atributos

Answer 36

- A quarta fase do projeto dimensional é definir as medidas da TF do DM, nesse caso deve-se responder: o que vamos medir? (Ex: quantidade comprada, valor vendido…) - As medidas devem ser coerentes com o grão do passo 2. (Para saber as vendas por período do dia, deve-se ter uma dimensão tempo e o sistema operativo deve registrar o instante de cada venda)

Answer 37

- É uma das dimensões mais frequentes e relevantes do DW pois é importante para garantir o histórico dos dados - No mundo real, a dimensão da data costuma ser complexa: Dia, Mês, Período Fiscal, Semana de Cinco Dias, Feriados, Fim de Semana, Trimestre, Ano…. - É importante definir o nível de detalhe (granularidade) ideal para o projeto. - Geralmente uma granularidade diária é suficiente pois permite flexibilidade para agregar os dados por níveis temporais maiores e atende adequadamente às mudanças nos requisitos do negócio. - Diferente das outras dimensões, a data pode ser carregada antecipadamente, de uma só vez e não requer fonte de dados. - Também pode-se criar uma dimensão de tempo para evitar a sobrecarga da dimensão data.

Answer 38

- Fragmentar a tabela de dimensão grande em tabelas de dimensões menores, separando dados estáticos de dados voláteis - Esta deve estar ligada com a tabela de fato (para guardar o histórico) e pode estar relacionada com a dimensão base (para saber o valor atual) - As várias tabelas fragmentadas de uma dimensão grande são também chamadas de minidimensões.

Answer 39

- Minidimensões são subconjuntos de uma dimensão grande (não é uma normalização) - Ajudam a controlar o crescimento explosivo de uma dimensão grande com atributos que mudam rapidamente. - Seus atributos devem ter baixa cardinalidade (Criar faixa de valores ou categorias para os atributos com valores contínuos (redução do número de combinações - diminuir a cardinalidade)) - Tamanho de cada minidimensão é igual ao produto cartesiano da cardinalidade dos atributos da minidimensão.

Answer 40

- É uma minidimensão que deve estar ligada apenas a dimensão base onde a dimensão base contém uma FK para o atual valor da “outrigger” - Dimensões “Outrigger” devem ser a exceção e não a regra

Answer 41

- As dimensões bugigangas reúnem campos da TF que têm pouca correlação e servem como filtros (Ex: Flags e atributos soltos) - É usada como artifício para diminuir a quantidade de campos da TF - Para cria-los deve-se estudar cada caso e criar uma ou mais dimensões “bugiganga” a partir desses campos extraídos da TF

Answer 42

- Dimensões degeneradas são chaves de uma dimensão na tabela de fatos sem uma tabela de dimensão correspondente. - Existem pois a informação tem a mesma granularidade da TF, não valendo a pena criar uma nova dimensão, pois a cardinalidade com a TF seria 1:1, criar uma dimensão geraria uma sobrecarga, desnecessária, no DW. - Ex: número de uma transação, número de fatura, tíquete, nota fiscal, pedido ou ordem de compra. Essas informações normalmente correspondem a item, e se item for a granularidade da TF, essa informação estará na tabela de fato para permitir o agrupamento por item.

Answer 43

- Uma dimensão pode aparecer várias vezes (com papeis diferentes) na TF - A solução é feita em SQL para implementar Dimensões com papéis. (Criar uma view para cada papél, cada view deve ter nomes diferentes para os campos - incluindo a PK -, assim cada view será vista como uma tabela/dimensão independente nos relatórios)

Answer 44

- Existem várias abordagens como ignorar a dimensão que é multivalorada, escolher uma valor e omitir os restantes, estender a lista de dimensões para ter um número fixo, colocar uma tabela ponte entre a tabela de fatos e a tabela de dimensão que é multivalorada. - A tabela ponte serve como uma tabela para armazenar a relação M:N (pode-ser utilizado um fator de peso, que é o peso que um registro tem em um dado grupo, lembrando que a soma dos fator de peso de todos os diagnósticos de uma dado grupo deve ser igual a 100 ou 1).

Answer 45

- Determinadas organizações oferecem uma variedade de produtos, cada um com descrições e medidas específicas, como consequência muitos valores “não se aplica” aparecem na dimensão produto e valores vazios na tabela de fatos. - Para estes modelos dimensionais, recomenda-se a criação de uma dimensão geral e de dimensões específicas para os produtos/serviços - Da mesma forma, será necessário uma TF geral e TFs específicas para cada produto/serviço - As descrições e medidas gerais devem ser duplicadas nas tabelas de dimensão e de fatos específicas (isto elimina a necessidade de acessar duas TF e/ou dimensões)

Answer 46

- Analisar o grão do atributo - Se for igual ou mais alto, criar o novo atributo na dimensão e preencher os seus registros antigos com valores corretos. - Se os registros antigos do novo atributo não estiverem disponível, deve-se preenchê-lo com um texto significativo (ex: ‘indisponivel’).

Answer 47

- Criar a nova dimensão - Adicionar a nova FK na tabela de fatos e preenche-la corretamente com os valores da PK da nova dimensão. - Se os registros antigos da nova dimensão não estão disponíveis, deve-se preencher a FK da tabela de fatos com uma PK significativa (ex: 1=antes da adição da dimensão X)

Answer 48

- Adicionar a nova medida na tabela de fatos e preenche-la/calcula-la corretamente - Se a nova medida tem granularidade diferente, criar uma nova tabela de fatos sem as medidas originais - Se os registros antigos da nova medida não estão disponíveis, deve-se preenche-la com NULL

Answer 49

- Criar uma nova dimensão tentando aproveitar os atributos da dimensão original (menos detalhada), adicionar os atributos pertinentes e reconstruir a PK da nova dimensão. - Dimensões mais detalhadas podem afetar a tabela de fatos, neste caso, deve-se reconstruir a tabela de fatos (avaliar o impacto nas aplicações existentes)

Answer 50

- Se a nova fonte de dados tem sua própria granularidade e dimensionalidade deve-se criar um novo DM - Caso contrário, tratar a nova fonte de dados no DM pertinente (ter cuidado para não forçar uma compatibilização espúria)

Answer 51

- Slowly Changing Dimensions (SCD) é a técnica utilizada para fazer atualização de dados nas dimensões, existem diferentes técnicas. SCC0: Não faz nada SCD1: Sobrescrever o valor SCD2: Adiciona uma linha na dimensão SCD3: Adiciona uma coluna na dimensão SCD4: Criar uma minidimensão com os dados voláteis SCD5: SCD4 + SCD1 SCD6 : SCD1 + SCD2 + SCD3 SCD7: Duas FK na TF + SCD1 + SCD2 - Os dois tipos de SDC mais usados são SC1 e SCD2, principalmente o SCD2

Answer 52

- A técnica de atualização de dados nas dimensões SCD1 consiste em sobrescrever o valor antigo pelo novo, perdendo o histórico dos valores do atributo - Não exige um novo valor de PK para a dimensão e nem para a TF - É a estratégia mais simples e rápida de implementar mas não registra histórico - É indicada para a correção de cargas erradas de valores de atributos ou informações irrelevantes (ex. CPF e Telefone)

Answer 53

- A técnica de atualização de dados nas dimensões SCD2 consiste em adicionar uma linha na dimensão, nesse caso as mudanças são registradas a partir da inserção de novas linhas (novas SKs na dimensão e na fatos) - Segmenta perfeitamente o histórico do DW - É a estratégia predominante para registrar o histórico do DW - Ter atenção quando aplicar em dimensões grandes (pode ser inapropriada/custosa)

Answer 54

- A técnica de atualização de dados nas dimensões SCD3 consiste em criar uma nova coluna para cada informação que se deseja manter o valor atual ou prévio (se utiliza da SCD1 para atualizar o valor atual e prévio) - Não exige um novo valor de PK para a dimensão e nem para a TF - É indicada quando o usuário contenta-se com um histórico limitado (valor atual e valor prévio) - É útil para comparar simultaneamente o valor atual com o valor original ou prévio

Answer 55

- A técnica de atualização de dados nas dimensões SCD4 consiste em criar uma minidimensão com os dados mais voláteis - As PKs da dimensão e minidimensão são geradas de forma independente e ambas devem estar registradas na TF - A dimensão base armazena os dados estáticos e o histórico é obtido a partir do relacionamento entre a MD e TF - É indicada para controlar o crescimento das dimensões

Answer 56

- A técnica de atualização de dados nas dimensões SCD5 consiste em criar uma visão da minidimensão que vai corresponder a uma dimensão outrigger ou faz um relacionamento direto entre a minidimensão e a dimensão base (simulando uma dim outrigger) - As PKs da dimensão e minidimensão continuam sendo geradas de forma independente e ambas continuam sendo registradas na TF. Contudo, a PK da visão ou dimensão outrigger vai como FK para a dimensão base (a FK vai ser atualizada via SDC1) - É indicada para controlar o crescimento das dimensões e obter o valor atual via FK com a visão ou dimensão outrigger, evitando join com a TF.

Answer 57

- A técnica de atualização de dados nas dimensões SCD6 consiste em usar as técnicas SCD3, SCD1 e SCD2 em conjunto. - Usar a SCD3 para manter os valores anteriores e atuais do atributo - Usar a SCD1 para substituir todos os registros da versão atual do atributo - Usar a SCD2 para manter o histórico do atributo - É indicada quando o usuário deseja comparar simultaneamente o valor atual com o valor original ou prévio, mantendo todo o histórico - Complexa de ser implementada

Answer 58

- A técnica de atualização de dados nas dimensões SCD7 consiste em adotar duas FK na TF e as técnicas SCD1 e SCD2. - Entrega o mesmo resultado da SCD6, mas usando duas FK (histórico via SCD2 e atual via SCD1) na TF - É indicada quando o usuário deseja analisar o histórico e o valor atual (cuidado, pois não é 100% real) de maneira menos complexa

Answer 59

- Deve-se perguntar e documentar: - Para quais atributos posso manter apenas o valor atual? - Para quais atributos devo manter o histórico completo? - Para quais atributos posso manter apenas as versões anteriores/atuais? - Qual é o volume de dados atualmente e para os próximos 5 anos? - Na dúvida sempre optar pelo SCD2 pois é o melhor para manter o histórico.

Answer 60

- É uma metáfora para visualização e organização dos dados. - Onde várias dimensões podem ser analisadas simultaneamente - Os dados (membros) são manipulados mais rapidamente e facilmente (agregação em níveis de hierarquia)

Answer 61

- OLAP é um conjunto de tecnologias para analisar o DW/Cubo de Dados - Fornece dados em alto nível (totais, media, min…) - Tem alta performance e consultas fáceis e interativas - Lida com dados históricos (dimensão temporal) - Faz cruzamento de dados (cubo de dados) - Analisa dados em diferentes níveis de detalhes (hierarquia)

Answer 62

- Drill Down e Roll Up -> São técnicas para caminhar pelos níveis de hierarquia dos dados e permitem ver diferentes níveis de detalhes. Drill Down -> do nivel de menos detalhe para mais detalhe. Roll Up/Drill -> Contrário - Rotação -> Técnica que gira o cubo, permitindo diferentes visões dos dados - Slice e Dice -> Técnicas que fatiam o cubo, permitindo restringir a análise aos dados, sem inversão de eixos (semelhante as cláusulas SELECT e WHERE de SQL)

Answer 63

- É uma estrutura que define a hierarquia de operações group-by no cubo - Cada cuboid (nó) é um agregado formado por uma agregação simples (select … from … group by …) - A treliça é um grafo direcionado onde uma aresta a, entre dois nós n e m, direcionada de n para m, indica que m pode ser obtido através de n.

Answer 64

As arquiteturas olap são: - Relacional OLAP -> ROLAP - Multidimensional OLAP -> MOLAP - Híbrido OLAP -> HOLAP

Answer 65

- Utiliza BD relacional para fazer análise dos fatos - Utiliza SQL para manipular os dados de forma multidimensional - Lida com fatos atômicos assim como sumarizados - Trabalha em ambientes din micos e muitas dimensões

Answer 66

- Utiliza MDDB proprietários (com matrizes n-dimensionais) para manipular fatos agregados - Tem como premissa principal armazenar de forma multidimensional para visualizar de forma multidimensional - Tem como desvantagem o fato de que não manipula fatos atômicos, não trabalha com muitas dimensões e não gerencia um grande volume de dados.

Answer 67

- Mistura de MOLAP com ROLAP - Suporta manipulação de fatos atômicos e agregados - Utiliza MDDB para analisar os fatos agregados - Utiliza SQL para manipular fatos atômicos - É mais complexo para administrar e implementar

Answer 68

- Armazenamento dos Dados de Base -> M: Cubo H: Tabela Relacional R: Tabela Relacional - Armazenamento das Agregações -> M: Cubo H: Cubo R: Tabela Relacional - Perspectiva do cliente no quesito performance de consulta -> M: Imediato H: mais rápido R: rápido - Perspectiva do cliente no quesito consumo em disco -> M: Alto H: Médio R: Baixo - Perspectiva do cliente no quesito manutenção do cubo -> M: Alto H: Médio R: Baixo

Data Warehouse e Data Lake Flashcards

(92 cards)