Visão geral

O que é o Snowpark?

O que é o Streamlit?

Você vai aprender

Pré-requisitos

O que será desenvolvido

Configuração dos dados no Snowflake

Visão geral

Etapa 1 - Adquirir os dados de pontos de interesse da SafeGraph pelo Snowflake Marketplace

aside positive A SafeGraph é uma empresa global que fornece dados geoespaciais de qualquer lugar do mundo. Clientes como Esri, Tripadvisor, Mapbox e Sysco usam dados da SafeGraph para entender melhor seus clientes, criar novos produtos e tomar decisões melhores para seus negócios.

Etapa 2 - Criar objetos, carregar dados e unir os dados

USE ROLE accountadmin;

-- create a development database for data science work 
CREATE OR REPLACE DATABASE frostbyte_tasty_bytes_dev;

-- create raw, harmonized, and analytics schemas 
-- raw zone for data ingestion 
CREATE OR REPLACE SCHEMA frostbyte_tasty_bytes_dev.raw; 
-- harmonized zone for data processing 
CREATE OR REPLACE SCHEMA frostbyte_tasty_bytes_dev.harmonized; 
-- analytics zone for development 
CREATE OR REPLACE SCHEMA frostbyte_tasty_bytes_dev.analytics;

-- create csv file format 
CREATE OR REPLACE FILE FORMAT frostbyte_tasty_bytes_dev.raw.csv_ff type = 'csv';

-- create an external stage pointing to S3 
CREATE OR REPLACE STAGE frostbyte_tasty_bytes_dev.raw.s3load 
COMMENT = 'Quickstarts S3 Stage Connection' 
url = 's3://sfquickstarts/frostbyte_tastybytes/' 
file_format = frostbyte_tasty_bytes_dev.raw.csv_ff;

-- define shift sales table 
CREATE OR REPLACE TABLE frostbyte_tasty_bytes_dev.raw.shift_sales( 
  location_id NUMBER(19,0), 
  city VARCHAR(16777216),
  date DATE, 
  shift_sales FLOAT, 
  shift VARCHAR(2), 
  month NUMBER(2,0), 
  day_of_week NUMBER(2,0), 
  city_population NUMBER(38,0) 
);

-- create and use a compute warehouse 
CREATE OR REPLACE WAREHOUSE tasty_dsci_wh AUTO_SUSPEND = 60; 
USE WAREHOUSE tasty_dsci_wh;

-- ingest from S3 into the shift sales table 
COPY INTO frostbyte_tasty_bytes_dev.raw.shift_sales 
FROM @frostbyte_tasty_bytes_dev.raw.s3load/analytics/shift_sales/;

-- join in SafeGraph data 
CREATE OR REPLACE TABLE frostbyte_tasty_bytes_dev.harmonized.shift_sales 
  AS 
SELECT 
    a.location_id, 
    a.city, 
    a.date, 
    a.shift_sales, 
    a.shift, 
    a.month, 
    a.day_of_week, 
    a.city_population, 
    b.latitude, 
    b.longitude 
FROM frostbyte_tasty_bytes_dev.raw.shift_sales a 
JOIN frostbyte_safegraph.public.frostbyte_tb_safegraph_s b 
ON a.location_id = b.location_id;

-- promote the harmonized table to the analytics layer for data science development 
CREATE OR REPLACE VIEW frostbyte_tasty_bytes_dev.analytics.shift_sales_v 
  AS 
SELECT * FROM frostbyte_tasty_bytes_dev.harmonized.shift_sales;

-- view shift sales data 
SELECT * FROM frostbyte_tasty_bytes_dev.analytics.shift_sales_v; 

Ciência de dados com Snowpark

Visão geral

Etapa 1 - Criar um clone do repositório do GitHub

$ git clone https://github.com/Snowflake-Labs/sfguide-tasty-bytes-snowpark-101-for-data-science.git

Etapa 2 - Atualizar o arquivo de autorização

aside positive
Para o parâmetro account, use seu identificador de conta. Observe que o identificador de conta não inclui o sufixo snowflakecomputing.com.

Etapa 3 - Criar um ambiente Python

aside positive As instruções utilizam Anaconda para criação do ambiente Python. (No entanto, você pode usar qualquer outro ambiente Python com Python 3.8, por exemplo, virtualenv).

aside negative Apple M1: há um problema conhecido com a execução do Snowpark Python em chips M1 da Apple devido ao manuseio da memória em pyOpenSSL. Consulte a documentação do Snowpark para solucionar este problema.

conda create --name py38_env_tb1 --override-channels -c https://repo.anaconda.com/pkgs/snowflake python=3.8

conda activate py38_env_tb1

conda install -c https://repo.anaconda.com/pkgs/snowflake snowflake-snowpark-python numpy pandas scikit-learn joblib cachetools

pip install streamlit matplotlib plotly notebook

jupyter notebook

Etapa 4 - Executar o notebook Jupyter

Solução de problemas

Criação do protótipo de aplicação com o Streamlit

Visão geral

Etapa 1 - Confirmar os pré-requisitos

Etapa 2 - Opcional: revisar o código

Etapa 3 - Inicializar a aplicação

Limpeza

Visão geral dos objetos criados neste quickstart

Etapa 1 - Remover os objetos Snowflake

USE ROLE accountadmin;
DROP PROCEDURE IF EXISTS frostbyte_tasty_bytes.analytics.sproc_train_linreg(varchar, array, varchar, varchar);
DROP FUNCTION IF EXISTS frostbyte_tasty_bytes.analytics.udf_linreg_predict_location_sales(float, float, float, float, float, float, float, float);
DROP DATABASE IF EXISTS frostbyte_tasty_bytes_dev;
DROP DATABASE IF EXISTS frostbyte_safegraph;
DROP WAREHOUSE IF EXISTS tasty_dsci_wh;

Etapa 2 - Remover o ambiente Python

conda remove --name py38_env_tb1 --all

Etapa 3 - Remover o repositório do GitHub clonado

rm -rf sfguide-tasty-bytes-snowpark-101-for-data-science

Conclusão e próximas etapas

Conclusão

Próximas etapas