Nesse post irei apresentar como utilizar o Apache Airflow, uma das mais conhecidas ferramenta para gerenciamente de fluxos, para automatizar um fluxo de Extração, Transformação e Carregamento do inglês Extract, Transform, Load (ETL). Para abordar melhor os tópicos envolvidos nesse projeto, o mesmo foi dividido em duas partes que irão originar duas publicações.
Nessa primeira parte mostrarei como realizar o desenvolvimento do início de um processo ETL utilizando Airflow. Constuíremos um Web Scraper utilizando BeautifulSoup para extrair informações de avaliação de filmes do site AdoroCinema, com os dados obtidos nós iremos escrever um arquivo .csv e enviar para o AWS…
Spark é uma ferramenta para processamento distribuído e o maior projeto open source voltado para o processamento de dados do momento. Ele faz parte do ecossitema Hadoop, ou seja, pode ser utilizado rodando em cima da estrutura Hadoop e também pode utilizar a estrutura do HDFS e do MapReduce para otimizar consultas em grandes quantidades de dados.
Além disso seu uso é muito interessante pois ele permite também realizar a aplicação de algoritmos de Machine Learning em cima de jobs MapReduce, realizar processamento de grafos e stream de dados. …
Eu sou uma grande fã do trabalho da Beyoncé e recentemente ela lançou seu álbum visual Black Is King. Infelizmente a plataforma de streaming onde o álbum foi lançado não está disponível no Brasil, logo eu ainda não pude ter acesso ao resultado produzido pela Beyoncé e sua equipe.
Mas há uma coisa eu posso fazer, e seria acompanhar os comentários nas redes sociais sobre o que as pessoas estão achando sobre. E se tem algo que não faltou foram comentários nas redes sociais sobre a obra da queen B, sendo eles alguns positivos e outros não tão positivos assim.
…
Eu iniciei um projeto para realizar a coleta de alguns tweets utilizando a biblioteca Tweepy, tratamento de dados utilizando Python e análise de polaridade dos textos escritos nos tweets. Irei relatar um pouco do processo, do código e dos resultados que obtive na série de dois textos, inicialmente iria ser somente um texto mas no decorrer do processo da escrita achei que seria mais interessante dividir essas em etapas.
Dessa forma, temos esse primeiro momento onde eu mostro os códigos usados para coleta dos tweets e o código para tratar os dados. No segundo momento irei mostrar os resultados e…
Esse texto faz parte de uma série de 4 publicações sobre a utilização da AWS SQS e SNS em uma aplicação python, sugiro a leitura dos textos anteriores para maior entendimento do processo. Todas as publicações dessa série podem ser encontradas lá no meu blog.
Na parte 3 dessa série iremos ver como consumir as mensagens publicadas via SNS mostradas no texto anterior. …
Esse texto faz parte de uma série de 4 publicações sobre a utilização da AWS SQS e SNS em uma aplicação python, sugiro a leitura dos textos anteriores para maior entendimento do processo. Todas as publicações dessa série podem ser encontradas lá no meu blog.
Dando continuidade na série sobre o uso da AWS SQS e SNS, hoje implementaremos a funcionalidade para publicação de mensagens utilizando SNS, e como utilizar o recurso de filtros dos serviços SNS. …
Esse texto faz parte de uma série de 4 publicações sobre a utilização da AWS SQS e SNS em uma aplicação python, sugiro a leitura dos textos anteriores para maior entendimento do processo. Todas as publicações dessa série podem ser encontradas lá no meu blog.
Eu decidi me desafiar e aprender algo novo. Nesse projeto eu quis estudar e explorar uma tecnologia que eu ainda não utilizava, então decidi me desafiar a implementar um pequeno projeto utilizando os conceitos aprendidos. Para narrar minha jornada resolvi escrever uma série de textos compartilhando o que eu tenho aprendido, ao longo dessa série…
Começamos a ouvir os discursos sobre o desemprego gerado pela robotização, pessoas assustadas culpando o desenvolvimento tecnológico, a piada sobre cientistas e engenheiros que projetam um futuro onde pessoas serão dispensadas para exercerem trabalho, pessoas incluindo eles mesmos, alguns chamam isso de escolhas erradas, outros apenas as vêem como pessoas sem visão.
Passamos por duas revoluções ( a Industrial e a Tecnológica), e é analisando o comportamento da sociedade perante esses dois momentos que poderemos tirar algumas prospecções acerca do que viveremos no futuro.
A primeira leva de substituição de empregos
Analisaremos então o meio rural, que por muitos anos foi a principal fonte de renda para…
Oxe, sou do nordeste, sou de Aracaju.
Uma coisa que acho bastante divertida é aprender. Aprender coisas novas, coisas diferentes, aprender sobre algo que já sabia mas por um outro ponto de vista. Mas se teve algo na qual eu gostei bastante foi aprender mais sobre a história da minha cidade. É estranho e consideravelmente triste o fato de que muitos, e eu me incluo nessa conta, por vezes não dão valor a sua própria história. As vezes egoistamente pensamos que nossa história é fundamentada apenas em torno de nós, somos os protagonistas, roteiristas e diretores, esquecendo de todas as variáveis que nos influenciam, de todos os…
Seguindo o ritmo de filmes e eventos na Universidade Federal de Sergipe (UFS) chego no evento InComunicações realizado durante a Semana Acadêmica na universidade e referênte aos cursos de comunicação. Acho sempre válido essas experiências interdisciplinares, sair um pouco da nossa zona de conforto e se dispôs a conhecer o novo agrega muito na nossa formação como sujeito, procuro sempre levar isso durante o processo da minha formação acadêmica pois acho importante ter uma visão sistêmica do mundo. Não somos ilhas, nossos trabalhos, nossas vidas são influenciadas e influênciam, e isso se enquadra bastante no quesito formação profissional.
Não vejo…
