Hoje, apresentamos o nosso curso de “Aplicações escaláveis na prática”, disponível em nosso canal no YouTube. O curso é ministrado por Felipe Marcel, desenvolvedor full-stack do Insight Lab com experiência em desenvolvimento de aplicações usando as tecnologias Docker, Kubernetes, Scala, Play, Akka, Akka Stream, arquitetura de micro-serviços com Lagom Framework e MongoDB.
Na primeira parte deste curso você aprenderá a preparar a infraestrutura para construção de aplicações escaláveis. Os tópicos “Overview da aplicação SisBus” e “Docker” já estão no ar e, a partir do dia 06 de agosto, você também poderá acessar os itens “Docker-compose” e “Kubernetes”.
Como continuação desta formação, estamos produzindo o “Módulo de Desenvolvimento”, que também estará disponível em nosso canal no YouTube.
Para acompanhar o curso recomendamos que você tenha conhecimentos básicos em Docker e Kubernetes. Caso ainda não esteja familiarizado com essas ferramentas, indicamos:
O Insight já começa esta semana com o lançando do seu segundo edital para pesquisadores. O Edital Nº 02/2020, lançado hoje, 27/07, selecionará pesquisadores para participar em projetos de pesquisa para Acelerar a Transformação Digital no Estado do Ceará.
A pesquisa científica tem um papel fundamental na inovação tecnológica, no intuito de trazer melhorias e desenvolvimento a sociedade. Com isso, a universidade pública, através do laboratório Insight, pretende contribuir com suas pesquisas em Transformação Digital. O objetivo é proporcionar aos cidadãos melhoria da qualidade de vida com a simplificação de processos, evitando deslocamentos, filas e aglomerações.
Além disso, a digitalização dos serviços públicos traz benefícios na rapidez do atendimento, redução do custo da máquina pública, aumento na eficiência da administração pública e melhoria nos mecanismos de transparência pública.
Perfil dos candidatos
Alunos de graduação, mestrado e doutorado devidamente matriculados em instituições de ensino públicas no Ceará, cujos professores-orientadores possuam a titulação de doutor e trabalhem como docente na Universidade Federal do Ceará.
Temas de Pesquisa
A intenção deste Edital é apoiar pesquisa de ponta em Ciência da Computação, Estatística e áreas relacionadas, em particular, cujo tema envolva uso de inteligência computacional em Big Data para Transformação Digital no Governo do Ceará.
Cada docente deverá escolher um tema para submeter a candidatura, veja as opções:
Integração de dados em larga escala para construção do Data Lake;
Segurança e Privacidade dos dados no Data Lake;
Consulta em Linguagem Natural.;
Comunicação e Gerenciamento de microsserviços;
Uso de Inteligência Artificial para a comunicação com o cidadão;
Mineração de Processos (Process Mining);
Experiência do Usuário;
Recuperação de Informações em Documentos Digitalizados;
Low Code;
Geração de Código usando Processamento de Linguagem Natural;
Geração automática de documentação de sistemas usando Inteligência Artificial.
A lista completa com os sub-problemas de cada problema geral você encontra no edital.
Importante
Somente serão avaliadas propostas submetidas por 1 (um) pesquisador docente acompanhado de 1 (um) aluno. Caso o docente não possua aluno para indicar, o aluno deve ser indicado até Outubro de 2020 e o docente só começará a receber a bolsa quando fizer a indicação do aluno. As candidaturas devem ser realizadas, pelo professor-orientador, através do preenchimento do formulário no Google Forms.
Valor e duração das bolsas:
Graduação: R$ 800,00, 12 meses.
Mestrado: R$ 1.500,00, 12 meses.
Doutorado: R$ 2.500,00, 12 meses.
Professor-orientador: R$ 2.000,00, 12 meses.
Calendário
Até 03/08/2020, envio de propostas.
04/08/2020, divulgação dos selecionados por e-mail.
Nesta semana, o Insight Lab continua sua série de webinars discutindo Projetos de Pesquisa, desta vez, com foco no desenvolvimento.
Nesta edição, vamos saber mais sobre como o Insight Lab lida com o desenvolvimento em um projeto de P&D, a nossa equipe multidisciplinar, a produtificação de uma pesquisa, as ferramentas de tecnologia, a influência do modelo de desenvolvimento nos nossos principais parceiros e também as ações de marketing aplicadas ao laboratório.
Venha conhecer e interagir com alguns dos profissionais que estão à frente do nosso laboratório de pesquisa em Ciência de Dados.
Os profissionais de Ciência de Dados estão cada vez mais requisitados nas organizações e suas habilidades são exigidas de acordo com o perfil de cada empregador. As certificações são uma excelente forma desses profissionais obterem vantagens, permitindo aprimoramento nas suas habilidades. Esta tática serve ainda como uma forma de avaliar o nível das habilidades profissionais de uma equipe.
Se você está procurando por certificações para aumentar suas habilidades específicas e ampliar seu conhecimento na área de dados, pelo menos uma dessas nove certificações servirá para você. Mas antes, saiba da importância dessas certificações.
Por que tirar certificações online?
Agregar habilidades no currículo ou portfólio;
Aumentar as perspectivas de emprego;
Usufruir do acesso a serviços adicionais: serviço de carreira, contratação de laboratórios, revisões;
Fazer uma transição de carreira.
Sendo assim, vamos conferir as 9 principais certificações online para Data Science que você pode começar este ano.
Segundo Rashi Desai da Universidade de Illinois, Chicago, este é o melhor programa de certificação em ciência de dados de nível básico para entusiastas que desejam iniciar sua carreira profissional na área.
Comece compreendendo o que é Ciência de Dados, por que ela é tão popular e depois enriqueça sua formação com a integração de APIs (Application Programming Interface ou Interface de Programação de Aplicativos). Recomendamos aqui este desafio de 9 cursos.
Cursos
What is Data Science?
Open Source tools for Data Science;
Data Science Methodology;
Python for Data Science and AI;
Databases and SQL for Data Science;
Data Analysis with Python;
Data Visualization with Python;
Machine Learning with Python;
Applied Data Science Capstone.
A certificação não requer pré-requisitos. No entanto, se você deseja uma melhor compreensão do aprendizado, sugiro concluir um curso intensivo sobre Python de antemão. No curso 6, você começará a construir projetos a partir do zero, tornando-o uma maneira perfeita de obter alguns projetos sofisticados em seus currículos!
O Tableau está oferecendo descontos em muitas de suas certificações, mas esta: Data Scientist Learning Path é GRATUITA. Uma certificação irmã é o Tableau Data Analyst.
O caminho do Tableau Data Scientist inclui:
Getting Started with Tableau Desktop;
Desktop I: Fundamentals;
Desktop II: Intermediate;
Desktop III: Advanced;
Data Prep;
Visual Analytics;
Data Science with Tableau;
Data Scientist Skills Assessment.
O Tableau oferece três grandes certificações pagas:
Este exame é para aqueles que possuem habilidades e conhecimentos básicos do Tableau Desktop e pelo menos três meses aplicando entendimento e experiência com o Tableau.
Custo: $ 100
Limite de Tempo: 60 minutos
Formato da pergunta: Múltipla escolha, resposta múltipla
A Universidade de Harvard, em parceria com a edX, possui uma Certificação de Ciência de Dados que abrange habilidades fundamentais de programação R, conceitos estatísticos como probabilidade, inferência e modelagem, experiência com pacotes como tidyverse, ggplot2 e dplyr .
A melhor parte dessa certificação é o curso que toca na base de ferramentas essenciais para a prática de cientistas de dados como Unix / Linux, Git e GitHub e RStudio.
Outro ponto alto dessa certificação é o seu realismo, os cursos apresentam aos alunos estudos de caso do mundo real, como:
Tendências mundiais em saúde e economia;
Taxas de criminalidade nos EUA;
A crise financeira de 2007-2008;
Previsão Eleitoral;
Construindo um time de beisebol (inspirado em Moneyball);
A Especialização emBusiness Analytics está hospedada no Coursera, desenvolvido com a Wharton School da Universidade da Pensilvânia. Ele fornece uma boa introdução fundamental à análise de big data nas profissões de negócios, como marketing, recursos humanos, operações e finanças. Os cursos não requerem experiência prévia em análise.
Uma estatística no site diz que 46% dos alunos iniciaram uma nova carreira após concluir esta especialização e 21% dos alunos receberam um aumento ou promoção salarial.
O curso desenvolve no aluno o senso de como o analistas de dados, deve e pode descrever, prever e informar decisões de negócios em áreas específicas. Após concluir a especialização, o aluno desenvolverá uma mentalidade analítica que o ajudará a tomar as melhores decisões baseadas em dados.
A especialização em Advanced Business Analytics está hospedada no Coursera, desenvolvido com a Universidade do Colorado, Boulder. A especialização mescla a linha tênue entre a academia e o mundo dos negócios para combinar aprendizados de profissionais experientes de ambos os domínios para compartilhar as habilidades de análise de dados do mundo real com os alunos.
Segundo o site, 50% dos alunos começaram uma nova carreira depois de concluir esta especialização. É sobre isso que estamos falando!
Depois de concluir esta especialização, você poderá redigir e reconhecer melhor o valor máximo para os acionistas. O curso o conduz por uma experiência completa em extração e manipulação de dados usando SQL e para alavancar técnicas estatísticas para análises descritivas, preditivas e prescritivas para diferentes domínios de negócios. E o mais importante, o curso ensina efetivamente como interpretar e apresentar resultados analíticos para uma tomada de decisão eficiente.
A SAS Academy for Data Science é uma das plataformas de prestígio para aprender o SAS para Data Science. Oferece cursos de curadoria de dados, análise avançada, IA e aprendizado de máquina para avançar sua carreira em dados. Lembre-se, o próprio SAS é um horizonte complicado a ser explorado por iniciantes. Se você estiver pronto para fazer um dos exames abaixo, certifique-se de ter conhecimento completo dos pré-requisitos.
Existem três caminhos básicos na SAS Academy:
Profissional de curadoria de dados (4 cursos | 1 exame | 5 crachás | $ 1295 / ano);
Com o Microsoft Certified Solutions Expert (MCSE), você pode demonstrar um amplo conjunto de habilidades em administração de banco de dados, SQL, criação de soluções de dados em escala corporativa e alavancagem de dados de inteligência de negócios.
O que você vai aprender?
Relatórios de Business Intelligence;
Engenharia de dados com o Azure;
Machine Learning;
Desenvolvimento de Business Intelligence do SQL 2016;
Administração do banco de dados SQL 2016;
Desenvolvimento de banco de dados SQL 2016;
SQL Server 2012/2014.
Existem 3 etapas para garantir esta certificação
1.Trabalhar com a Administração de banco de dados do SQL Server 2012/2014/2016 e obter o Microsoft Certified Solutions Associate para SQL Server. Obtenha conhecimento sobre desenvolvimento de banco de dados, desenvolvimento de (BI) business intelligence , aprendizado de máquina, relatórios de BI ou engenharia de dados com o Azure;
Passar em um exame obrigatório. O portal de certificação também contém recursos de preparação para exames;
(cerca de 50% de perguntas do Machine Learning studio, 40% de Machine Learning service e 10% de perguntas genéricas sobre ciência de dados.)
Uma certificação mais leve, e portanto, a última da lista, a Certificação de Cientista de Dados do Microsoft Azure é voltada para alunos que desejam aplicar seus conhecimentos de ciência de dados e aprendizado de máquina para implementar e executar modelos de Machine Learning no Azure.
A parte boa dessa certificação é que você conclui o exame com a implantação de um modelo como serviço.
O caminho é simples: faça um exame e obtenha o certificado.
Habilidades avaliadas:
Configuração de um espaço de trabalho do Azure Machine Learning (30 a 35%);
Execução de experimentos e treinamentos de modelos no Azure (25 a 30%);
Otimização e gerenciamento de modelos criados do Azure (20–25%);
Implementação e consumo de modelos prontos para produção (20–25%).
A Secretaria da Segurança Pública e Defesa Social do Estado do Ceará (SSPDS/CE) iniciou o mapeamento da atuação de grupos criminosos do Ceará com a coleta de dados sobre pichações em edificações e muros utilizando inteligência artificial. Baseado na ciência de dados, o aplicativo Portal de Comando Avançado (PCA) agora oferece a função “pichação”, que reunirá dados para estabelecer padrões e comportamentos de integrantes desses grupos no Estado. Essa será mais uma ferramenta para subsidiar o trabalho das agências de inteligência policiais do Estado, reunindo um banco de dados com informações que serão integradas ao Big Data da Segurança Pública.
A primeira coleta da iniciativa aconteceu, nessa segunda-feira (13), durante implantação da 30ª base do Programa de Proteção Territorial e Gestão de Risco (Proteger), a unidade fica no município de Caucaia, na Região Metropolitana de Fortaleza.
Forma de expressão mais utilizada por integrantes de organizações criminosas, as pichações funcionam como instrumento para demarcar territórios, fazer ameaças a rivais e tentar demonstrar poder sobre uma área delimitada. A partir dessa premissa e baseado na análise de comportamentos coletivo e individualizado dos investigados, a SSPDS inicia um levantamento que irá produzir material de inteligência policial para apoiar a investigação criminal e o planejamento de patrulhamento ostensivo realizado pelas agências de segurança pública do Estado. Na prática, os próprios criminosos irão fornecer material para a Polícia alimentar o Big Data; aquilo que pode parecer demonstração de força será empregada para enfraquecer suas ações e fortalecer a segurança pública do Ceará.
Todas as informações serão alimentadas utilizando o Programa de Comando Avançado (PCA), aplicativo para celulares de uso exclusivo de profissionais da segurança pública do Ceará. Lembrando que pichar é crime conforme a Lei de Crimes Ambientais, com pena detenção que chega até um ano, e multa.
Para o secretário da SSPDS, André Costa, essa é mais uma inovação desenvolvida pela Secretaria na área de ciência policial e tecnologia aplicadas à segurança pública, que vai servir de exemplo para todo o País e América Latina. “Essa nova função que a gente começa a usar hoje (segunda-feira, dia 13) vai permitir que todo policial, a partir de agora, torne-se um agente de inteligência. Ele vai poder, através do smartphone, inserir uma fotografia, que será georreferenciada, ou seja, o próprio celular já vai dar a localização de onde ela (a pichação) está e também marcar o dia e hora dessa fotografia. Ele ainda vai incluir qual o grupo criminoso a que se refere à pichação. Quando esses criminosos picharem o local e os policiais fotografarem e enviarem esses dados, eles entram na base do nosso Big Data da Segurança Pública”, explica.
Os dados compilados na função “Pichação” no aplicativo PCA servirão para construir parâmetros de atuação dos grupos criminosos no Estado e para fomentar estratégias policiais de combate aos crimes nessas áreas. “Os policiais das áreas de investigação e inteligência vão poder ver os dados em um mapa e, assim, a gente vai ter um mapeamento atualizado com dados de determinado grupo criminoso em qual área, bairro ou comunidade ele se encontra. Isso é fundamental para as ações de inteligência tanto para as investigações como também para que o próprio patrulhamento possa organizar seus efetivos e entender quais áreas devem ser priorizadas”, destaca André Costa.
Junto à estratégia de inteligência para coletar dados para uso da segurança pública, os locais onde os policiais encontrarem pichações com marcas de grupos criminosos serão pintados. “Iremos cobrir essas pichações e tirar essas identidades visuais. Isso é muito negativo aqui, especialmente para a juventude, que vê esse exemplo envolvendo facções”, frisou André Costa.
Na palma da mão
O funcionamento da iniciativa é semelhante ao que já acontece com outras ferramentas tecnológicas criadas e desenvolvidas pela SSPDS, em laboratórios cearenses, por meio de pesquisadores financiados pelo Estado do Ceará e com a participação direta de profissionais do Sistema de Segurança do Ceará. O dispositivo utilizado para a função “Pichação” é o Programa de Comando Avançado (PCA), aplicativo para celular que integra bases civil e criminal da população do Estado, dados de veículos e motoristas, biometria e o reconhecimento facial. A nova função já está disponível para atualização nas lojas virtuais para usuários que utilizam os sistemas operacionais iOS e Android. O uso é exclusivo para servidores da segurança pública.
Como funciona?
Com um smartphone nas mãos e com o aplicativo PCA aberto, o policial vai iniciar o cadastro da pichação inserindo informações relevantes sobre as características encontradas no local. Primeiro, ele vai marcar a qual grupo criminoso pertence aquela pichação, em seguida, incluir uma descrição apontando onde a pichação foi encontrada, como por exemplo, “na parede de uma casa”, “na fachada de um estabelecimento comercial”. O próximo passo é acionar a câmera do celular para fazer o registro fotográfico das inscrições deixadas pelos criminosos. Por fim, o policial vai posicionar no mapa a localização exata da pichação utilizando o GPS do aparelho celular e concluir o cadastro na ferramenta. Em tempo real, as informações são transmitidas para o Big Data para acesso das agências de inteligência policial do Estado.
Tecnologia compartilhada
A função “Pichação” foi desenvolvida numa parceria entre a Secretaria da Segurança Pública e Defesa Social do Estado do Ceará (SSPDS/CE) e o Laboratório de Processamento de Imagem, Sinais e Computação Aplicada (Lapisco), vinculado ao Instituto Federal de Educação, Ciência e Tecnologia do Ceará (IFCE). A colaboração entre as instituições também propiciou a criação e uso do reconhecimento facial, outra ferramenta disponível ao policial que acessa o aplicativo PCA. Juntos, SSPDS e IFCE constroem soluções para aprimorar o uso da tecnologia aplicada à segurança pública a partir da análise de sinais (áudio, voz, imagem, vídeo).
Big Data da Segurança Pública
A criação do Big Data da Segurança Pública, batizado de “Odin”, é fruto da parceria entre a SSPDS e pesquisadores da Universidade Federal do Ceará (UFC). A ferramenta integra mais de 100 sistemas dos órgãos de Segurança Pública do Estado e de instituições parceiras em uma única plataforma. Ela permite a tomada de decisão baseada em dados, feita de forma automática e em tempo real, dando maior celeridade aos processos e economia de tempo. Além disso, o “Odin” facilita o processo de investigação e inteligência policial com o detalhamento de territórios e informações de caráter investigativo, contribuindo para a formulação de estratégias de combate à criminalidade.
Uma introdução ao uso do Git para projetos de aprendizado de máquina
O Git é uma plataforma destinada a desenvolvedores para o gerenciamento de projetos e versões de códigos, permitindo desenvolver projetos colaborativos com pessoas do mundo todo. É a rede social dos desenvolvedores.
Como controle de versão, ele tem a capacidade de gerenciar diferentes versões de um mesmo projeto. É possível assim, obter históricos das modificações, permitir que vários programadores trabalhem no mesmo projeto, e permitir um comparativo entre várias versões do projeto.
Essas funcionalidades são essenciais durante o treinamento de um novo modelo de machine learning, em que vários programadores trabalham no mesmo código.
Iniciando o processo
Consideraremos aqui que você já tenha o Git instalado, caso não, aqui está um recurso para fazê-lo. Depois disso, não se esqueça de configurar uma chave SSH.
Você deve ver o seguinte ao digitar git na linha de comando no Mac / Linux ou GitBash se estiver no Windows.
1.Init
Vamos começar com o comando mais básico, o init. Ele inicializa um projeto Git, uma maneira simples para dizer: “adicione os arquivos necessários ao Git na raiz da pasta em que você está”. Simplesmente acione o comando cd para o diretório do seu projeto e digite o seguinte:
$ git init
Em troca, você receberá uma mensagem dizendo que seu projeto está pronto para a execução.
Você só precisa fazer isso uma vez por projeto.
2. Remote Add
Agora, graças ao comando init, você tem um repositório local para o seu projeto. Você poderá fazer tudo o que precisa para controlar, de maneira satisfatória, seu projeto localmente. Crie um projeto online para aproveitar ao máximo o Git. A maioria dos desenvolvedores têm uma conta GitHub, embora existam boas alternativas como BitBucket e gitlab. De um modo geral esses serviços são semelhantes para quem está iniciando.
Depois de escolher o serviço que você deseja usar, vá em frente e crie um novo projeto.
Depois de criar seu projeto, você receberá um URL personalizado. Neste caso, o gerado para este projeto é:https://github.com/jessefreeman/GitExample.git
Tudo o que precisamos fazer agora é conectar nosso projeto local ao projeto online que criamos. Para fazer isso, você usará o seguinte comando:
$ git remote add origin <PROJECT_URL>
Você também pode se conectar pelo caminho SSH, dependendo do que o serviço Git fornece.
3. Add
Neste ponto, seu projeto está pronto para rastrear versões localmente. Vá em frente e adicione um arquivo ReadMe.txtou algo à pasta. Lembre-se de que o Git ignora pastas vazias. Quando estiver pronto, adicione as alterações ao repositório. A preparação é uma maneira simples de dizer que o Git vai rastrear arquivos específicos até que você esteja pronto para salvar uma versão deles.
Para adicionar arquivos, basta digitar o seguinte comando:
$ git add .
Embora você possa especificar arquivos pelo nome após add, . é um curinga que incluirá automaticamente todos os arquivos que foram alterados desde a última confirmação.
4. Status
A qualquer momento, você pode obter uma lista dos arquivos no projeto Git e ver se eles estão prontos ou não. Para fazer isso, digite o seguinte comando:
$ git status
Isso dará uma lista de todos os arquivos que o Git vê no diretório.
Você pode ver os arquivos não adicionados no momento em vermelho. Os arquivos prontos para serem salvos aparecerão em verde. A lista de status do arquivo é útil quando você desejar ver se está tudo concluído antes de salvar as alterações.
5. Commit
Depois de organizar os arquivos, você precisará salvar uma versão deles. Chamamos isso de commit. O Git pega os arquivos que você adicionou anteriormente e os compara com a última versão. Em seguida, ele salva os deltas, ou as diferenças, em uma pasta.gitoculta especial na raiz do seu projeto.
Para salvar as alterações, digite o seguinte na linha de comando:
$ git commit -m "Add a message so you know what you did"
Este é provavelmente o mais complexo dos comandos que usamos até agora. Se olharmos para cada parte, estamos ligando commite-m representando a adição de uma mensagem. Por fim, você fornecerá a mensagem de confirmação entre aspas. Dessa forma, depois você poderá olhar no log de confirmação para lembrar as alterações que você fez.
Se você estiver usando o GitHub, existem alguns recursos interessantes que você pode usar ao confirmar seu código. Aqui citaremos, como exemplo, a aba de Issues do repositório, esse local vai permitir a você acompanhar as tarefas, aprimoramentos e bugs de seu projeto. Cada tópico representa um número de identificação exclusivo e você pode vinculá-lo referenciando-o em seu comentário como este:
$ git commit -m "Finished making changes to #1"
O GitHub irá adicionar automaticamente um link do seu commit ao problema. É uma ótima maneira de se manter organizado enquanto você trabalha.
6. Push
A última etapa deste processo é enviar todos os seus commits para o repositório remoto no GitHub. O Git é único, pois permite trabalhar localmente até que você esteja pronto para adicioná-los de volta ao repositório principal. É isso que permite que as equipes trabalhem de forma mais eficiente em seus computadores e depois mesclem tudo de volta para um único projeto.
Lembra-se de quando ligamos nosso projeto local ao projeto online? Agora, quando você diz ao Git para empurrar (to push) as alterações, elas serão copiadas e mescladas no projeto principal. Tudo que você precisa fazer é digitar o seguinte na linha de comando:
$ git push --all
O --allé semelhante ao curinga ., que usamos anteriormente ao preparar nossos arquivos. Essa flag diz ao Git para enviar todas as confirmações recentes para a origem padrão, que é o que definimos com o comando remote add.
Veja e repita
Agora você já conhece os seis comandos mais essenciais para usar o Git:
init Criar um novo projeto
remoteaddorigin Vincular um projeto local a um projeto online
add Adicionar arquivos para acompanhar
status Retornar a uma lista de arquivos no projeto local
commit Salvar as alterações nesses arquivos
push Copiar essas alterações no projeto online
Agora você pode executar as etapas 3 à 6 para continuar salvando as alterações feitas. Não há limite para o número de confirmações que você pode fazer, embora seja necessário limpar o repositório do Github de tempos em tempos, se você fizer muitas alterações.
À medida que você se sentir mais confortável com o Git, verifique como usar o arquivo .gitignorepara excluir itens específicos que você não deseja que sejam rastreados. Aqui, temos um projeto de Jesse Freeman que poderá ser utilizado como referência e que ignora os modelos gerados e alguns dos arquivos de configuração do projeto Python que não são críticos para quem procura executar o projeto localmente.
