Base de CEPs

[rserafim]

Fala pessoal, já temos a lista de todos os ceps para download? Tenho uma base gigantes pra validar.

[LorhanSohaky]

Ainda não temos isso, mas se quiser existe o https://cepaberto.com que fornece estes dados

[lucianopf]

@rserafim boa tarde, só pra confirmar vc conseguiu esses dados?

Temos alguém abusando de nossos serviços e estamos em busca pra conversar =)

[RodriAndreotti]

Eu concordo plenamente contigo... e ai caímos naquela história: Quando um não sabe usar todos pagam.
A história da autenticação seria mais para tentar impedir abusos mesmo.
Por que, se não tiver uma cota, vai chegar uma hora que os servers da Vercel não darão mais conta.

[LorhanSohaky]

Um simples rate limit não resolve?

[RodriAndreotti]

Talvez um throttle tbm fosse interessante.
Mas como vamos identificar quem está acessando? Por IP é meio complicado, porque 90% dos ip's do Brasil são dinâmicos :-/

[murilohns]

@RodriAndreotti, autenticação não resolve por enquanto, pq vamos continuar tomando pancada na API, mesmo com autenticação

@LorhanSohaky, rate limit não resolve também pq o cara tá acessando de vários IP's diferentes, e a quantidade de request por IP não é alta, mas são muitos IP's. Não dá pra bloquear os IP's também pq parecem estar ser de infra compartilhada, daí podemos afetar outras pessoas

[RodriAndreotti]

Realmente com a autenticação ainda receberíamos o request.

Será que isso está vindo de pod's de k8s então, algum crawler talvez?

[diego91964]

Estava pensando em uma arquitetura que consiga garantir que o projeto continue livre, gratuito e ainda aumente a disponibilidade. Fiz um rascunho aqui para melhorar a explicação, o Brasil API é a aplicação conforme é hoje.  A ideia é criarmos um Load Balancer com as seguintes atribuições: controle de cache e controle de uma carteira de tokens. Quando alguém deseja se tornar um consumidor do BrasilAPI ele teria duas opções, a primeira é como é hoje, porém com um delay que garanta a saúde do serviço (Gerenciado pelo Load Balancer). A segunda opção é especificar um nó que seja um ‘provider’ de cache que se conecta ao loadbalancer, o provider aqui descrito ajudaria a liberar a carga de trabalho do nó principal e ao mesmo tempo, de acordo que fica disponível no fornecimento de serviço, ele vai gerando tokens em uma carteira para que possam ser consumidos por consumidores que utilizem o código da carteira. A ideia da proposta é garantir que quanto mais consumidores o BrasilAPI tenha mais nós distribuídos de providers ela tenha. Em sex., 1 de abr. de 2022 às 09:30, Rodrigo Teixeira Andreotti < ***@***.***> escreveu:

…

Realmente com a autenticação ainda receberíamos o request. Será que isso está vindo de pod's de k8s então, algum crawler talvez? — Reply to this email directly, view it on GitHub <#334 (reply in thread)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AAGYXUGE5GPX7VTX7OR3VKTVC3T6JANCNFSM5BM3FAYA> . You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

-- ------------------------------------- Diego A.Silva. Jug Leader UaiJUG @diego91964

[diego91964]

No caso precisaríamos construir um padrão de provider que o responsável poderia subir em um nó e fornecer o cache distribuído.

Segue a imagem em anexo.

[RodriAndreotti]

Achei a ideia interessante e promissora... rs

[rserafim]

Sou noob, mas ja que esta na Vercel, usar edge functions nao funcionaria? https://vercel.com/features/edge-functions

[LorhanSohaky]

@rserafim , parece interessante. @lucianopf @murilohns deem uma olhada nisso

[lucianopf]

Sou noob, mas ja que esta na Vercel, usar edge functions nao funcionaria? https://vercel.com/features/edge-functions

A treta aqui é a quantidade de requests que recebemos vs o quanto podemos usar na Vercel =/

Recebemos em média 65 milhões de request no mês e na Vercel só teriamos grauidade do primeiro milhão 😭

E sobre a proposta eu to aqui tentando refletir ainda pq tá me parecendo que a gnt pretende criar uma infra bem mais complexa com custos envolvidos num projeto que tem zero orçamento 🤔