Tem uma comunidade chamada artigos Artigos Científicos manda lá assim que terminar.
this post was submitted on 02 Apr 2025
13 points (100.0% liked)
lemmy.eco.br (meta)
1209 readers
2 users here now
Esta Comunidade destina-se a postagens sobre o servidor Lemmy.eco.br.
Para obter suporte com problemas no Lemmy.eco.br, acesse a sala de suporte.
Para jogar conversa fora, utilize o [email protected].
Para comentar noticias: [email protected].
Para comentar sobre política: [email protected].
founded 2 years ago
MODERATORS
Com prazer!
primeiro de tudo: isso não teria que passar por conselho de ética não?
fora isso, a rigor, o que é público é público e ninguém pode te impedir de salvar o que quiser. mesmo assim, é de bom tom conseguir o consentimento de quem for afetado por esse scraping e deixar claro qual é o uso. muita gente pode se sentir exposta de ter todas suas conversas aleatórias salvas em um grande banco de dados. já fizeram coisa como um banco de dados público de busca por posts no fediverso inteiro e foi rechaçado com força.
seria de melhor tom ainda se você pedisse permissão para coletar os dados (opt-in) em vez de remover quem pedir (opt-out).
Esse opt-in seria a nível de instância ou de usuário? Acho que de usuário seria bem restritivo. Mas de toda forma, nada do que eu pretendo fazer necessitará a divulgação do banco de dados (eu espero). As análises serão todas feitas in-loco e agregadas preservando a privacidade de indivíduos. Mas ótimas pontuações, vou tentar conversar com meus orientadores sobre isso.
tenta fazer o melhor que possível que ainda seja factível
precisa ser um crawler? As apis são todas abertas, você pode requisitar qualquer tipo de informação que precisar.
Parece uma boa solução. Vou ter que estudar as APIs do lemmy e do masto, mas acho que é melhor isso do que sobrecarregar o server tendo que renderizar o front-end.
P.S. já tentei rodar um server de lemmy e o backend é eficiente pra caramba. O futuro é Rust.
Não entendo de crawler, porém acho que depende do uso do conteúdo "scrappado". Se for pra arquivar coisas, tá tudo bem, desde que respeite o desejo de alguém ser removido, mas se for pra treinar IA, aí é paia.
De forma alguma é pra treinar IA, tenho ódio dessas porra. É pra fazer um estudo sobre dinâmicas sociais no Fediverse e como podem ser diferentes de dinâmicas em redes centralizadas.