A credit scoring também é, no entanto, uma atividade de tratamento de dados pessoais, o que torna aplicável o Regulamento Geral de Proteção de Dados (RGPD). Se a credit scoring for realizada através de ferramentas de IA, a classificação de crédito será uma decisão total ou parcialmente automatizada e, portanto, serão igualmente aplicáveis as disposições do artigo 22.º do RGPD. Além disso, e de um modo geral, qualquer atividade de tratamento de dados deve respeitar o princípio da privacidade desde a conceção (art. 25.º do RGPD), de acordo com o qual as empresas/organizações são incentivadas a implementar medidas técnicas e organizacionais, nas fases iniciais da conceção das operações de tratamento, de forma a salvaguardar os princípios da privacidade e da proteção de dados desde o início.
A avaliação da solvabilidade vista pelo RGPD tem três aspetos importantes: (1) quem é responsável pelo tratamento de dados quando a credit scoring é externalizada; (2) como distinguimos uma classificação totalmente automatizada de outra que não o é; (3) que informações devemos utilizar (e quais não devemos utilizar) para realizar a avaliação da solvabilidade.
As duas primeiras questões foram resolvidas ou esclarecidas pela conhecida Sentença Schufa do TJUE. A Sentença Schufa é a primeira sentença do TJUE que interpreta o art. 22.º do RGPD. Fá-lo num caso de crédito ao consumo, mas as suas considerações estendem-se a qualquer decisão total ou parcialmente automatizada. O conflito é fácil de explicar: um requerente de crédito junto de um banco médio na Alemanha vê o seu pedido recusado e, quando pede explicações ao banco, este escuda-se no facto de a Schufa (entidade de avaliação de crédito) lhe ter enviado uma pontuaçãonegativa; quando recorre à Schufa, esta escuda-se no facto de ter sido o banco a decidir recusar o crédito e de o seu algoritmo ser um segredo comercial que não tem a obrigação de partilhar.
Deste caso, podem extrair-se várias conclusões claras: em primeiro lugar, tanto a entidade credora como a entidade avaliadora são responsáveis pelo tratamento das atividades de tratamento que cada uma realiza. Consequentemente, devem responder ao requerente de crédito sem se escudarem na proteção de segredos comerciais, uma vez que uma explicação compreensível não tem de ser exaustiva nem pôr em risco o segredo algorítmico. Em segundo lugar, o TJUE reforça a ideia já exposta pelo Grupo de Trabalho do Artigo 29.º sobre as decisões automatizadas: se a intervenção humana é meramente simbólica, estamos perante uma decisão totalmente automatizada, na medida em que não há uma intervenção humana significativa. No entanto, reforça ainda mais este último critério: poderíamos dizer que, para evitar a qualificação de decisão automatizada, deve haver uma intervenção humana «verdadeiramente significativa» (Cotino Hueso). Por último, recorda o tribunal, embora isso já seja feito pelo próprio artigo 22.º do RGPD (com uma técnica melhorável), que uma decisão totalmente automatizada que viole os direitos e liberdades do titular dos dados pessoais não será conforme com o RGPD, por mais que sejam formalmente cumpridos os requisitos estabelecidos por essa disposição.
Quando é que uma intervenção humana é «verdadeiramente significativa»? Tendo em conta tanto o acórdão Schufa como as Orientações do Grupo de Trabalho do artigo 29.º e certos aspetos do Regulamento da IA, proponho a seguinte check-list para que um consumidor que solicita crédito possa avaliar se a decisão de crédito (e também a classificação de crédito) é uma decisão totalmente automatizada ou não:
– A pessoa que intervém no processo (por exemplo, o operador do banco) tem formação suficiente na matéria sobre a qual deve decidir?
– A pessoa envolvida no processo tem formação suficiente em IA (AI Literacy)? O artigo 4.º do Regulamento Inteligência Artifical (RIA) refere-se à formação em IA; este requisito não deve ser entendido como sinónimo de conhecimentos de programação, mas como conhecimentos suficientes para poder avaliar criticamente (e, se for caso disso, contradizer) as sugestões da IA. Portanto, isso irá variar de acordo com as circunstâncias: o operador do banco não deve ter o mesmo nível de formação em IA que o consumidor, por exemplo.
– A classificação de crédito é acompanhada de argumentos suficientes e compreensíveis? A transparência e a explicabilidade são um binómio muito interessante: a IA deve ser transparente, mas também compreensível. De nada serve fornecer o código-fonte de um programa a uma pessoa que não sabe programar. Este binómio permite traçar uma gama de informações: suficiente, e não excessiva; para que o destinatário possa compreendê-la sem grandes esforços ou conhecimentos especializados. No direito do consumo, as condições gerais devem ser transparentes e compreensíveis; e também pode ser considerado falta de transparência causar indigestão ou «intoxicação» ao consumidor, ou esconder entre uma longa lista de condições gerais aspetos essenciais do contrato.
– A pessoa tem autoridade formal e capacidade material (tempo disponível) para questionar e, se necessário, contradizer as sugestões da IA? É importante detectar o risco de preconceitos acomodatícios nas pessoas que lidam com essas sugestões automatizadas. Se elas podem intervir, mas não o fazem por preguiça ou sobrecarga de trabalho, é como se não interviessem.
– A empresa ou instituição está a tomar medidas formativas para que o seu pessoal tenha formação em IA e para prevenir preconceitos?
– O nível de seguimento das sugestões automatizadas por parte do pessoal é verificado periodicamente?
A última das questões indicada também é interessante em relação à evolução tecnológica: o que é informação relevante para avaliar a fiabilidade do requerente de crédito? Acima, mencionou-se como se passou da utilização de informação negativa de solvência (ficheiros de maus pagadores) para a utilização de informação tanto positiva como negativa (ficheiros mistos). No entanto, a crescente produção de dados pessoais, aliada à também crescente capacidade de análise de dados por parte dos sistemas de IA, permite que, através de técnicas de perfilagem e microsegmentação, se obtenha informação inferencial suficientemente fiável sobre o comportamento presumido ou futuro de um indivíduo. Isto permite que, hoje em dia, qualquer dado pessoal possa ser um dado relevante para a credit scoring (all data is credit data). Esta realidade obriga a uma interpretação restritiva do que entendemos por informação «relevante», pois, caso contrário, poderia ser admitida a utilização de dados de utilização de contas de plataformas (Netflix, Spotify e outras), o tempo de leitura das condições gerais online ou a rapidez com que os cookies são aceites como dados relevantes para introduzir numa ferramenta de IA para a pontuação de crédito. Não será considerada informação «relevante» a obtida a partir de redes sociais, nem as categorias especiais de dados do art. 9.º do RGPD, uma vez que o art. 18.3 DCCC/2023 proíbe o seu tratamento para efeitos de credit scoring. Serão considerados relevantes dados como os rendimentos e as despesas do consumidor e outras circunstâncias financeiras e económicas que sejam necessárias e proporcionais à natureza, à duração, ao valor e ao risco do crédito para o consumidor (art. 18.3 DCCC/2023).
O facto de todos os dados poderem ser potencialmente relevantes para a credit scoring representa um problema de privacidade coletiva: a nossa responsabilidade individual ao navegar, rejeitando cookies de navegação (ou superando a fadiga da «gestão de opções»), já não é tão determinante para nos proteger de eventuais invasões da nossa privacidade, na medida em que deve partilhar protagonismo com o perfil sintético e a microsegmentação a partir de metadados ou características externas da população. Imaginemos uma pessoa muito consciente da proteção da sua privacidade digital: rejeita cookies ou «gere opções» sempre que pode, não ativa a Internet nem a geolocalização no seu telemóvel, a menos que precise de fazer consultas pontuais, não descarrega aplicações desnecessárias… Mesmo assim, a contaminação de dados que milhares de pessoas semelhantes a essa pessoa realizam permite que uma ferramenta de IA de perfilagem infira como o requerente do crédito se comportará. Como salienta Diogo Morgado Rebelo, a padronização de padrões e hábitos de consumo levaria à imposição indireta de identidades heteroconstruídas ou expropriadas aos requerentes de crédito.Perante esta situação, podem ocorrer situações de discriminação indireta (ou discriminação proxy), que não só seriam contrárias ao direito à igualdade e à não discriminação, como também podem comprometer o acesso à habitação, por exemplo. Mencionei situações de discriminação proxy e de discriminação indireta. Não são exatamente a mesma coisa. Falamos de discriminação indireta quando uma norma (ou um critério de política de crédito) formalmente neutra acaba prejudicando sistematicamente grupos específicos da população. Não é uma situação nova nem associada à inovação tecnológica: nos testes de acesso à polícia ou ao corpo de bombeiros, as notas para homens e mulheres não são idênticas, assim como nas competições desportivas, precisamente para evitar situações de discriminação indireta. Um exemplo relacionado com algoritmos foi o tratado pelo Tribunal Ordinário de Bolonha na sua sentença de 27 de novembro de 2020, em relação ao algoritmo da Glovo para a pontuação dos entregadores, onde recordou que «una differenza di trattamento può consistere nell’effetto sproporzionatamente pregiudizievole di una politica o di una misura generale che, mesmo que formulada em termos neutros, produz uma discriminação em relação a um determinado grupo», utilizando jurisprudência do Tribunal Europeu dos Direitos Humanos (Acórdão de 13 de novembro de 2007, D.H. e a. c. República Checa [GC] (n.º 57325/00), ponto 184; Acórdão de 9 de junho de 2009, Opuz c. Turquia (n.º 33401/02), ponto 183. Acórdão de 20 de junho de 2006, Zarb Adami c. Malta (n.º 17209/02), ponto 80).
A discriminação proxy é uma forma de discriminação indireta, mas que tem alguns elementos diferenciadores: utiliza dados como proxy no âmbito de atividades de perfilagem algorítmica com a intenção sub-reptícia de avaliar negativamente ou excluir certos grupos populacionais ou indivíduos com características determinadas. Trata-se, portanto, de uma forma de discriminação próxima da fraude, na medida em que utiliza determinados dados como «dados de cobertura» (dados de cobertura ou proxy) para atingir fins não pretendidos ou mesmo proibidos pela atividade de tratamento de dados que está a ser realizada. Todo o tratamento de dados deve ser realizado com uma finalidade (art. 5.º-1-b) RGPD), e a expressão e descrição da finalidade do tratamento condiciona os restantes princípios do tratamento de dados do art. 5 RGPD. A finalidade do tratamento de dados para avaliação de solvabilidade consiste em determinar as capacidades de cumprimento do contrato de crédito do potencial mutuário, não excluir certos requerentes por razões alheias à sua capacidade de cumprimento. Por outro lado, a partir de 20 de novembro de 2026, a avaliação deverá ser realizada «no interesse do consumidor», e não parece que excluir certos consumidores do acesso ao mercado de crédito por razões diferentes das da sua capacidade de cumprimento favoreça «o interesse do consumidor».
Vejamos agora um exemplo de discriminação proxy, recordando um post de há pouco mais de um ano sobre o direito ao esquecimento oncológico: o Parlamento Europeu solicitou aos Estados-Membros que adotassem medidas tendentes a evitar a discriminação sofrida por doentes com cancro que tinham sobrevivido à doença no acesso aos mercados de crédito e de seguros. Estas medidas foram adotadas por vários países, entre os quais Portugal e Espanha, que foram dos primeiros a fazê-lo. Se uma entidade credora desejasse evadir a proibição desta norma, poderia sentir-se tentada a pontuar negativamente conjuntos de dados em princípio neutros, mas que permitissem inferir que o requerente do crédito tinha sofrido de cancro.
A melhor forma de prevenir situações de discriminação indireta e discriminação por procuração é promover uma formação adequada em IA, tanto do pessoal que trabalha nas instituições de crédito como dos requerentes de crédito, bem como a necessária transparência e explicabilidade das ferramentas de IA de credit scoring, em três momentos igualmente importantes: (1) a sua conceção e melhoria; (2) a sua aplicação; e (3) a explicação posterior que deve ser dada ao requerente, especialmente se o crédito lhe for recusado. Este último ponto é obrigatório nos termos do artigo 18.º-8 DCCC/2023 e poderá tornar-se um exemplo prático do efeito direto da norma se não for transposto atempadamente e as instituições de crédito não ajustarem a sua política interna a essa exigência.