Sistemas de recomendação estão largamente empregados na experiência digital cotidiana dos consumidores — seja ao navegar por redes sociais, escolher um filme, fazer compras online ou interagir com conteúdos selecionados algorítmica e continuamente para si. Esses sistemas, largamente utilizados por plataformas digitais, podem influenciar de forma significativa as escolhas dos consumidores. Uma das técnicas mais recorrentes nesse contexto é o nudging — estratégia de design que orienta o comportamento por meio da forma como as opções são organizadas, apresentadas ou destacadas, sem, entretanto, eliminar totalmente a liberdade de escolha.
Determinados casos de nudging, no entanto, podem configurar os chamados dark patterns — práticas de design que, em vez de facilitar escolhas conscientes, acabam por comprometer a autonomia do usuário ao interferir de forma opaca ou desproporcional no seu processo decisório. Essas práticas podem explorar vieses cognitivos, ocultar ou desvalorizar opções relevantes, induzindo assim decisões que favorecem os objetivos comerciais da plataforma, em detrimento dos melhores interesses do consumidor. Em sistemas de recomendação, isso ocorre, por exemplo, quando o design favorece conteúdos que maximizam o tempo de permanência ou o consumo impulsivo, induzindo o utilizador a certas escolhas à sombra da transparência sobre os critérios subjacentes à personalização das recomendações.
Essa influência, portanto, nem sempre ocorre de forma positiva: certos casos de nudging podem, na prática, produzir efeitos intrusivos e indesejáveis. No entanto, cabe notar que uma mesma estratégia pode ser percebida de forma distinta por diferentes usuários, o que evidencia o quanto a fronteira entre influência legítima e manipulação pode ser difícil de definir na prática.
Ao reduzir o ônus decisório que recai sobre os consumidores e destacar certos caminhos de ação, o nudging pode facilitar a navegação e ser benéfico na medida em que contribui para enfrentar o problema da sobrecarga informacional. Porém, ao fazê-lo, pode também comprometer a tomada de decisões informadas, sobretudo quando não há um nível adequado de conhecimento ou consentimento por parte do consumidor. O problema, portanto, não está na técnica em si, mas no modo como ela é implementada e nos efeitos que produz sobre a autonomia individual.
Embora o AI Act não seja, em essência, um diploma voltado à proteção do consumidor, pode contribuir para esse objetivo ao proibir determinados sistemas de IA e estabelecer obrigações de transparência proporcionais ao grau de risco de outros, de acordo com critérios definidos no próprio regime. No caso dos sistemas de recomendação, exigências rigorosas no sentido de que os utilizadores sejam informados de maneira compreensível sobre a lógica e os principais parâmetros por detrás da personalização das recomendações podem esbarrar na questão da opacidade ainda inerente a muitos desses sistemas. Trata-se do conhecido problema da black box, que pode ser entendido, de forma simples, como a impossibilidade de explicar de maneira eficaz e compreensível a lógica por detrás do funcionamento desses sistemas.
Além disso, não se deve perder de vista que exigências excessivamente técnicas ou densas em termos de transparência podem gerar um efeito contrário ao pretendido, ao sobrecarregar o utilizador com informações que dificultam — em vez de facilitar — a tomada de decisão. Trata-se, ironicamente, de um obstáculo que os próprios sistemas de recomendação — frequentemente por meio de técnicas de nudging — buscam (ou deveriam buscar) minimizar.
O conceito emergente de bright patterns — estratégias de design que priorizam os interesses e a autonomia do consumidor — oferece uma pista de como o design algorítmico pode evoluir num sentido mais ético. Uma questão crucial, nesse cenário, consiste em traçar parâmetros que garantam que o nudging seja utilizado de forma mais adequada à salvaguarda dos direitos dos consumidores — especialmente no que toca à sua autonomia decisória. O AI Act, mesmo não sendo destinado à proteção do consumidor, pode desempenhar um papel de relevo ao pressionar por arquiteturas de escolha mais transparentes e alinhadas com os direitos desses agentes.
Assim, embora outros instrumentos — como, por exemplo, o regime das práticas comerciais desleais — ofereçam salvaguardas mais evidentes no campo da proteção do consumidor, é importante reconhecer o contributo indireto que o AI Act pode oferecer quando aplicado a sistemas de recomendação baseados em IA. Ao lado de outros regimes normativos, o AI Act ajuda a compor um quadro regulatório que requer ser interpretado de forma integrada. Essa leitura sistémica do Direito é essencial para enfrentar assimetrias estruturais entre consumidores e plataformas digitais, promovendo escolhas mais informadas, transparentes e compatíveis com seus direitos e legítimos interesses.