Data bias in machine learning is an error where some elements in a dataset are weighted or represented more prominently than others. A biased dataset cannot accurately represent a model's use case, resulting in skewed results, low accuracy, and analytical errors.

Typically, the training data for a machine learning project must represent the real world. This is important because this data is one way that computers learn to accomplish tasks. Data bias can occur in a range of areas, from human reporting and selection bias to algorithm and interpretation bias. The following image provides a good example of various biases that occur only during the data collection and annotation stages.

Addressing data bias in machine learning projects means first identifying where data bias is present. Only once you know where bias exists can you take necessary steps to correct it, whether that is addressing issues with missing data or improving the annotation process. Being vigilant about the scope, quality, and processing of data is crucial in minimizing bias. This not only affects model accuracy but can also impact ethical, fairness, and inclusivity concerns.

This article lists the seven most common types of data bias in machine learning, helping you analyze and understand where bias occurs and what we can do about it.

Types of Data Bias

While this list does not include every type of data bias, it contains common examples of data bias and where data bias occurs.

Example bias: Example bias occurs when a dataset does not reflect the reality of the environment in which a model will operate. For example, some facial recognition systems are predominantly trained on white men, making these models much less accurate for women and people of different ethnicities. Another name for this bias is selection bias.

Exclusion bias: Exclusion bias is most common in the data preprocessing stage. The most common scenario is deleting data that is considered unimportant but valuable. Additionally, bias can occur when a system excludes certain information. For example, suppose we have a customer sales dataset for Beijing and Shenzhen. 98% of the customers are from Beijing, so we choose to delete location data, assuming that it is irrelevant. However, this means that our model will not discover that Shenzhen customers have doubled.

Measurement bias: This type of bias occurs when the AI data collection and AI data annotation services for training is different from the AI data service in the real world or when measurement errors lead to distortion of the data. A good example of this bias is in image recognition datasets where training data is captured with one type of camera and production data is captured with a different camera. Measurement bias can also occur during the AI data annotation stage due to inconsistent annotation.

Recall bias: Recall bias is another type of measurement bias that is common in the data annotation services stage of a project. This bias occurs when the same type of data is inconsistently labeled, resulting in decreased accuracy. For example, suppose our team labels phone images as damaged, partially damaged, or undamaged. If someone labels an image as damaged but labels a similar image as partially damaged, then our data will be inconsistent.

Observer bias: Also known as confirmation bias, observer bias refers to seeing what you want to see in the data. When researchers enter a project with subjective ideas (whether conscious or unconscious), they tend to see what they want to see. This can lead to the misinterpretation of data or the disregard of alternative interpretations.

Dataset shift bias: Dataset shift bias occurs when the model is tested with a dataset that is different from the one it was trained on. This can result in lower accuracy or misleading results. One common example of this bias is when a model trained on one population is tested on another population.

In conclusion, addressing data bias is crucial in machine learning projects. Being aware of the types of data bias and where they occur can help us take necessary steps to minimize bias and ensure accurate, fair, and inclusive models.