Robots.txt

Instructions for search engine crawlers

Our robots.txt file tells search engine crawlers which pages to index and which to ignore. Below is the full content of our robots.txt file. Robots.txt-tiedosto kertoo hakukoneiden indeksoijille, mitkä sivut indeksoidaan ja mitkä ohitetaan.

What is robots.txt?

Robots.txt is a standard used by websites to communicate with web crawlers and other web robots. It tells search engine crawlers which parts of the site should not be processed or scanned.

Robots.txt on standardi, jota verkkosivustot käyttävät viestittääkseen hakukoneiden indeksoijille, mitä osia sivustosta ei tulisi indeksoida.

robots.txt View Raw File
# ============================================================
# robots.txt — ALENOR
# Last Updated: July 30, 2025
# ============================================================

# Allow all crawlers
User-agent: *

# Disallow admin and sensitive areas
Disallow: /admin/
Disallow: /includes/
Disallow: /assets/private/
Disallow: /tmp/
Disallow: /logs/
Disallow: /config/

# Allow CSS, JS, and Images
Allow: /assets/css/
Allow: /assets/js/
Allow: /assets/images/
Allow: /assets/fonts/

# Disallow dynamic PHP files
Disallow: /*.php$

# Disallow search and filters
Disallow: /search/
Disallow: /filter/

# Sitemap location
Sitemap: https://alenor.fi/sitemap.xml

Understanding the directives — Direktiivien selitys

User-agent

Specifies which crawler the rule applies to. * means all crawlers. — Määrittää, mitä indeksoijaa sääntö koskee.

Disallow

Tells crawlers not to index the specified paths. — Kertoo indeksoijille, ettei määritettyjä polkuja saa indeksoida.

Allow

Tells crawlers they can index the specified paths (overrides Disallow). — Sallii indeksoinnin määritetyillä poluilla.

Sitemap

Points crawlers to the XML sitemap file for better indexing. — Ohjaa indeksoijat XML-sivukarttaan parempaa indeksointia varten.

Best Practices — Parhaat käytännöt

  • Always include a Sitemap directive to help crawlers find your content. — Sisällytä aina Sitemap-direktiivi.
  • Use Disallow for sensitive areas like admin panels and configuration files. — Käytä Disallow-direktiiviä arkaluontoisille alueille.
  • Avoid blocking CSS, JS, and image files — they help search engines render your pages correctly. — Älä estä CSS-, JS- ja kuvatiedostoja.
  • Test your robots.txt using Google Search Console's robots.txt tester. — Testaa robots.txt Google Search Consolen työkalulla.
Need help with SEO?

Let's optimize your site for search engines

We can help you set up robots.txt, sitemaps, and full SEO strategy to improve your search visibility. Autamme robots.txt-tiedoston, sivukarttojen ja hakukoneoptimoinnin kanssa.