複雑さに依らない自然言語処理の精度 デジタル変革を実現する重要な要素である自然言語処理（NLP）は、センチメント分析、詐欺検出、自動サービスエージェント、チャットボットなど、ビジネスの改善や加速のために多くの業界で使用されています。しかしBERTや小規模なモデルでNLPを開発すると、精度が低く、コストやメンテナンスが困難で、説明責任に限界があるモデルになりがちです。 小さなNLPモデルを用いた場合の一般的な課題 01 それぞれのタスクやユースケースに個別のモデルを利用する結果、企業は何千もの個別のモデルを展開することになり、その管理は複雑で高価なものになってしまいます。 02 小規模なモデルでは、学習させる用語の数や分析できるテキストデータの量に制限があります。そのため、精度に限界があり、効果が激減してしまいます。 03 多数のモデルを管理することは困難で、それぞれのモデルで利用した学習データセットが不明であったり、多くのモデルが適切に文書化されていない可能性があります。このため説明可能性とコンプライアンスが大きな問題となります。 「AIベースのNLPは、デジタルトランスフォーメーションで成功したい企業のスタンダードになりつつあります。」 IDC 出典: Natural Language Processing by Artificial Intelligence Industry and Use Case: A Quantitative and Qualitative Assessment by Marianne Daquila,…

適切なレコメンデーションを適切なタイミングで提供 レコメンデーションシステムはどこにでもあります。 これらのシステムは、小売業やEコマース、銀行、保険、医療、デジタルサービスプロバイダーなど、さまざまな業界で一般的に広く利用されている消費者向けサービスの一環であり、ディープラーニングとユーザーの行動を組み合わせることで、ユーザーの好みに合わせて情報をインテリジェントに収集し、提供します。 レコメンデーションシステムには、ユーザーのニーズや興味を予測する精度が非常に重要です。 効果的なレコメンデーションシステムの障害となるもの 01 埋め込みテーブルの機能を大きくすることで、よりよいパーソナライゼーションが可能になりますが、従来の技術ではメモリ容量に制約があるため、どの機能を埋め込むかの難しい選択を迫られていました。 02 さまざまなユースケースの多様な要件をサポートするために従来のアーキテクチャを活用すると、トレーニングと推論の間で複雑な開発パイプラインが必要になり、新しいデータにリアルタイムで対応する能力が損なわれます。 03 データは人それぞれです。 そして、顧客のことを 一番よく知っているのはあなたです。 既製のモデルを出発点として、独自のレコメンデーションソリューションを構築することは困難です。 「80％のお客様が、企業が提供するエクスペリエンスを、製品やサービスと同じくらい重要だと考えるようになりました。」 出典: Natural Language Processing by Artificial Intelligence Industry and Use Case: A Quantitative and Qualitative…